mobile wallpaper 1
mobile wallpaper 2
mobile wallpaper 3
mobile wallpaper 4
6366 字
19 分钟
【872专业课】计网课程版复习:第二章--07

计算机通信与网络 Chapter 2:Application Layer 知识点总结(精简版)#


0. 本章框架#

部分核心内容
2.1 网络应用原理应用架构、进程通信、Socket、进程寻址、应用层协议、传输服务需求
2.2 Web 与 HTTPHTTP 连接、报文、方法、状态码、Cookie、Web 缓存、HTTP/2、HTTP/3
2.3 FTP文件传输、控制连接与数据连接、命令与响应
2.4 电子邮件SMTP、邮件格式、POP3、IMAP、HTTP 邮件
2.5 DNSDNS 服务、层次结构、查询、缓存、资源记录、报文、攻击
2.6 P2P 应用P2P 文件分发、BitTorrent、流媒体、DASH、CDN
2.7 Socket 编程UDP Socket、TCP Socket、客户端/服务器交互

2.1 网络应用原理#

2.1.1 网络应用与应用架构#

网络应用程序运行在端系统上,通过网络进行通信;网络核心设备不运行用户应用,因此开发网络应用通常不需要修改网络核心设备。

常见网络应用:Email、Web、即时消息、远程登录、P2P 文件共享、多人游戏、流媒体、VoIP、视频会议、社交网络、搜索等。

**应用架构(Application Architecture)**由应用开发者设计,决定应用如何分布在各端系统上;它不同于底层网络架构。

架构主要特点典型应用
Client-Server(C/S)服务器通常持续在线、固定 IP;客户端主动连接服务器,可间歇上线、使用动态 IP;客户端通常不直接通信Web、FTP、Email、Telnet
P2P无持续在线中心服务器;任意对等方可直接通信;节点既请求服务又提供服务;节点经常上下线并改变 IPBitTorrent、eMule、Skype、PPTV、迅雷
混合 C/S + P2P中心服务器负责定位/发现,实际数据或聊天由端系统直接传输课件中的即时消息、Skype 示例

P2P 的特点#

  • Self-scalability:新 Peer 带来新的需求,同时也带来新的服务能力。
  • 服务器基础设施和服务器带宽需求较小,成本较低。
  • 主要挑战:ISP Friendly、Security、Incentives(激励)。
  • 管理复杂,因为 Peer 会频繁上线、离线和改变 IP。

2.1.2 进程通信#

Process(进程):运行在主机中的程序。

情况通信方式
同一主机的两个进程通过操作系统定义的 IPC(进程间通信)
不同主机的两个进程通过网络交换 Message(消息)
  • Client Process:主动发起通信的进程。
  • Server Process:等待被联系的进程。
  • 在 P2P 中,同一个 Peer 在不同通信会话中可能分别充当 Client 或 Server。

2.1.3 Socket:应用与运输层的接口#

**Socket(套接字)**是应用进程收发网络消息的软件接口,可类比为“进程这间房子的门”。

应用进程
│
Socket ← 应用开发者主要控制这一侧
│
运输层 ← 主要由操作系统控制
│
网络层

发送方把数据交给 Socket,运输层负责将数据传递到接收方对应进程的 Socket。

进程如何被唯一定位?#

仅有 IP 地址不够,因为一台主机上可以同时运行多个进程。

进程标识=IP地址+端口号\boxed{\text{进程标识}=\text{IP地址}+\text{端口号}}
标识作用
IP 地址区分不同主机
Port(端口号)区分同一主机上的不同进程

课件例子:HTTP Server 常用 80 端口;SMTP Server 常用 25 端口。


2.1.4 应用层协议规定什么?#

应用层协议主要规定四类内容:

内容含义
Message Type报文类型,如 Request、Response
Syntax报文有哪些字段、字段如何划分
Semantics各字段表示什么含义
Rules进程在何时、如何发送和响应报文
类型特点示例
Open ProtocolRFC 公开定义,有利于互操作HTTP、SMTP
Proprietary Protocol私有协议课件示例:Skype、QQ、Thunder

2.1.5 应用对运输服务的需求#

应用选择 TCP / UDP 时主要考虑:

需求含义
Data Integrity是否要求数据完全可靠、不能丢失
Throughput是否要求最低吞吐量
Timing是否对低时延敏感
Security是否需要加密、完整性保护等

常见应用需求#

应用可否丢失吞吐量时延敏感
文件传输不可丢弹性否
Email不可丢弹性否
Web不可丢弹性否
实时音视频可容忍一定丢失音频约 5 kbps–1 Mbps;视频约 10 kbps–5 Mbps是,百毫秒级
存储音视频可容忍一定丢失类似音视频是,秒级
交互式游戏可容忍一定丢失几 kbps 以上是,百毫秒级
文本消息不可丢弹性视场景而定

TCP vs UDP#

项目TCPUDP
连接面向连接,通信前建立连接无连接
可靠性可靠传输不可靠数据报
顺序保证有序不保证顺序
流量控制有无
拥塞控制有无
时延保证无无
最低吞吐量保证无无
内置安全性无无

Internet 即使常常能较好支持实时应用,也不提供严格的时延和吞吐量保证。

SSL(课件补充)#

TCP、UDP 本身不加密。课件中的 **SSL(Secure Sockets Layer)**位于应用层,通过 SSL Library 与 TCP 配合,可提供:

  • 加密连接
  • 数据完整性
  • 端点认证

SSL 不是第三种运输层协议。

常见应用协议与运输协议#

应用应用层协议底层运输协议
EmailSMTPTCP
远程终端TelnetTCP
WebHTTPTCP
文件传输FTPTCP
流媒体HTTP / RTPTCP 或 UDP
Internet 电话SIP / RTP / 私有协议TCP 或 UDP

2.2 Web 与 HTTP#

2.2.1 Web 基本概念#

一个 Web Page 通常由:

  • 一个基础 HTML 文件
  • 若干被引用的 Object(对象)

对象可以是 HTML、JPEG、音频、Java Applet 等。每个对象都有 URL。

www.someschool.edu/someDept/pic.gif
└────── Host Name ──────┘└ Path Name ┘

2.2.2 HTTP 基本模型#

**HTTP(HyperText Transfer Protocol)**是 Web 的应用层协议,采用 Client-Server 模型。

  • Client:Browser,发送请求、接收并显示对象。
  • Server:Web Server,根据请求返回对象。
  • HTTP 使用 TCP;课件默认服务器端口:80。
  • HTTP 是 Stateless Protocol(无状态协议):服务器默认不保存客户端过去请求的信息。

典型过程:

建立 TCP 连接
→ Client 发送 HTTP Request
→ Server 返回 HTTP Response
→ 根据连接方式决定是否关闭 TCP

2.2.3 非持久连接与持久连接#

对比Non-persistent HTTPPersistent HTTP
TCP 连接每个请求/响应通常使用独立连接多个请求/响应共用一个连接
对象数量一个连接最多传一个对象一个连接可传多个对象
开销每个对象都重新建立 TCP减少 TCP 建连和系统开销
典型延迟每个对象通常 >2 RTT后续对象可显著减少 RTT
Pipelining不适用可连续发送多个请求,不必等待前一响应

浏览器还可以通过并行 TCP 连接降低非持久 HTTP 的页面加载时间。

非持久 HTTP 响应时间#

忽略 DNS 等额外开销时:

THTTP=2RTT+Ttransmit\boxed{T_{\text{HTTP}}=2RTT+T_{\text{transmit}}}

其中:

  • 第 1 个 RTT:建立 TCP 连接。
  • 第 2 个 RTT:发送 HTTP Request,直到响应首字节返回。
  • 再加对象传输时间。

2.2.4 HTTP 报文#

HTTP 有两类报文:

  1. Request Message
  2. Response Message

Request 通用结构#

Request Line
Header Line
Header Line
...
空行
Entity Body(可选)

请求行:

Method URL Version

典型方法:

方法含义
GET获取资源
POST通常在 Entity Body 中上传表单数据
HEAD类似 GET,但服务器不返回对象实体,常用于调试
PUT将 Entity Body 中的文件上传到 URL 指定路径
DELETE删除 URL 指定资源

课件:HTTP/1.0 包含 GET、POST、HEAD;HTTP/1.1 增加 PUT、DELETE。

GET 与 POST 表单数据#

方法输入数据位置
POSTEntity Body
GETURL / Request Line 中,如查询参数

Response 通用结构#

Status Line
Header Line
Header Line
...
空行
Entity Body

状态行:

Version Status-Code Phrase

常见状态码:

状态码含义
200 OK请求成功
301 Moved Permanently资源永久移动;新位置通常在 Location 字段
400 Bad Request服务器无法理解请求
404 Not Found找不到请求资源
505 HTTP Version Not Supported不支持该 HTTP 版本

HTTP 报文主要使用可读文本格式,Header 中常包含 Host、User-Agent、Content-Length、Content-Type、Connection 等信息。


2.2.5 Cookie:给无状态 HTTP 增加用户状态#

HTTP 本身无状态,网站可通过 Cookie 识别用户。

Cookie 的四个组成部分:

组成内容
HTTP Response 中的 Cookie HeaderServer 把 Cookie ID 发给 Client
后续 HTTP Request 中的 Cookie HeaderClient 把 Cookie ID 带回
Browser 本地 Cookie File浏览器保存 Cookie
Server Backend Database服务器用 Cookie ID 索引用户数据

Cookie 可用于:

  • Authorization
  • Shopping Cart
  • Recommendation
  • 用户会话状态

本质上:在无状态 HTTP 之上人为建立用户会话状态。课件同时指出 Cookie 会带来隐私问题。


2.2.6 Web Cache / Proxy#

**Web Cache(缓存服务器 / Proxy Server)**的目标:尽量不联系 Origin Server 就满足 Client 请求。

Client → Proxy
├─ 命中:直接返回缓存对象
└─ 未命中:向 Origin Server 请求 → 缓存 → 返回

Proxy 同时具有两种角色:

  • 面向原始 Client:是 Server
  • 面向 Origin Server:是 Client

Web Cache 的作用#

作用说明
降低响应时间命中本地缓存时无需访问远程 Server
降低 Access Link 流量减少机构出口链路负载
提高内容分发能力Internet 中大量缓存可帮助内容提供者分发内容

课件缓存计算例#

已知:

  • 对象平均大小:1 Mbit
  • 请求速率:15 次/s
  • Access Link:15 Mbps
  • Internet RTT / delay 量级:约 2 s
  • LAN:100 Mbps

无 Cache 时:

LAN Traffic Intensity=15×1100=0.15\text{LAN Traffic Intensity}=\frac{15\times1}{100}=0.15Access Link Traffic Intensity=15×115=1\text{Access Link Traffic Intensity}=\frac{15\times1}{15}=1

Access Link 接近饱和,排队时延很大。

若 Cache Hit Rate = 0.4:

需经过出口的数据率=0.6×15=9 Mbps\text{需经过出口的数据率}=0.6\times15=9\text{ Mbps}Access Link Utilization=915=0.6\text{Access Link Utilization}=\frac{9}{15}=0.6

课件估算总时延:

0.6×(2s+Access Delay)+0.4×LAN Delay≈1.2s0.6\times(2\text{s}+\text{Access Delay})+0.4\times\text{LAN Delay}\approx1.2\text{s}

Conditional GET#

问题:Cache 中的副本可能已经过期。

Cache Request:

If-Modified-Since: <date>

Server:

  • 未修改:304 Not Modified,不重新发送对象。
  • 已修改:200 OK + 新对象。

这样可以避免不必要的数据传输。

课件 HTTP 综合计算题结论#

课件给定:页面 + 7 张图片,每个对象 1250 Kb;出口 10 Mbps;本地网络 100 Mbps;RTT 平均 1 s,并按题设的 3RTT 条件计算。

情况课件答案
非并发、非持久 HTTP49 s
非并发、持久 HTTP28 s
30% 从 100 Mbps 本地 Cache、70% 从 10 Mbps Origin 获得时的最大平均速率37 Mbps

2.2.7 HTTP/2 与 HTTP/3#

HTTP/1.1 的问题#

HTTP/1.1 可在单 TCP 连接中流水线发送多个 GET,但 Server 通常按顺序响应。若前面有大对象,小对象可能被阻塞:

Head-of-Line(HOL)Blocking:队头阻塞

TCP 丢包重传也会使后续对象传输停顿。

HTTP/2#

HTTP/2 的核心目标:降低多对象请求的时延。

特点内容
保留大多数 Method、Status Code、Header 与 HTTP/1.1 类似
Priority可按 Client 指定优先级发送对象,不必严格 FCFS
Server PushServer 可主动推送尚未请求的对象
Frame对象切分为 Frame,多对象 Frame 可交错传输,缓解应用层 HOL

HTTP/3#

HTTP/2 仍运行在单个 TCP 连接上,TCP 丢包恢复可能阻塞所有对象。

课件对 HTTP/3 的概括:

  • 基于 UDP
  • 增加安全性
  • 可进行更细粒度的对象级错误/拥塞控制
  • 更利于流水化传输

2.3 FTP:文件传输协议#

**FTP(File Transfer Protocol,RFC 959)**用于客户端与远程主机之间传输文件,采用 C/S 架构。

项目内容
Control ConnectionTCP,Server Port 21
Data Connection课件示意 Server Port 20
控制连接用户会话期间保持打开
数据连接文件传输时单独建立,一个文件传完可关闭,再传文件再建
状态Server 保存当前目录、认证信息,因此 FTP 是 Stateful

控制与数据分离#

FTP 将控制信息与真正文件数据放在不同 TCP 连接中,因此称为:

Out-of-Band Control(带外控制)

课件将 HTTP、SMTP 对比为 In-Band。

常见 FTP 命令#

命令含义
USER username用户名
PASS password密码
LIST当前目录文件列表
RETR filename下载文件
STOR filename上传文件

常见响应由“状态码 + Phrase”构成,如:

  • 331 Username OK, password required
  • 125 ... transfer starting
  • 425 Can't open data connection
  • 452 Error writing file

2.4 电子邮件#

2.4.1 三大组成部分#

组成功能
User Agent(UA)撰写、编辑、阅读、回复、转发和保存邮件
Mail ServerMailbox 存放收到的邮件;Message Queue 存放待发送邮件
SMTPMail Server 之间发送邮件

Email 是一种异步通信方式,不要求通信双方同时在线。


2.4.2 SMTP#

SMTP(Simple Mail Transfer Protocol,RFC 5321)

项目内容
运输协议TCP
Server Port25
连接Persistent Connection
传输方式发送服务器直接把邮件推送到接收服务器
三阶段Handshaking → Message Transfer → Closure
交互ASCII Command / Response
原课件要求Message 使用 7-bit ASCII

SMTP Server 之间:

  • 发送邮件的一侧充当 SMTP Client
  • 接收邮件的一侧充当 SMTP Server

Alice 给 Bob 发邮件#

Alice UA
→ Alice Mail Server 的 Message Queue
→ SMTP 建立 TCP 连接
→ Bob Mail Server
→ Bob Mailbox
→ Bob UA 读取

常见 SMTP 命令#

HELO
MAIL FROM:
RCPT TO:
DATA
QUIT

CRLF.CRLF 用于标识邮件数据结束。


2.4.3 SMTP 与 HTTP 对比#

项目HTTPSMTP
主要模式PullPush
Command/ResponseASCII,带状态码ASCII,带状态码
持久连接Persistent HTTP 可使用使用
数据格式限制无 SMTP 的 7-bit ASCII 限制课件要求邮件为 7-bit ASCII
对象组织每个对象通常对应独立 HTTP Response多个对象可作为 Multipart Message
状态HTTP 本身 Stateless课件描述 SMTP 为 Stateful

2.4.4 邮件报文格式与 MIME#

邮件报文本身的格式与 SMTP 命令不同。

Header
To:
From:
Subject:
空行
Body
  • To:、From::必需。
  • Subject::可选。
  • Body:邮件正文。
  • **MIME(Multipurpose Internet Mail Extensions)**用于扩展多媒体附件等能力。

2.4.5 邮件访问协议#

SMTP 负责把邮件推送到接收方 Mail Server;用户读取邮件需要 Mail Access Protocol。

协议特点端口/方式
POP3简单;认证、下载;支持 Download-and-Delete / Download-and-KeepServer Port 110
IMAP邮件保留在 Server;可管理文件夹;跨 Session 保留用户状态更复杂
HTTPWeb Mail,如课件中的 Gmail、Hotmail、QQMail 等浏览器访问

POP3#

三个阶段:

  1. Authorization
  2. Transaction
  3. Update

典型命令:user、pass、list、retr、dele、quit。

课件将 POP3 描述为 Stateless:跨 Session 不保存目录/邮件组织状态。

IMAP#

  • 邮件主要保存在 Server。
  • 可建立 Folder、管理邮件。
  • 跨 Session 保存 Folder 名称、Message ID 与 Folder 的映射等状态。
  • 因而课件将 IMAP 描述为 Stateful。

2.5 DNS:域名系统#

2.5.1 DNS 的作用#

DNS(Domain Name System):

  • 是由大量 Name Server 构成的分布式层次数据库。
  • 同时也是应用层协议。
  • 课件:使用 53 端口,UDP。
  • 主要完成 Hostname 与 IP Address 等信息的解析。

DNS 的四类服务#

服务内容
Hostname → IP域名到 IP 地址转换
Host Aliasing别名 → Canonical Hostname + IP
Mail Server Aliasing邮件服务器别名解析
Load Distribution一个 Hostname 对应多个冗余 Server IP

为什么 DNS 不采用单一中心服务器?#

  • Single Point of Failure
  • Traffic Volume 太大
  • 远距离访问集中数据库
  • Maintenance 成本高

结论:集中式 DNS 不具有良好扩展性。


2.5.2 DNS 层次结构#

Root DNS Server
│
↓
TLD DNS Server
│
↓
Authoritative DNS Server
层次作用
Root DNS Server指向相应的 TLD DNS Server
TLD DNS Server管理 .com、.org、.edu、国家/地区顶级域等
Authoritative DNS Server保存某组织域名的权威 Hostname → IP 映射
Local DNS Server不严格属于上述层次;由 ISP/学校/公司提供,接收用户 DNS Query、缓存结果并代理查询

课件关于 Root Server 的数量与地理分布为当时背景数据,应按课件年份理解。


2.5.3 DNS 查询方式#

Iterative Query:迭代查询#

被查询的 Server 如果不知道最终答案,会告诉查询方:

“我不知道,但你可以去问这个 Server。”

然后查询方继续询问下一级。

课件将其描述为常用方式。

Recursive Query:递归查询#

被查询 Server 负责继续向其他 Server 查询,直到得到最终答案再返回。

缺点:会把解析负担压到被查询 Server,尤其是 DNS 层次结构的高层服务器。


2.5.4 DNS Cache#

任何 Name Server 学到映射后都可以缓存。

  • Cache Entry 在 TTL 到期后删除。
  • 课件示例 TTL 常可设置为约 2 天。
  • Local DNS 通常缓存 TLD Server 信息,因此 Root Server 不必每次访问。
  • 缓存信息可能过期,因此 DNS 映射具有一定 Best-Effort 特征。

2.5.5 DNS Resource Record(RR)#

格式:

(Name, Value, Type, TTL)\boxed{(Name,\ Value,\ Type,\ TTL)}
TypeNameValue含义
AHostnameIP Address标准主机名 → IP
NSDomainAuthoritative DNS Hostname指定该域的权威 DNS Server
CNAMEAliasCanonical Name别名 → 规范主机名
MXDomain/AliasMail Server Canonical Name指定邮件服务器

2.5.6 DNS Message#

DNS Query 与 Reply 使用相同基本报文格式。

Header 主要包含:

  • Identification:16 bit 查询 ID;Reply 使用相同 ID。
  • Flags
    • Query / Reply
    • Recursion Desired
    • Recursion Available
    • Authoritative Reply
  • 四个数量字段
    • Questions 数
    • Answer RRs 数
    • Authority RRs 数
    • Additional RRs 数

四个数据区#

Questions
Answers
Authority
Additional Information

课件给出的 Header Section 大小:12 Bytes。


2.5.7 DNS 工具与记录加入过程#

nslookup#

nslookup 可直接向指定 DNS Server 发送 Query,用于观察解析结果。

新域名如何进入 DNS?#

课件以 networkutopia.com 为例:

  1. 向 DNS Registrar 注册域名。
  2. ICANN 对 Registrar 进行授权。
  3. 向 Registrar 提供 Authoritative DNS Server 的名称和 IP。
  4. Registrar 向 TLD Server 加入记录,例如:
(networkutopia.com, dns1.networkutopia.com, NS)
(dns1.networkutopia.com, 212.212.212.1, A)
  1. 在自己的 Authoritative DNS 中加入 Web 的 A Record、Mail 的 MX Record 等。

2.5.8 DNS 攻击#

攻击核心思路
DDoS Root/TLD Server大量流量轰炸 DNS Server
Man-in-the-Middle截获/篡改 DNS Query
DNS Poisoning向 DNS Server 注入伪造 Reply,使错误映射进入 Cache
DNS Amplification DDoS使用伪造源 IP 发送 DNS Query,利用放大效应攻击目标

课件指出:Local DNS 对 TLD 地址的缓存可在一定程度上减少对 Root Server 的依赖。


2.6 P2P 应用、流媒体与 CDN#

2.6.1 P2P 文件分发:C/S vs P2P#

设:

  • 文件大小:FF
  • Peer 数:NN
  • Server 上传速率:usu_s
  • 第 ii 个 Peer 下载速率:did_i
  • 第 ii 个 Peer 上传速率:uiu_i
  • dmin=min⁡did_{min}=\min d_i

Client-Server#

Server 必须上传 NN 份文件:

DC/S≥max⁡(NFus,Fdmin)\boxed{ D_{C/S}\ge \max\left( \frac{NF}{u_s}, \frac{F}{d_{min}} \right) }

随着 NN 增加,Server 上传负担近似线性增长。

P2P#

Server 至少上传 1 份;所有 Peer 共同提供上传能力:

DP2P≥max⁡(Fus,Fdmin,NFus+∑i=1Nui)\boxed{ D_{P2P}\ge \max\left( \frac{F}{u_s}, \frac{F}{d_{min}}, \frac{NF}{u_s+\sum_{i=1}^{N}u_i} \right) }

P2P 中 Peer 数增加时,总需求增加,但总上传能力也同时增加,因此具有更好的扩展性。


2.6.2 BitTorrent#

概念含义
Chunk文件被分成若干块;课件示例约 256 KB
Torrent共同交换同一文件 Chunk 的 Peer 集合
Tracker跟踪 Torrent 中的 Peer
NeighborPeer 从 Tracker 获得列表后连接的一部分 Peer
ChurnPeer 不断加入、离开

Peer 下载 Chunk 的同时也把已有 Chunk 上传给其他 Peer。

请求策略:Rarest First#

Peer 会:

  1. 向 Neighbor 查询其拥有的 Chunk。
  2. 从自己缺失的 Chunk 中,优先请求最稀缺的 Chunk。

目的:降低某些 Chunk 在 Torrent 中消失的风险。

发送策略:Tit-for-Tat#

  • 优先向当前给自己上传最快的 Top 4 Peer发送 Chunk。
  • 约每 10 秒重新评估。
  • 其他 Peer 被 Choke。
  • 约每 30 秒随机选择一个 Peer,执行 Optimistic Unchoke。
  • 若新 Peer 表现好,可进入 Top 4。

核心思想:上传贡献越大,越容易获得更好的下载服务。


2.6.3 流媒体视频#

Video = 按固定速率显示的图像序列,例如课件示例 24 Frame/s。

编码通过减少冗余降低 Bit 数:

编码原理
Spatial Coding利用同一帧内部的空间冗余
Temporal Coding利用相邻帧之间的时间冗余,只传变化部分
编码速率含义
CBRConstant Bit Rate,编码速率固定
VBRVariable Bit Rate,编码速率随内容变化

课件示例:MPEG1 约 1.5 Mbps;MPEG2 约 3–6 Mbps;MPEG4 约 64 Kbps–12 Mbps。

Streaming Stored Video 的主要挑战#

  • Server → Client 可用带宽随拥塞变化。
  • Packet Loss、Delay 会影响播放质量。
  • Continuous Playout Constraint:播放节奏要接近原始视频节奏。
  • 网络 Delay 有抖动(Jitter)。
  • 用户还需要 Pause、Fast Forward、Rewind、Jump 等交互。

Playout Buffering#

Client 先缓存一部分视频,再开始播放:

Client-side Buffer + Playout Delay 可补偿网络 Delay 和 Jitter,从而保持连续播放。


2.6.4 DASH#

DASH:Dynamic, Adaptive Streaming over HTTP

Server#

  • 将视频切成多个 Chunk。
  • 每个 Chunk 编码为多个不同 Bit Rate。
  • 不同编码版本分别存储。
  • 可复制到不同 CDN Node。
  • 提供 Manifest File,记录各 Chunk 的 URL。

Client#

周期性估计当前 Server → Client Bandwidth,并决定:

决策内容
When何时请求下一个 Chunk,防止 Buffer Starvation / Overflow
What Rate当前带宽好时选择更高 Bit Rate
Where从哪个 Server / CDN Node 获取 Chunk

课件总结:

Streaming Video=Encoding+DASH+Playout Buffering\boxed{\text{Streaming Video}=\text{Encoding}+\text{DASH}+\text{Playout Buffering}}

2.6.5 CDN#

若所有视频都由一个 Mega-Server 提供,会出现:

  • Single Point of Failure
  • Network Congestion
  • 远距离 Client 路径长
  • 缺乏可扩展性

CDN(Content Distribution Network):在多个地理位置存储同一内容的副本,就近为用户服务。

部署思路特点
Enter Deep大量 CDN Server 深入不同 Access Network,更靠近用户
Bring Home在靠近 Access Network 的 POP 中部署较少但更大的 Cluster

课件案例:

  • Akamai:课件 2015 数据约 240,000 Server、覆盖 120+ 国家。
  • Netflix:使用 OpenConnect CDN Node保存内容副本;Client 获取 Manifest 后按当前网络条件选择可支持的码率和副本。

OTT 的主要问题#

从网络“边缘”应对拥塞:

  • 什么内容放在哪个 CDN Node?
  • 从哪个 CDN Node 获取?
  • 选择什么传输码率?

2.7 Socket 编程#

2.7.1 两类 Socket#

Socket特点
UDP Socket无连接、不可靠、DataGram-Oriented
TCP Socket面向连接、可靠、Byte-Stream-Oriented

课件示例应用:

Client 输入小写字符串
→ 发送给 Server
→ Server 转成大写
→ 返回 Client
→ Client 显示

2.7.2 UDP Socket#

UDP 特点:

  • 通信前不握手。
  • Sender 每个 Datagram 都明确携带目标 IP + Port。
  • Receiver 可从收到的 Datagram 中获得 Sender IP + Port。
  • Datagram 可能丢失,也可能乱序。

Python 核心接口#

操作典型调用
创建 UDP Socketsocket(AF_INET, SOCK_DGRAM)
Server 绑定端口bind(('', serverPort))
发送 Datagramsendto(data, (host, port))
接收 Datagramrecvfrom(bufferSize)
关闭close()

UDP 交互流程#

Server:
socket → bind → recvfrom
↓
处理数据
↓
sendto
↑
Client:
socket → sendto → recvfrom → close

UDP Server 回复时必须知道 Client 的 IP + Port。


2.7.3 TCP Socket#

TCP Server 必须先运行,并创建用于等待 Client 的 Socket。

Client:

  1. 创建 TCP Socket。
  2. 指定 Server IP + Port。
  3. connect() 时建立 TCP Connection。

Server:

  1. 创建 serverSocket。
  2. bind()。
  3. listen()。
  4. accept() 等待连接。
  5. 每接受一个 Client,创建新的 connectionSocket。
  6. 通过 connectionSocket 与该 Client 单独通信。

serverSocket 是“欢迎门”;connectionSocket 是为某个具体 Client 新建的“通信门”。

Python 核心接口#

操作典型调用
创建 TCP Socketsocket(AF_INET, SOCK_STREAM)
Server 绑定bind()
监听listen()
接收连接accept()
Client 建连connect()
发送send()
接收recv()
关闭连接close()

TCP 交互流程#

Server Client
socket socket
↓ ↓
bind connect
↓ │
listen ←──── TCP 建立连接 ──────┘
↓
accept
↓
connectionSocket
↕
send / recv ↔ send / recv
↓
close

TCP 从应用视角提供:

Reliable + In-order + Byte Stream


2.8 高频对比表#

HTTP / FTP / SMTP / DNS#

协议主要功能典型端口底层状态特点
HTTPWeb80TCP(课件 HTTP/3 另述为基于 UDP)Stateless
FTP文件传输控制 21;课件数据连接示意 20TCPStateful
SMTPMail Server 间发邮件25TCP课件描述 Stateful
POP3从 Mail Server 取邮件110TCPStateless
DNS域名解析53课件本章写 UDPCache 有 TTL

Stateful / Stateless#

StatelessStateful
HTTP、POP3FTP、IMAP、课件描述的 SMTP

Centralized / Decentralized#

集中式倾向去中心化倾向
Client-ServerP2P
单 Mega-ServerCDN / 分布式服务
中心 DNS 不可扩展分布式层次 DNS

2.9 本章最重要的通用思想#

思想需要掌握
Request / ReplyClient 请求信息或服务,Server 返回数据/状态码
Message FormatHeader 描述控制/元信息,Data/Body 承载真正内容
Control vs DataFTP 明确分离控制连接与数据连接
In-band vs Out-of-bandFTP 为带外控制;课件将 HTTP/SMTP 对比为带内
Stateless vs Stateful是否跨多个事务保存通信状态
Reliable vs UnreliableTCP 可靠;UDP 不可靠
Centralized vs DecentralizedC/S 与 P2P、Mega-Server 与 CDN
Complexity at Network EdgeDNS、P2P、DASH、CDN 等能力大量由端系统/应用层实现

2.10 课件拓展与实践主题#

课件任务对应知识点
Wireshark 抓取并分析 HTTPHTTP Request/Response、TCP 连接
Shadowsocks 基本原理、检测与阻断Proxy、网络访问控制
根 DNS 与 Yeti DNS ProjectDNS 根系统与扩展
DNS 攻击与防御DNS DDoS、Poisoning、Amplification
局域网 Client/Server 程序TCP / UDP Socket Programming

最后一页:中文复习框架#

第 2 章 应用层
应用层
├─ 一、网络应用原理
│ ├─ 应用架构
│ │ ├─ 客户端/服务器
│ │ ├─ 对等网络 P2P
│ │ └─ 混合架构
│ ├─ 进程通信
│ │ ├─ 客户端进程:主动发起通信
│ │ └─ 服务器进程:等待被联系
│ ├─ 套接字 Socket
│ │ └─ 进程标识 = IP 地址 + 端口号
│ ├─ 应用层协议
│ │ ├─ 报文类型
│ │ ├─ 语法
│ │ ├─ 语义
│ │ └─ 交互规则
│ └─ 运输服务需求
│ ├─ 可靠性
│ ├─ 吞吐量
│ ├─ 时延
│ └─ 安全性
│
├─ 二、Web 与 HTTP
│ ├─ HTTP:Web 应用层协议
│ ├─ 使用 TCP,典型端口 80
│ ├─ 无状态协议
│ ├─ 连接方式
│ │ ├─ 非持久连接
│ │ └─ 持久连接 / 流水线
│ ├─ HTTP 报文
│ │ ├─ 请求报文
│ │ ├─ 响应报文
│ │ ├─ GET / POST / HEAD / PUT / DELETE
│ │ └─ 200 / 301 / 400 / 404 / 505
│ ├─ Cookie
│ │ └─ 在无状态 HTTP 上维护用户会话
│ ├─ Web 缓存
│ │ ├─ 代理服务器
│ │ ├─ 缓存命中率
│ │ └─ 条件 GET:304 Not Modified
│ ├─ HTTP/2
│ │ ├─ 对象分帧
│ │ ├─ 优先级
│ │ ├─ Server Push
│ │ └─ 缓解队头阻塞
│ └─ HTTP/3
│ └─ 课件概括:基于 UDP,进一步降低阻塞并增加安全性
│
├─ 三、FTP
│ ├─ 文件传输协议
│ ├─ 控制连接:TCP 21
│ ├─ 数据连接:课件示意 TCP 20
│ ├─ 控制与数据分离:带外控制
│ └─ 有状态协议
│
├─ 四、电子邮件
│ ├─ 用户代理
│ ├─ 邮件服务器
│ │ ├─ 邮箱
│ │ └─ 消息队列
│ ├─ SMTP
│ │ ├─ TCP 25
│ │ ├─ 推送邮件
│ │ └─ HELO / MAIL FROM / RCPT TO / DATA / QUIT
│ ├─ 邮件报文与 MIME
│ └─ 邮件访问
│ ├─ POP3:简单、无状态、端口 110
│ ├─ IMAP:服务器端管理、有状态
│ └─ HTTP:Web Mail
│
├─ 五、DNS
│ ├─ 域名系统:分布式层次数据库
│ ├─ 课件:UDP 53
│ ├─ 主要服务
│ │ ├─ 域名 → IP
│ │ ├─ 主机别名
│ │ ├─ 邮件服务器别名
│ │ └─ 负载分配
│ ├─ DNS 层次
│ │ ├─ 根 DNS
│ │ ├─ 顶级域 DNS
│ │ ├─ 权威 DNS
│ │ └─ 本地 DNS
│ ├─ 查询
│ │ ├─ 迭代查询
│ │ └─ 递归查询
│ ├─ 缓存与 TTL
│ ├─ 资源记录
│ │ ├─ A
│ │ ├─ NS
│ │ ├─ CNAME
│ │ └─ MX
│ └─ 安全
│ ├─ DDoS
│ ├─ 中间人
│ ├─ DNS 投毒
│ └─ DNS 放大攻击
│
├─ 六、P2P、流媒体与 CDN
│ ├─ P2P 文件分发
│ │ └─ Peer 越多,同时带来的上传能力也越多
│ ├─ BitTorrent
│ │ ├─ Chunk
│ │ ├─ Tracker / Torrent
│ │ ├─ 稀缺块优先
│ │ └─ 以牙还牙 / 乐观疏通
│ ├─ 视频编码
│ │ ├─ 空间编码 / 时间编码
│ │ └─ CBR / VBR
│ ├─ 流媒体
│ │ ├─ 连续播放约束
│ │ ├─ 时延抖动
│ │ └─ 客户端缓冲
│ ├─ DASH
│ │ ├─ 视频分块
│ │ ├─ 多码率
│ │ ├─ Manifest
│ │ └─ 客户端自适应选择
│ └─ CDN
│ ├─ 多地复制内容
│ ├─ 就近服务
│ └─ Netflix OpenConnect
│
└─ 七、Socket 编程
├─ UDP Socket
│ ├─ SOCK_DGRAM
│ ├─ 无连接
│ ├─ sendto / recvfrom
│ └─ 每个数据报明确携带目标 IP + Port
└─ TCP Socket
├─ SOCK_STREAM
├─ 面向连接、可靠、有序字节流
├─ Server:bind → listen → accept
├─ Client:connect
└─ 双方:send / recv → close

一眼记住的关键式子#

非持久 HTTP 单对象响应时间#

T=2RTT+Ttransmit\boxed{T=2RTT+T_{\text{transmit}}}

C/S 文件分发#

DC/S≥max⁡(NFus,Fdmin)\boxed{ D_{C/S}\ge \max\left( \frac{NF}{u_s}, \frac{F}{d_{min}} \right) }

P2P 文件分发#

DP2P≥max⁡(Fus,Fdmin,NFus+∑i=1Nui)\boxed{ D_{P2P}\ge \max\left( \frac{F}{u_s}, \frac{F}{d_{min}}, \frac{NF}{u_s+\sum_{i=1}^{N}u_i} \right) }

DNS 资源记录#

(Name, Value, Type, TTL)\boxed{(Name,\ Value,\ Type,\ TTL)}
分享

如果这篇文章对你有帮助,欢迎分享给更多人!

部分信息可能已经过时

目录