计算机通信与网络 Chapter 2:Application Layer 知识点总结(精简版)
0. 本章框架
| 部分 | 核心内容 |
|---|---|
| 2.1 网络应用原理 | 应用架构、进程通信、Socket、进程寻址、应用层协议、传输服务需求 |
| 2.2 Web 与 HTTP | HTTP 连接、报文、方法、状态码、Cookie、Web 缓存、HTTP/2、HTTP/3 |
| 2.3 FTP | 文件传输、控制连接与数据连接、命令与响应 |
| 2.4 电子邮件 | SMTP、邮件格式、POP3、IMAP、HTTP 邮件 |
| 2.5 DNS | DNS 服务、层次结构、查询、缓存、资源记录、报文、攻击 |
| 2.6 P2P 应用 | P2P 文件分发、BitTorrent、流媒体、DASH、CDN |
| 2.7 Socket 编程 | UDP Socket、TCP Socket、客户端/服务器交互 |
2.1 网络应用原理
2.1.1 网络应用与应用架构
网络应用程序运行在端系统上,通过网络进行通信;网络核心设备不运行用户应用,因此开发网络应用通常不需要修改网络核心设备。
常见网络应用:Email、Web、即时消息、远程登录、P2P 文件共享、多人游戏、流媒体、VoIP、视频会议、社交网络、搜索等。
**应用架构(Application Architecture)**由应用开发者设计,决定应用如何分布在各端系统上;它不同于底层网络架构。
| 架构 | 主要特点 | 典型应用 |
|---|---|---|
| Client-Server(C/S) | 服务器通常持续在线、固定 IP;客户端主动连接服务器,可间歇上线、使用动态 IP;客户端通常不直接通信 | Web、FTP、Email、Telnet |
| P2P | 无持续在线中心服务器;任意对等方可直接通信;节点既请求服务又提供服务;节点经常上下线并改变 IP | BitTorrent、eMule、Skype、PPTV、迅雷 |
| 混合 C/S + P2P | 中心服务器负责定位/发现,实际数据或聊天由端系统直接传输 | 课件中的即时消息、Skype 示例 |
P2P 的特点
- Self-scalability:新 Peer 带来新的需求,同时也带来新的服务能力。
- 服务器基础设施和服务器带宽需求较小,成本较低。
- 主要挑战:ISP Friendly、Security、Incentives(激励)。
- 管理复杂,因为 Peer 会频繁上线、离线和改变 IP。
2.1.2 进程通信
Process(进程):运行在主机中的程序。
| 情况 | 通信方式 |
|---|---|
| 同一主机的两个进程 | 通过操作系统定义的 IPC(进程间通信) |
| 不同主机的两个进程 | 通过网络交换 Message(消息) |
- Client Process:主动发起通信的进程。
- Server Process:等待被联系的进程。
- 在 P2P 中,同一个 Peer 在不同通信会话中可能分别充当 Client 或 Server。
2.1.3 Socket:应用与运输层的接口
**Socket(套接字)**是应用进程收发网络消息的软件接口,可类比为“进程这间房子的门”。
应用进程 │ Socket ← 应用开发者主要控制这一侧 │运输层 ← 主要由操作系统控制 │网络层发送方把数据交给 Socket,运输层负责将数据传递到接收方对应进程的 Socket。
进程如何被唯一定位?
仅有 IP 地址不够,因为一台主机上可以同时运行多个进程。
| 标识 | 作用 |
|---|---|
| IP 地址 | 区分不同主机 |
| Port(端口号) | 区分同一主机上的不同进程 |
课件例子:HTTP Server 常用 80 端口;SMTP Server 常用 25 端口。
2.1.4 应用层协议规定什么?
应用层协议主要规定四类内容:
| 内容 | 含义 |
|---|---|
| Message Type | 报文类型,如 Request、Response |
| Syntax | 报文有哪些字段、字段如何划分 |
| Semantics | 各字段表示什么含义 |
| Rules | 进程在何时、如何发送和响应报文 |
| 类型 | 特点 | 示例 |
|---|---|---|
| Open Protocol | RFC 公开定义,有利于互操作 | HTTP、SMTP |
| Proprietary Protocol | 私有协议 | 课件示例:Skype、QQ、Thunder |
2.1.5 应用对运输服务的需求
应用选择 TCP / UDP 时主要考虑:
| 需求 | 含义 |
|---|---|
| Data Integrity | 是否要求数据完全可靠、不能丢失 |
| Throughput | 是否要求最低吞吐量 |
| Timing | 是否对低时延敏感 |
| Security | 是否需要加密、完整性保护等 |
常见应用需求
| 应用 | 可否丢失 | 吞吐量 | 时延敏感 |
|---|---|---|---|
| 文件传输 | 不可丢 | 弹性 | 否 |
| 不可丢 | 弹性 | 否 | |
| Web | 不可丢 | 弹性 | 否 |
| 实时音视频 | 可容忍一定丢失 | 音频约 5 kbps–1 Mbps;视频约 10 kbps–5 Mbps | 是,百毫秒级 |
| 存储音视频 | 可容忍一定丢失 | 类似音视频 | 是,秒级 |
| 交互式游戏 | 可容忍一定丢失 | 几 kbps 以上 | 是,百毫秒级 |
| 文本消息 | 不可丢 | 弹性 | 视场景而定 |
TCP vs UDP
| 项目 | TCP | UDP |
|---|---|---|
| 连接 | 面向连接,通信前建立连接 | 无连接 |
| 可靠性 | 可靠传输 | 不可靠数据报 |
| 顺序 | 保证有序 | 不保证顺序 |
| 流量控制 | 有 | 无 |
| 拥塞控制 | 有 | 无 |
| 时延保证 | 无 | 无 |
| 最低吞吐量保证 | 无 | 无 |
| 内置安全性 | 无 | 无 |
Internet 即使常常能较好支持实时应用,也不提供严格的时延和吞吐量保证。
SSL(课件补充)
TCP、UDP 本身不加密。课件中的 **SSL(Secure Sockets Layer)**位于应用层,通过 SSL Library 与 TCP 配合,可提供:
- 加密连接
- 数据完整性
- 端点认证
SSL 不是第三种运输层协议。
常见应用协议与运输协议
| 应用 | 应用层协议 | 底层运输协议 |
|---|---|---|
| SMTP | TCP | |
| 远程终端 | Telnet | TCP |
| Web | HTTP | TCP |
| 文件传输 | FTP | TCP |
| 流媒体 | HTTP / RTP | TCP 或 UDP |
| Internet 电话 | SIP / RTP / 私有协议 | TCP 或 UDP |
2.2 Web 与 HTTP
2.2.1 Web 基本概念
一个 Web Page 通常由:
- 一个基础 HTML 文件
- 若干被引用的 Object(对象)
对象可以是 HTML、JPEG、音频、Java Applet 等。每个对象都有 URL。
www.someschool.edu/someDept/pic.gif└────── Host Name ──────┘└ Path Name ┘2.2.2 HTTP 基本模型
**HTTP(HyperText Transfer Protocol)**是 Web 的应用层协议,采用 Client-Server 模型。
- Client:Browser,发送请求、接收并显示对象。
- Server:Web Server,根据请求返回对象。
- HTTP 使用 TCP;课件默认服务器端口:80。
- HTTP 是 Stateless Protocol(无状态协议):服务器默认不保存客户端过去请求的信息。
典型过程:
建立 TCP 连接→ Client 发送 HTTP Request→ Server 返回 HTTP Response→ 根据连接方式决定是否关闭 TCP2.2.3 非持久连接与持久连接
| 对比 | Non-persistent HTTP | Persistent HTTP |
|---|---|---|
| TCP 连接 | 每个请求/响应通常使用独立连接 | 多个请求/响应共用一个连接 |
| 对象数量 | 一个连接最多传一个对象 | 一个连接可传多个对象 |
| 开销 | 每个对象都重新建立 TCP | 减少 TCP 建连和系统开销 |
| 典型延迟 | 每个对象通常 >2 RTT | 后续对象可显著减少 RTT |
| Pipelining | 不适用 | 可连续发送多个请求,不必等待前一响应 |
浏览器还可以通过并行 TCP 连接降低非持久 HTTP 的页面加载时间。
非持久 HTTP 响应时间
忽略 DNS 等额外开销时:
其中:
- 第 1 个 RTT:建立 TCP 连接。
- 第 2 个 RTT:发送 HTTP Request,直到响应首字节返回。
- 再加对象传输时间。
2.2.4 HTTP 报文
HTTP 有两类报文:
- Request Message
- Response Message
Request 通用结构
Request LineHeader LineHeader Line...空行Entity Body(可选)请求行:
Method URL Version典型方法:
| 方法 | 含义 |
|---|---|
| GET | 获取资源 |
| POST | 通常在 Entity Body 中上传表单数据 |
| HEAD | 类似 GET,但服务器不返回对象实体,常用于调试 |
| PUT | 将 Entity Body 中的文件上传到 URL 指定路径 |
| DELETE | 删除 URL 指定资源 |
课件:HTTP/1.0 包含 GET、POST、HEAD;HTTP/1.1 增加 PUT、DELETE。
GET 与 POST 表单数据
| 方法 | 输入数据位置 |
|---|---|
| POST | Entity Body |
| GET | URL / Request Line 中,如查询参数 |
Response 通用结构
Status LineHeader LineHeader Line...空行Entity Body状态行:
Version Status-Code Phrase常见状态码:
| 状态码 | 含义 |
|---|---|
| 200 OK | 请求成功 |
| 301 Moved Permanently | 资源永久移动;新位置通常在 Location 字段 |
| 400 Bad Request | 服务器无法理解请求 |
| 404 Not Found | 找不到请求资源 |
| 505 HTTP Version Not Supported | 不支持该 HTTP 版本 |
HTTP 报文主要使用可读文本格式,Header 中常包含 Host、User-Agent、Content-Length、Content-Type、Connection 等信息。
2.2.5 Cookie:给无状态 HTTP 增加用户状态
HTTP 本身无状态,网站可通过 Cookie 识别用户。
Cookie 的四个组成部分:
| 组成 | 内容 |
|---|---|
| HTTP Response 中的 Cookie Header | Server 把 Cookie ID 发给 Client |
| 后续 HTTP Request 中的 Cookie Header | Client 把 Cookie ID 带回 |
| Browser 本地 Cookie File | 浏览器保存 Cookie |
| Server Backend Database | 服务器用 Cookie ID 索引用户数据 |
Cookie 可用于:
- Authorization
- Shopping Cart
- Recommendation
- 用户会话状态
本质上:在无状态 HTTP 之上人为建立用户会话状态。课件同时指出 Cookie 会带来隐私问题。
2.2.6 Web Cache / Proxy
**Web Cache(缓存服务器 / Proxy Server)**的目标:尽量不联系 Origin Server 就满足 Client 请求。
Client → Proxy ├─ 命中:直接返回缓存对象 └─ 未命中:向 Origin Server 请求 → 缓存 → 返回Proxy 同时具有两种角色:
- 面向原始 Client:是 Server
- 面向 Origin Server:是 Client
Web Cache 的作用
| 作用 | 说明 |
|---|---|
| 降低响应时间 | 命中本地缓存时无需访问远程 Server |
| 降低 Access Link 流量 | 减少机构出口链路负载 |
| 提高内容分发能力 | Internet 中大量缓存可帮助内容提供者分发内容 |
课件缓存计算例
已知:
- 对象平均大小:1 Mbit
- 请求速率:15 次/s
- Access Link:15 Mbps
- Internet RTT / delay 量级:约 2 s
- LAN:100 Mbps
无 Cache 时:
Access Link 接近饱和,排队时延很大。
若 Cache Hit Rate = 0.4:
课件估算总时延:
Conditional GET
问题:Cache 中的副本可能已经过期。
Cache Request:
If-Modified-Since: <date>Server:
- 未修改:
304 Not Modified,不重新发送对象。 - 已修改:
200 OK+ 新对象。
这样可以避免不必要的数据传输。
课件 HTTP 综合计算题结论
课件给定:页面 + 7 张图片,每个对象 1250 Kb;出口 10 Mbps;本地网络 100 Mbps;RTT 平均 1 s,并按题设的 3RTT 条件计算。
| 情况 | 课件答案 |
|---|---|
| 非并发、非持久 HTTP | 49 s |
| 非并发、持久 HTTP | 28 s |
| 30% 从 100 Mbps 本地 Cache、70% 从 10 Mbps Origin 获得时的最大平均速率 | 37 Mbps |
2.2.7 HTTP/2 与 HTTP/3
HTTP/1.1 的问题
HTTP/1.1 可在单 TCP 连接中流水线发送多个 GET,但 Server 通常按顺序响应。若前面有大对象,小对象可能被阻塞:
Head-of-Line(HOL)Blocking:队头阻塞
TCP 丢包重传也会使后续对象传输停顿。
HTTP/2
HTTP/2 的核心目标:降低多对象请求的时延。
| 特点 | 内容 |
|---|---|
| 保留 | 大多数 Method、Status Code、Header 与 HTTP/1.1 类似 |
| Priority | 可按 Client 指定优先级发送对象,不必严格 FCFS |
| Server Push | Server 可主动推送尚未请求的对象 |
| Frame | 对象切分为 Frame,多对象 Frame 可交错传输,缓解应用层 HOL |
HTTP/3
HTTP/2 仍运行在单个 TCP 连接上,TCP 丢包恢复可能阻塞所有对象。
课件对 HTTP/3 的概括:
- 基于 UDP
- 增加安全性
- 可进行更细粒度的对象级错误/拥塞控制
- 更利于流水化传输
2.3 FTP:文件传输协议
**FTP(File Transfer Protocol,RFC 959)**用于客户端与远程主机之间传输文件,采用 C/S 架构。
| 项目 | 内容 |
|---|---|
| Control Connection | TCP,Server Port 21 |
| Data Connection | 课件示意 Server Port 20 |
| 控制连接 | 用户会话期间保持打开 |
| 数据连接 | 文件传输时单独建立,一个文件传完可关闭,再传文件再建 |
| 状态 | Server 保存当前目录、认证信息,因此 FTP 是 Stateful |
控制与数据分离
FTP 将控制信息与真正文件数据放在不同 TCP 连接中,因此称为:
Out-of-Band Control(带外控制)
课件将 HTTP、SMTP 对比为 In-Band。
常见 FTP 命令
| 命令 | 含义 |
|---|---|
USER username | 用户名 |
PASS password | 密码 |
LIST | 当前目录文件列表 |
RETR filename | 下载文件 |
STOR filename | 上传文件 |
常见响应由“状态码 + Phrase”构成,如:
331 Username OK, password required125 ... transfer starting425 Can't open data connection452 Error writing file
2.4 电子邮件
2.4.1 三大组成部分
| 组成 | 功能 |
|---|---|
| User Agent(UA) | 撰写、编辑、阅读、回复、转发和保存邮件 |
| Mail Server | Mailbox 存放收到的邮件;Message Queue 存放待发送邮件 |
| SMTP | Mail Server 之间发送邮件 |
Email 是一种异步通信方式,不要求通信双方同时在线。
2.4.2 SMTP
SMTP(Simple Mail Transfer Protocol,RFC 5321)
| 项目 | 内容 |
|---|---|
| 运输协议 | TCP |
| Server Port | 25 |
| 连接 | Persistent Connection |
| 传输方式 | 发送服务器直接把邮件推送到接收服务器 |
| 三阶段 | Handshaking → Message Transfer → Closure |
| 交互 | ASCII Command / Response |
| 原课件要求 | Message 使用 7-bit ASCII |
SMTP Server 之间:
- 发送邮件的一侧充当 SMTP Client
- 接收邮件的一侧充当 SMTP Server
Alice 给 Bob 发邮件
Alice UA→ Alice Mail Server 的 Message Queue→ SMTP 建立 TCP 连接→ Bob Mail Server→ Bob Mailbox→ Bob UA 读取常见 SMTP 命令
HELOMAIL FROM:RCPT TO:DATAQUITCRLF.CRLF 用于标识邮件数据结束。
2.4.3 SMTP 与 HTTP 对比
| 项目 | HTTP | SMTP |
|---|---|---|
| 主要模式 | Pull | Push |
| Command/Response | ASCII,带状态码 | ASCII,带状态码 |
| 持久连接 | Persistent HTTP 可使用 | 使用 |
| 数据格式限制 | 无 SMTP 的 7-bit ASCII 限制 | 课件要求邮件为 7-bit ASCII |
| 对象组织 | 每个对象通常对应独立 HTTP Response | 多个对象可作为 Multipart Message |
| 状态 | HTTP 本身 Stateless | 课件描述 SMTP 为 Stateful |
2.4.4 邮件报文格式与 MIME
邮件报文本身的格式与 SMTP 命令不同。
HeaderTo:From:Subject:
空行BodyTo:、From::必需。Subject::可选。- Body:邮件正文。
- **MIME(Multipurpose Internet Mail Extensions)**用于扩展多媒体附件等能力。
2.4.5 邮件访问协议
SMTP 负责把邮件推送到接收方 Mail Server;用户读取邮件需要 Mail Access Protocol。
| 协议 | 特点 | 端口/方式 |
|---|---|---|
| POP3 | 简单;认证、下载;支持 Download-and-Delete / Download-and-Keep | Server Port 110 |
| IMAP | 邮件保留在 Server;可管理文件夹;跨 Session 保留用户状态 | 更复杂 |
| HTTP | Web Mail,如课件中的 Gmail、Hotmail、QQMail 等 | 浏览器访问 |
POP3
三个阶段:
- Authorization
- Transaction
- Update
典型命令:user、pass、list、retr、dele、quit。
课件将 POP3 描述为 Stateless:跨 Session 不保存目录/邮件组织状态。
IMAP
- 邮件主要保存在 Server。
- 可建立 Folder、管理邮件。
- 跨 Session 保存 Folder 名称、Message ID 与 Folder 的映射等状态。
- 因而课件将 IMAP 描述为 Stateful。
2.5 DNS:域名系统
2.5.1 DNS 的作用
DNS(Domain Name System):
- 是由大量 Name Server 构成的分布式层次数据库。
- 同时也是应用层协议。
- 课件:使用 53 端口,UDP。
- 主要完成 Hostname 与 IP Address 等信息的解析。
DNS 的四类服务
| 服务 | 内容 |
|---|---|
| Hostname → IP | 域名到 IP 地址转换 |
| Host Aliasing | 别名 → Canonical Hostname + IP |
| Mail Server Aliasing | 邮件服务器别名解析 |
| Load Distribution | 一个 Hostname 对应多个冗余 Server IP |
为什么 DNS 不采用单一中心服务器?
- Single Point of Failure
- Traffic Volume 太大
- 远距离访问集中数据库
- Maintenance 成本高
结论:集中式 DNS 不具有良好扩展性。
2.5.2 DNS 层次结构
Root DNS Server │ ↓TLD DNS Server │ ↓Authoritative DNS Server| 层次 | 作用 |
|---|---|
| Root DNS Server | 指向相应的 TLD DNS Server |
| TLD DNS Server | 管理 .com、.org、.edu、国家/地区顶级域等 |
| Authoritative DNS Server | 保存某组织域名的权威 Hostname → IP 映射 |
| Local DNS Server | 不严格属于上述层次;由 ISP/学校/公司提供,接收用户 DNS Query、缓存结果并代理查询 |
课件关于 Root Server 的数量与地理分布为当时背景数据,应按课件年份理解。
2.5.3 DNS 查询方式
Iterative Query:迭代查询
被查询的 Server 如果不知道最终答案,会告诉查询方:
“我不知道,但你可以去问这个 Server。”
然后查询方继续询问下一级。
课件将其描述为常用方式。
Recursive Query:递归查询
被查询 Server 负责继续向其他 Server 查询,直到得到最终答案再返回。
缺点:会把解析负担压到被查询 Server,尤其是 DNS 层次结构的高层服务器。
2.5.4 DNS Cache
任何 Name Server 学到映射后都可以缓存。
- Cache Entry 在 TTL 到期后删除。
- 课件示例 TTL 常可设置为约 2 天。
- Local DNS 通常缓存 TLD Server 信息,因此 Root Server 不必每次访问。
- 缓存信息可能过期,因此 DNS 映射具有一定 Best-Effort 特征。
2.5.5 DNS Resource Record(RR)
格式:
| Type | Name | Value | 含义 |
|---|---|---|---|
| A | Hostname | IP Address | 标准主机名 → IP |
| NS | Domain | Authoritative DNS Hostname | 指定该域的权威 DNS Server |
| CNAME | Alias | Canonical Name | 别名 → 规范主机名 |
| MX | Domain/Alias | Mail Server Canonical Name | 指定邮件服务器 |
2.5.6 DNS Message
DNS Query 与 Reply 使用相同基本报文格式。
Header
Header 主要包含:
- Identification:16 bit 查询 ID;Reply 使用相同 ID。
- Flags
- Query / Reply
- Recursion Desired
- Recursion Available
- Authoritative Reply
- 四个数量字段
- Questions 数
- Answer RRs 数
- Authority RRs 数
- Additional RRs 数
四个数据区
QuestionsAnswersAuthorityAdditional Information课件给出的 Header Section 大小:12 Bytes。
2.5.7 DNS 工具与记录加入过程
nslookup
nslookup 可直接向指定 DNS Server 发送 Query,用于观察解析结果。
新域名如何进入 DNS?
课件以 networkutopia.com 为例:
- 向 DNS Registrar 注册域名。
- ICANN 对 Registrar 进行授权。
- 向 Registrar 提供 Authoritative DNS Server 的名称和 IP。
- Registrar 向 TLD Server 加入记录,例如:
(networkutopia.com, dns1.networkutopia.com, NS)(dns1.networkutopia.com, 212.212.212.1, A)- 在自己的 Authoritative DNS 中加入 Web 的 A Record、Mail 的 MX Record 等。
2.5.8 DNS 攻击
| 攻击 | 核心思路 |
|---|---|
| DDoS Root/TLD Server | 大量流量轰炸 DNS Server |
| Man-in-the-Middle | 截获/篡改 DNS Query |
| DNS Poisoning | 向 DNS Server 注入伪造 Reply,使错误映射进入 Cache |
| DNS Amplification DDoS | 使用伪造源 IP 发送 DNS Query,利用放大效应攻击目标 |
课件指出:Local DNS 对 TLD 地址的缓存可在一定程度上减少对 Root Server 的依赖。
2.6 P2P 应用、流媒体与 CDN
2.6.1 P2P 文件分发:C/S vs P2P
设:
- 文件大小:
- Peer 数:
- Server 上传速率:
- 第 个 Peer 下载速率:
- 第 个 Peer 上传速率:
Client-Server
Server 必须上传 份文件:
随着 增加,Server 上传负担近似线性增长。
P2P
Server 至少上传 1 份;所有 Peer 共同提供上传能力:
P2P 中 Peer 数增加时,总需求增加,但总上传能力也同时增加,因此具有更好的扩展性。
2.6.2 BitTorrent
| 概念 | 含义 |
|---|---|
| Chunk | 文件被分成若干块;课件示例约 256 KB |
| Torrent | 共同交换同一文件 Chunk 的 Peer 集合 |
| Tracker | 跟踪 Torrent 中的 Peer |
| Neighbor | Peer 从 Tracker 获得列表后连接的一部分 Peer |
| Churn | Peer 不断加入、离开 |
Peer 下载 Chunk 的同时也把已有 Chunk 上传给其他 Peer。
请求策略:Rarest First
Peer 会:
- 向 Neighbor 查询其拥有的 Chunk。
- 从自己缺失的 Chunk 中,优先请求最稀缺的 Chunk。
目的:降低某些 Chunk 在 Torrent 中消失的风险。
发送策略:Tit-for-Tat
- 优先向当前给自己上传最快的 Top 4 Peer发送 Chunk。
- 约每 10 秒重新评估。
- 其他 Peer 被 Choke。
- 约每 30 秒随机选择一个 Peer,执行 Optimistic Unchoke。
- 若新 Peer 表现好,可进入 Top 4。
核心思想:上传贡献越大,越容易获得更好的下载服务。
2.6.3 流媒体视频
Video = 按固定速率显示的图像序列,例如课件示例 24 Frame/s。
编码通过减少冗余降低 Bit 数:
| 编码 | 原理 |
|---|---|
| Spatial Coding | 利用同一帧内部的空间冗余 |
| Temporal Coding | 利用相邻帧之间的时间冗余,只传变化部分 |
| 编码速率 | 含义 |
|---|---|
| CBR | Constant Bit Rate,编码速率固定 |
| VBR | Variable Bit Rate,编码速率随内容变化 |
课件示例:MPEG1 约 1.5 Mbps;MPEG2 约 3–6 Mbps;MPEG4 约 64 Kbps–12 Mbps。
Streaming Stored Video 的主要挑战
- Server → Client 可用带宽随拥塞变化。
- Packet Loss、Delay 会影响播放质量。
- Continuous Playout Constraint:播放节奏要接近原始视频节奏。
- 网络 Delay 有抖动(Jitter)。
- 用户还需要 Pause、Fast Forward、Rewind、Jump 等交互。
Playout Buffering
Client 先缓存一部分视频,再开始播放:
Client-side Buffer + Playout Delay 可补偿网络 Delay 和 Jitter,从而保持连续播放。
2.6.4 DASH
DASH:Dynamic, Adaptive Streaming over HTTP
Server
- 将视频切成多个 Chunk。
- 每个 Chunk 编码为多个不同 Bit Rate。
- 不同编码版本分别存储。
- 可复制到不同 CDN Node。
- 提供 Manifest File,记录各 Chunk 的 URL。
Client
周期性估计当前 Server → Client Bandwidth,并决定:
| 决策 | 内容 |
|---|---|
| When | 何时请求下一个 Chunk,防止 Buffer Starvation / Overflow |
| What Rate | 当前带宽好时选择更高 Bit Rate |
| Where | 从哪个 Server / CDN Node 获取 Chunk |
课件总结:
2.6.5 CDN
若所有视频都由一个 Mega-Server 提供,会出现:
- Single Point of Failure
- Network Congestion
- 远距离 Client 路径长
- 缺乏可扩展性
CDN(Content Distribution Network):在多个地理位置存储同一内容的副本,就近为用户服务。
| 部署思路 | 特点 |
|---|---|
| Enter Deep | 大量 CDN Server 深入不同 Access Network,更靠近用户 |
| Bring Home | 在靠近 Access Network 的 POP 中部署较少但更大的 Cluster |
课件案例:
- Akamai:课件 2015 数据约 240,000 Server、覆盖 120+ 国家。
- Netflix:使用 OpenConnect CDN Node保存内容副本;Client 获取 Manifest 后按当前网络条件选择可支持的码率和副本。
OTT 的主要问题
从网络“边缘”应对拥塞:
- 什么内容放在哪个 CDN Node?
- 从哪个 CDN Node 获取?
- 选择什么传输码率?
2.7 Socket 编程
2.7.1 两类 Socket
| Socket | 特点 |
|---|---|
| UDP Socket | 无连接、不可靠、DataGram-Oriented |
| TCP Socket | 面向连接、可靠、Byte-Stream-Oriented |
课件示例应用:
Client 输入小写字符串→ 发送给 Server→ Server 转成大写→ 返回 Client→ Client 显示2.7.2 UDP Socket
UDP 特点:
- 通信前不握手。
- Sender 每个 Datagram 都明确携带目标 IP + Port。
- Receiver 可从收到的 Datagram 中获得 Sender IP + Port。
- Datagram 可能丢失,也可能乱序。
Python 核心接口
| 操作 | 典型调用 |
|---|---|
| 创建 UDP Socket | socket(AF_INET, SOCK_DGRAM) |
| Server 绑定端口 | bind(('', serverPort)) |
| 发送 Datagram | sendto(data, (host, port)) |
| 接收 Datagram | recvfrom(bufferSize) |
| 关闭 | close() |
UDP 交互流程
Server:socket → bind → recvfrom ↓ 处理数据 ↓ sendto ↑Client:socket → sendto → recvfrom → closeUDP Server 回复时必须知道 Client 的 IP + Port。
2.7.3 TCP Socket
TCP Server 必须先运行,并创建用于等待 Client 的 Socket。
Client:
- 创建 TCP Socket。
- 指定 Server IP + Port。
connect()时建立 TCP Connection。
Server:
- 创建 serverSocket。
bind()。listen()。accept()等待连接。- 每接受一个 Client,创建新的 connectionSocket。
- 通过 connectionSocket 与该 Client 单独通信。
serverSocket 是“欢迎门”;connectionSocket 是为某个具体 Client 新建的“通信门”。
Python 核心接口
| 操作 | 典型调用 |
|---|---|
| 创建 TCP Socket | socket(AF_INET, SOCK_STREAM) |
| Server 绑定 | bind() |
| 监听 | listen() |
| 接收连接 | accept() |
| Client 建连 | connect() |
| 发送 | send() |
| 接收 | recv() |
| 关闭连接 | close() |
TCP 交互流程
Server Clientsocket socket ↓ ↓bind connect ↓ │listen ←──── TCP 建立连接 ──────┘ ↓accept ↓connectionSocket ↕send / recv ↔ send / recv ↓closeTCP 从应用视角提供:
Reliable + In-order + Byte Stream
2.8 高频对比表
HTTP / FTP / SMTP / DNS
| 协议 | 主要功能 | 典型端口 | 底层 | 状态特点 |
|---|---|---|---|---|
| HTTP | Web | 80 | TCP(课件 HTTP/3 另述为基于 UDP) | Stateless |
| FTP | 文件传输 | 控制 21;课件数据连接示意 20 | TCP | Stateful |
| SMTP | Mail Server 间发邮件 | 25 | TCP | 课件描述 Stateful |
| POP3 | 从 Mail Server 取邮件 | 110 | TCP | Stateless |
| DNS | 域名解析 | 53 | 课件本章写 UDP | Cache 有 TTL |
Stateful / Stateless
| Stateless | Stateful |
|---|---|
| HTTP、POP3 | FTP、IMAP、课件描述的 SMTP |
Centralized / Decentralized
| 集中式倾向 | 去中心化倾向 |
|---|---|
| Client-Server | P2P |
| 单 Mega-Server | CDN / 分布式服务 |
| 中心 DNS 不可扩展 | 分布式层次 DNS |
2.9 本章最重要的通用思想
| 思想 | 需要掌握 |
|---|---|
| Request / Reply | Client 请求信息或服务,Server 返回数据/状态码 |
| Message Format | Header 描述控制/元信息,Data/Body 承载真正内容 |
| Control vs Data | FTP 明确分离控制连接与数据连接 |
| In-band vs Out-of-band | FTP 为带外控制;课件将 HTTP/SMTP 对比为带内 |
| Stateless vs Stateful | 是否跨多个事务保存通信状态 |
| Reliable vs Unreliable | TCP 可靠;UDP 不可靠 |
| Centralized vs Decentralized | C/S 与 P2P、Mega-Server 与 CDN |
| Complexity at Network Edge | DNS、P2P、DASH、CDN 等能力大量由端系统/应用层实现 |
2.10 课件拓展与实践主题
| 课件任务 | 对应知识点 |
|---|---|
| Wireshark 抓取并分析 HTTP | HTTP Request/Response、TCP 连接 |
| Shadowsocks 基本原理、检测与阻断 | Proxy、网络访问控制 |
| 根 DNS 与 Yeti DNS Project | DNS 根系统与扩展 |
| DNS 攻击与防御 | DNS DDoS、Poisoning、Amplification |
| 局域网 Client/Server 程序 | TCP / UDP Socket Programming |
最后一页:中文复习框架
第 2 章 应用层
应用层├─ 一、网络应用原理│ ├─ 应用架构│ │ ├─ 客户端/服务器│ │ ├─ 对等网络 P2P│ │ └─ 混合架构│ ├─ 进程通信│ │ ├─ 客户端进程:主动发起通信│ │ └─ 服务器进程:等待被联系│ ├─ 套接字 Socket│ │ └─ 进程标识 = IP 地址 + 端口号│ ├─ 应用层协议│ │ ├─ 报文类型│ │ ├─ 语法│ │ ├─ 语义│ │ └─ 交互规则│ └─ 运输服务需求│ ├─ 可靠性│ ├─ 吞吐量│ ├─ 时延│ └─ 安全性│├─ 二、Web 与 HTTP│ ├─ HTTP:Web 应用层协议│ ├─ 使用 TCP,典型端口 80│ ├─ 无状态协议│ ├─ 连接方式│ │ ├─ 非持久连接│ │ └─ 持久连接 / 流水线│ ├─ HTTP 报文│ │ ├─ 请求报文│ │ ├─ 响应报文│ │ ├─ GET / POST / HEAD / PUT / DELETE│ │ └─ 200 / 301 / 400 / 404 / 505│ ├─ Cookie│ │ └─ 在无状态 HTTP 上维护用户会话│ ├─ Web 缓存│ │ ├─ 代理服务器│ │ ├─ 缓存命中率│ │ └─ 条件 GET:304 Not Modified│ ├─ HTTP/2│ │ ├─ 对象分帧│ │ ├─ 优先级│ │ ├─ Server Push│ │ └─ 缓解队头阻塞│ └─ HTTP/3│ └─ 课件概括:基于 UDP,进一步降低阻塞并增加安全性│├─ 三、FTP│ ├─ 文件传输协议│ ├─ 控制连接:TCP 21│ ├─ 数据连接:课件示意 TCP 20│ ├─ 控制与数据分离:带外控制│ └─ 有状态协议│├─ 四、电子邮件│ ├─ 用户代理│ ├─ 邮件服务器│ │ ├─ 邮箱│ │ └─ 消息队列│ ├─ SMTP│ │ ├─ TCP 25│ │ ├─ 推送邮件│ │ └─ HELO / MAIL FROM / RCPT TO / DATA / QUIT│ ├─ 邮件报文与 MIME│ └─ 邮件访问│ ├─ POP3:简单、无状态、端口 110│ ├─ IMAP:服务器端管理、有状态│ └─ HTTP:Web Mail│├─ 五、DNS│ ├─ 域名系统:分布式层次数据库│ ├─ 课件:UDP 53│ ├─ 主要服务│ │ ├─ 域名 → IP│ │ ├─ 主机别名│ │ ├─ 邮件服务器别名│ │ └─ 负载分配│ ├─ DNS 层次│ │ ├─ 根 DNS│ │ ├─ 顶级域 DNS│ │ ├─ 权威 DNS│ │ └─ 本地 DNS│ ├─ 查询│ │ ├─ 迭代查询│ │ └─ 递归查询│ ├─ 缓存与 TTL│ ├─ 资源记录│ │ ├─ A│ │ ├─ NS│ │ ├─ CNAME│ │ └─ MX│ └─ 安全│ ├─ DDoS│ ├─ 中间人│ ├─ DNS 投毒│ └─ DNS 放大攻击│├─ 六、P2P、流媒体与 CDN│ ├─ P2P 文件分发│ │ └─ Peer 越多,同时带来的上传能力也越多│ ├─ BitTorrent│ │ ├─ Chunk│ │ ├─ Tracker / Torrent│ │ ├─ 稀缺块优先│ │ └─ 以牙还牙 / 乐观疏通│ ├─ 视频编码│ │ ├─ 空间编码 / 时间编码│ │ └─ CBR / VBR│ ├─ 流媒体│ │ ├─ 连续播放约束│ │ ├─ 时延抖动│ │ └─ 客户端缓冲│ ├─ DASH│ │ ├─ 视频分块│ │ ├─ 多码率│ │ ├─ Manifest│ │ └─ 客户端自适应选择│ └─ CDN│ ├─ 多地复制内容│ ├─ 就近服务│ └─ Netflix OpenConnect│└─ 七、Socket 编程 ├─ UDP Socket │ ├─ SOCK_DGRAM │ ├─ 无连接 │ ├─ sendto / recvfrom │ └─ 每个数据报明确携带目标 IP + Port └─ TCP Socket ├─ SOCK_STREAM ├─ 面向连接、可靠、有序字节流 ├─ Server:bind → listen → accept ├─ Client:connect └─ 双方:send / recv → close一眼记住的关键式子
非持久 HTTP 单对象响应时间
C/S 文件分发
P2P 文件分发
DNS 资源记录
如果这篇文章对你有帮助,欢迎分享给更多人!
部分信息可能已经过时