1. Electronic Mail

电子邮件应用画像

• 应用层传输对象：邮件
• 网络应用架构：客户-服务器架构
• 使用传输服务：TCP
• 应用层协议：
  • 邮件传输协议：SMTP（端口号25）
  • 邮件访问协议：POP3（端口号110），IMAP（端口号143），HTTP（端口号80）
• SMTP、POP3、IMAP采用命令/响应交互

1.1 电子邮件系统

最初由三个部分组成：

• 用户代理
• 邮件服务器
• 简单邮件传输协议

用户代理

• 编辑、阅读、回复邮件等。
• 将要外发的邮件发送到用户的邮件服务器。
• 从用户邮箱中取邮件。
• 一些用户代理：Outlook, elm, Mozilla, Thunderbird

邮件服务器

• 用户信箱：存放到来的邮件。
• 发送报文队列：存放要发送出去的邮件。
• 报文传输代理MTA：运行在服务器后台的系统守护进程，负责在邮件服务器之间传输邮件，即将收到的邮件放入用户信箱。

电子信箱

• 电子信箱：
  • 由计算机上的一个存储区域（如磁盘上的一个文件）组成。
  • 每个信箱均被分配了唯一的电子邮件地址。
• 电子邮件地址：
  • 由两个部分组成，形如：mailbox@computer。
  • 前者为标识用户信箱的字符串，后者为信箱所在的邮件服务器的名字。

简单邮件传输协议–SMTP [RFC 2821]

• 邮件服务器之间传输邮件采用客户-服务器模式：
  • 客户: 发送邮件的邮件服务器（报文传输代理）
  • 服务器: 接收邮件的邮件服务器（报文传输代理）
• SMTP使用TCP协议，服务器端口为25
• 发送方和接收方的邮件服务器之间直接传输邮件
• SMTP采用命令/响应交互方式：
  • 命令: ASCII文本
  • 响应: 状态码和短语
• 报文只能包含简单ASCII文本，即7位ASCII码（最初仅为英文电子邮件而设计）

邮件发送示例Scenario: Alice sends message to Bob

1. Alice使用用户代理编辑邮件，发送给bob@someschool.edu
2. Alice的用户代理将报文发送给其邮件服务器（使用SMTP）。
3. 邮件被置于邮件服务器的发送报文队列中。
4. Alice的邮件服务器与Bob的邮件服务器建立TCP连接，然后发送 Alice的邮件。
5. Bob的邮件服务器将邮件放置在Bob的信箱中。
6. Bob调用他的用户代理阅读邮件。
   

Q：为什么不是直接从 User Agent 直接发送到 User Agent 呢？
A：User Agent这样的终端程序并不是实时在线的，若Bob的Mail Server暂时出现了问题，Alice的 Mail Server会在一段时间内不断尝试发送，尝试多次后才宣布发布失败。User Agent 并不是一直在线的无法向 Mail Server 一样重复这样的过程。

邮件传送具体实现

  假设Alice的邮件已经从代理服务器传输到了邮件服务器上，Alice的邮件服务器试图将邮件传送到Bob的邮件服务器上。

1. 实现连接与握手
   • MTA客户与MTA服务器在端口25建立TCP连接。
   • 服务器发送服务就绪报文。
   • 客户发送HELO报文，用域名标识自己。
   • 服务器响应。
     
   • 若正常则回复 250 OK，不正常回复 421 Service not Available
2. 发送邮件内容
   

可能出现的错误：
451：处理出错
452：存储空间不足

3. 结束传输

• 客户发送QUIT命令
• 服务器响应
• 释放TCP连接
  

几个要点：

• SMTP使用持久连接：
  • 可以在一条TCP连接上传输多个报文（FTP只传输一个文件，HTTP可传输一个或多个对象）
  • 一个方向的报文传输结束后，可以在另一个方向上传输报文（SMTP特有的）
• SMTP 服务器使用 “.” 表示报文结束（FTP使用关闭连接表示文件结束，HTTP使用长度域表示报文结束）。
• SMTP要求报文（报头和实体）只包含简单ASCII文本（HTTP无此要求）。

1.2 邮件报文格式

如何传输包含非ASCII文本的报文?

• 现在的电子邮件要求能传输其它语系的文字，甚至非文本信息（如图片）。
  • 非ASCII文本形式的数据，在发送前须转换成简单ASCII文本。
• 非ASCII文本的报文大多具有特殊的数据类型，需要特殊的邮件浏览器（如JPEG图形的解压缩软件）来阅读。
  • 需扩展报文的数据类型。

Base64编码

Base64用来将一个二进制字节序列，转换成由ASCII字符序列构成的文本。

每24比特数据划分成4个6比特的单元，每个单元编码成一个ASCII字符，其对应关系为：

• 0～25编码成’A’～’Z’
• 26～51编码成‘a’～‘z’
• 52～61编码成‘0’～‘9’
• 62和63分别编码成‘＋’和‘／’
• 若最后一组只有8比特或16比特，分别加上‘＝＝’和 ‘＝’ 后缀
• 回车和换行忽略，可以插在任何地方
  

quoted-printable编码

适用于绝大部分都是ASCII字符的报文实体，其编码方法是：

• 每个ASCII字符保持不变
• 对于非ASCII字符（大于127的字符），将该字符的十六进制表示用两个ASCII字符标记，前面冠以特殊字符“=”。
  

多用途因特网邮件扩展协议MIME

  扩展了RFC 822，允许实体具有不同的数据类型，并规定了非ASCII文本信息在传输时的统一编码形式。

扩充了一些首部行，最重要的是：

• Content-Transfer-Encoding：实体采用的传输编码形式。
• Content-Type：实体的数据类型及子类型。
  

1.3 邮件访问

邮件访问方式：

• 早期：用户登陆到邮件服务器上，直接在服务器上运行一个邮件阅读程序来阅读邮件。
• 今天：用户在终端上安装用户代理，获取和阅读邮件。

Q：能将用户信箱放在本地终端吗？
A：不能，用户终端不可能一直连在因特网上

Q：用户代理能用SMTP从邮件服务器获取邮件吗？
A：不能，SMTP是一个“推”协议，只能将邮件从用户代理推送到其邮件服务器，或从发送方邮件服务器推送到 收件人邮件服务器。

解决方案：设计一个新的协议从服务器获取邮件。

邮件的两阶段交付

• 在具有永久因特网连接的计算机上运行一个SMTP服务器，为用户分配一个永久信箱。
• 第一阶段：邮件被投递到收信人的永久信箱。
• 第二阶段：用户从永久信箱中获取邮件。
• 为此，带永久信箱的计算机必须运行两个服务器程序：
  • SMTP服务器：收发用户邮件，将收到的邮件放入用户信箱
  • 邮件访问服务器：允许用户从信箱中提取邮件

邮件访问协议
可以从服务器获取邮件的协议有：

• POP: Post Office Protocol [RFC 1939]
  • authorization (agent <—>server) and download
• IMAP: Internet Mail Access Protocol [RFC 1730]
  • more features (more complex)
  • manipulation of stored msgs on server
• HTTP: gmail, Hotmail, Yahoo! Mail, etc.

POP3协议的两个阶段

1. 认证和授权阶段

• 客户命令:
  • user: declare username
  • pass: password
• 服务器响应
  • +OK
  • -ERR

S: +OK POP3 server ready
C: user bob
S: +OK
C: pass hungry
S: +OK user successfully logged on

2. 事务阶段

• 客户命令:
• list: list message numbers
• retr: retrieve message by number
• dele: delete
• quit

C: list
S: 1 498
S: 2 912
S: .
C: retr 1
S: <message 1 contents>
S: .
C: dele 1
C: retr 2
S: <message 2 contents>
S: .
C: dele 2
C: quit
S: +OK POP3 server signing off

基于web的邮件访问：HTTP

• 用户代理为普通浏览器：
  • 发送邮件：浏览器使用 HTTP协议 将邮件发送到邮件服务器。
  • 获取邮件：浏览器使用 HTTP协议 从信箱取邮件。
  • 传输邮件：邮件服务器之间仍使用 SMTP协议 传输报文。
• 和IMAP一样，用户可以在远程服务器上用文件夹来组织他们的邮件。
• 下图展示了邮件传输的两种方式：
  
  • 红色线代表为像Outlook这样的代理服务器的邮件传输方式。
  • 蓝色线代表为基于web代理服务器的邮件传输方式。

现代因特网电子邮件系统的组成

• 用户代理
• 邮件服务器
• 简单邮件传输协议SMTP
• 邮件访问协议（POP3，IMAP，HTTP）

小结

• 电子邮件系统：
  • 4个组成部分。
• SMTP协议：
  • 使用TCP协议，服务器端口号25。
  • “推”协议：将邮件推向用户信箱。
  • 命令/响应交互方式。
  • 信体只能包含简单ASCII文本。
• MIME协议：
  • 允许信体包含非ASCII文本。
  • 规定传输编码类型，扩展数据类型。
• 两阶段交付过程：
  • 邮件投递：邮件从发信方投递到用户信箱。
  • 邮件访问：收信人从用户信箱获（拉）取邮件。

理解HTTP、FTP、SMTP设计上的不同

• HTTP、FTP、SMTP均是在TCP连接上传输文件，但是在设计上有一些不同
• 使用持久连接或非持久连接：HTTP可在一条TCP连接上传输多个对象，SMTP可以传输多个邮件，FTP只传输一个文件。
• 文件传输结束的标记：HTTP使用长度指示报文结束，FTP使用关闭连接表示文件结束，SMTP 使用 “.” 表示报文结束。
• 文件内容的要求：SMTP要求邮件只包含简单ASCII文本，FTP和HTTP无此要求。
• 客户-服务器交互方式：HTTP采用报文交互，SMTP和FTP采用命令/响应交互。

2. DNS（Domain Name System）

因特网的目录服务DNS：将主机名映射到IP地址。

DNS实现为一个应用层服务：

• 由其它网络应用使用的服务
• 客户-服务器模式
• 传输服务：主要使用UDP，有时使用TCP
• 端口号53
• 请求/响应报文交互

2.1 DNS提供的服务

• 主机名-IP地址转换
• 主机别名：
  • 允许主机除了规范名外，具有一个或多个别名（易于记忆），如www.ustc.edu.cn
  • 提供主机别名到规范名的映射。
  • 迁移服务不需要修改主机名。
• 邮件服务器别名：
  • 允许使用域名作为邮件服务器的别名，如：xxx@ustc.edu.cn
• 负载分配：
  • 允许一个规范主机名对应一组IP地址。
  • 将服务请求在一群相同功能的服务器之间分配。

2.2 DNS工作机理

将主机名转换成IP地址：

1. 应用程序（如浏览器）调用一个本地例程（解析器），主机名作为参数之一传递。
2. 解析器向网络中的DNS服务器发送查询报文，包含要查询的主机名。
3. 解析器收到包含IP地址的响应报文。
4. 解析器将IP地址返回给调用者（如浏览器）。

对应用程序而言，DNS是一个提供直接转换服务的黑盒子。

DNS是一个分布式数据库

Q: 为什么不使用集中式的DNS？

• 单点失效
• 流量集中：单个DNS服务器需处理全部查询
• 响应时间长：远距离的集中式数据库
• 需要维护庞大的数据库

分布式环境中的名字空间

如何在分布式环境下避免出现名字冲突？

DNS使用名字空间来规范对主机的命名：

• 名字空间是因特网主机名字的集合，它同时给出了命名主机的方法。
• 概念上，因特网被划分成200多个顶级域，每个顶级域可继续划分子域，依次类推。
• 主机名字采用分层的命名方法。

域名

域（domain）：名字树中，以任何一个节点为根的子树构成一个域。
标记（label）：树上每一个节点都有一个标记（最多63个字符），树根的标记是一个空字符串。
域名（domain name）：某个域的名字表示为：从该域开始向上直到树根的标记序列，标记之间用句点隔开（类似国外邮政地址的写法）。

域名的任一后缀也是一个域，同一个机构内的主机具有相同的域名后缀。
每个节点只需保证其孩子节点的标记不重名。

顶级域

  顶级域分为组织域、国家域和反向域三种。

• 组织域
    由美国国内及一些国际组织使用。
  
• 国家域
    使用二字符的国家代码，每个国家对应一个。
  
• 反向域

顶级域名为arpa，用来将一个IP地址映射为注册的域名，反向域名解析是为了溯源。

DNS提供了一个反向解析域in-addr.arpa：

• 欲解析的IP地址表示成像域名一样的一个串，例如，IP地址132.34.45.121表示为 121.45.34.132.in-addr.arpa。
• 以这个字符串作为参数调用解析器

电信运营商使用自己的DNS服务器提供相关IP地址的反向解析服务。

域名服务器的组织层次

客户想知道www.amazon.com的IP地址：

• DNS客户查询根服务器，得到com域的DNS服务器地址。
• DNS客户查询com域的DNS服务器，得到amazon.com域的DNS服务器地址。
• DNS客户查询amazon.com域的DNS服务器，得到www.amazon.com的IP地址。

顶级域服务器，权威服务器

• 顶级域 (Top Level Domain, TLD) 服务器:
  • 每个TLD服务器负责一个顶级域。
  • 知道其所有二级子域的域名服务器的地址。
• 权威DNS服务器:
  • 机构的DNS服务器，提供机构内部服务器的名字映射。
  • 提供一个主域名服务器、一个或多个辅助域名服务器。
  • 可由机构维护，也可委托ISP维护。

本地DNS服务器

• 严格来说，本地DNS服务器不属于DNS服务器的层次结构。
• 每个ISP都有一台本地DNS服务器，也称“默认的DNS服务器”。
• 解析器的DNS查询报文实际上发送给本地DNS服务器。
• 本地DNS服务器起着代理的作用，负责将DNS查询报文发送到DNS层次结构中，并将查找结果返回给解析器。

域名解析的例子

Q：cis.poly.edu上的一台主机想知道gaia.cs.umass.edu的IP地址

物理服务器的层次

  一个物理服务器保存的信息可能涉及域名空间的若干层，它也可以把它的域划分成若干子域，把其中的一些子域委托给其它服务器。

  实际的物理服务器的层次与域名空间的逻辑层次不同。

DNS缓存

• 每当收到一个响应报文，DNS服务器将报文中的映射信息缓存在本地（每一层的DNS都有缓存）。
• DNS服务器首先使用缓存中的信息响应查询请求。
• DNS缓存中的映射在一定时间后被丢弃
• 特别地，本地DNS服务器通常会缓存TLD服务器的IP地址，因而很少去访问根服务器

2.3 DNS资源记录

DNS更准确的说法: 存储资源记录（RR）的分布式数据库。

• Type=A（Address）
  • Name：主机名
  • Value：IP地址
• Type=NS（Name Server）
  • Name：域 (e.g. foo.com)
  • value：该域的权威DNS服务器的主机名
• Type=CNAME（Canonical Name）
  • Name：别名
  • Value：规范名
• Type=MX
  • Name：域(e.g. foo.com)
  • Value：该域的邮件服务器名字

DNS数据库内容示例

2.4 DNS协议，报文

DNS协议: 定义了查询和响应两种报文，查询和响应使用相同的报文格式。


DNS报文的封装

• DNS主要使用UDP，有时使用TCP，服务器的熟知端口都是53：
  • 当响应报文的长度小于512字节时，使用UDP
  • 当响应报文的长度超过512字节时，使用TCP
  • 当解析器事先不知道响应报文的长度时，先使用UDP；若响应报文的长度超过512字节，服务器截断这个报文，置DNS报文首部的TC标志为1；解析程序打开TCP连接，并重复这个请求，以便得到完整的响应。
• 为什么DNS响应报文的长度小于512字节时，使用UDP，响应报文的长度超过512字节时，使用TCP？
  • 这是因为UDP没有数据分段的能力，一旦发送的报文长度过长，就需要切割成几个报文段来传送。这就有可能导致信息被分成多个报文段发送丢失，造成严重的数据损失。而TCP传输数据时，可以对数据进行分段和重组，保证数据的完整性，因此更适合传输大型的DNS响应报文。另外，DNS使用TCP的情况也不仅限于响应报文超过512字节，还包括查询应答中的TCP标识位被置位、端口53被占用等情况。

往DNS中插入资源记录

• example: new startup “Network Utopia”。
• 向DNS注册机构注册域名“networkutopia.com”
  • 提供权威DNS服务器（主域名服务器，辅助域名服务器）的名字和IP地址。
  • 对每个权威域名服务器，注册机构往 com TLD 服务器中插。
    入两条资源记录，例如：(networkutopia.com, dns1.networkutopia.com, NS)(dns1.networkutopia.com, 212.212.212.1, A)
• 建立权威DNS服务器，特别是：
  • 建立www.networkuptopia.com的Type A记录。
  • 建立networkutopia.com的Type MX记录，以及相应邮件服务器的A记录。

2.5 小结

• DNS
  • 提供了一种按层次结构命名主机的方法
  • 实现了一个由DNS服务器构成的分布式数据库
  • 提供了查询域名数据库的应用层协议
• 域名服务器的类型和层次（逻辑层次，物理层次）
• DNS服务的调用方法：
  • 向本地DNS代理的一个RPC调用
  • 递归+迭代的查询方式
• DNS协议：
  • 主要使用UDP，也可以使用TCP，端口号均为53
  • 报文请求/响应交互
• DNS缓存