本篇根据TCP & Socket 相关知识点和学习所得进行整理所得。
文章目录
- 前言
- 1. TCP相关知识点
- 1.1 双工/单工
- 1.2 TCP协议的主要特点
- 1.3 TCP的可靠性原理
- 1.4 报文段
- 1.4.1 端口
- 1.4.2 seq序号
- 1.4.3 ack确认号
- 1.4.4 数据偏移
- 1.4.5 保留
- 1.4.6 控制位
- 1.4.7 窗口
- 1.4.8 校验和
- 1.4.9 紧急指针
- 1.5 粘包与拆包
- 1.5.1 TCP粘包/拆包解决策略
- 1.6 三次握手
- 1.7 四次挥手
- 2 Socket相关知识点
- 2.1 Socket
- 2.2 Socket的工作原理
- 2.3 网络中进程之间如何通信
- 2.4 Socket中TCP的三次握手建立连接详解
- 2.5 Socket中TCP的四次握手释放连接详解
- 3.TCP/IP更深刻的理解
- 3.1 OSI和TCP/IP模型
- 3.2 TCP/IP宏观上的理解
- 3.3 在Linux中展示分层的感觉
- 3.3 TCP连接建立过程
前言
TCP是一个传输层协议,提供可靠传输,支持全双工,是一个连接导向的协议。Socket是TCP / IP协议族 的编程接口(API)。
1. TCP相关知识点
1.1 双工/单工
(1)单工:在任何一个时刻,如果数据只能单向发送,就是单工。
(2)半双工:如果在某个时刻数据可以向一个方向传输,也可以向另一个方向反方向传输,而且交替进行,叫作半双;半双工需要至少 1 条线路。
(3)全双工:如果任何时刻数据都可以双向收发,这就是全双工,全双工需要大于 1 条线路.
TCP 是一个双工协议,数据任何时候都可以双向传输。这就意味着客户端和服务端可以平等地发送、接收信息。
1.2 TCP协议的主要特点
- TCP是
面向连接
的运输层协议
,所谓面向连接就是双方传输数据之前,必须先建立一条通道,例如三次握手
就是建议通道的一个过程,而四次挥手
则是结束销毁通道的一个其中过程。 - 每一条TCP连接只能有两个端点 (即两个套接字),只能是点对点的(服务器监控相应端口,客户端连接相应的端口+端口);
- TCP提供
可靠
的传输服务。传送的数据无差错、不丢失、不重复、按序到达 - TCP提供
全双工通信
。允许通信双方的应用进程在任何时候都可以发送数据,因为两端都设有发送缓存和
接受缓存: 面向字节流
。虽然应用程序与TCP交互是一次一个大小不等的数据块,但TCP把这些数据看成一连串无结构的字节流,它不保证接收方收到的数据块和发送方发送的数据块具有对应大小关系,例如,发送方应用程序交给发送方的TCP10个数据块,接收方的TCP可能只用收到的4个数据块字节流交付给上层的应用程序。
1.3 TCP的可靠性原理
可靠传输有如下两个特点:
- 传输信道无差错,保证传输数据正确:
- 不管发送方以多快的速度发送数据,接收方总是来得及处理收到的数据;
首先,采用三次握手来建立TCP连接,四次握手来释放TCP连接,从而保证建立的传输信道是可靠的。其次,TCP采用了连续ARQ协议 (回退N(Go-back-N); 超时自动重传)来保证数据传输的正确性,使用滑动窗口协议来保证接方能够及时处理所接收到的数据,进行流量控制。
最后,TCP使用慢开始、拥塞避免、快重传和快恢复来进行拥塞控制,避免网络拥塞
1.4 报文段
TCP虽面向字节流,但传送的数据单元为报文段
报文段 = 首部 + 数据2部分
TCP的全部功能体现在它首部中各字段的作用
1. 首部前20个字符固定、后面有4n个字节是根据需要而增加的选项
2. 故 TCP首部最小长度 = 20字节
1.4.1 端口
源端口号和目地端口各占16位两个字节,也就是端口的范围是2^16=65535。
另外1024以下是系统保留的,从1024-65535是用户使用的端口范围。
1.4.2 seq序号
占4字节,TCP连接中传送的字节流中的每个字节都按顺序编号。
例如:一段报文的序号字段值是107,携带的数据是100个字段,下一个报文段序号从107+100=207开始。
1.4.3 ack确认号
4个字节,是期望收到对方下一个报文段的第一个数据字节的序号。
例如:B收到A发送的报文,其序号字段是301,数据长度是200字节,表明B正确收到A发送的到序号500为止的数据(301+200-1=500),B期望收到A下一个数据序号是501,B发送给A的确认报文段中把ack确认号置为501。
1.4.4 数据偏移
头部有可选字段,长度不固定,指出TCP报文段的数据起始处距离报文段的起始处有多远。
1.4.5 保留
保留今后使用的,被标为1。
1.4.6 控制位
由8个标志位组成。每个标志位表示一个控制功能。
1.4.7 窗口
滑动窗口大小,用来告知发送端接收端缓存大小,以此控制发送端发送数据的速率,从而达到流量控制。
1.4.8 校验和
奇偶校验,此校验和是对整个的TCP报文段(包括TCP头部和TCP数据),以16位进行计算所得,由发送端计算和存储,接收端进行验证。
1.4.9 紧急指针
只有控制位中的URG为1时才有效,指出本报文段中的紧急数据的字节数。
1.5 粘包与拆包
TCP是面向字节流的协议,把上层应用层的数据看成字节流,所以它发送的不是固定大小的数据包,TCP协议也没有字段说明发送数据包的大小。而且TCP不保证接受方应用程序收到的数据块和发送应用程序发送的数据块具有对应的大小关系
比如发送方应用程序交给发送方TCP 10个数据块,接受方TCP可能只用了4个数据块就完整的把接受到的字节流交给了上层应用程序。
TCP底层并不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP拆分成多个包进行发送,也有可能把多个小的包封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。
1.5.1 TCP粘包/拆包解决策略
由于TCP无法理解上一层的业务数据特点,所以TCP是无法保证发送的数据包不发生粘包和拆包,这个问题只能通过上层的协议栈设计来解决,解决思路有一下几种:
消息定长
:每个发送的数据包大小固定,比如100字节,不足100字节的用空格补充,接受方取数据的时候根据这个长度来读取数据- 消息末尾增加换行符来表示一条完整的消息:接收方读取的时候根据换行符来判断是否是一条完整的消息,如果消息的内容也包含换行符,那么这种方式就不合适了。
将消息分为消息头和消息尾两部分,消息头指定数据长度
,根据消息长度来读取完整的消息,例如UDP协议是这么设计的,用两个字节来表示消息长度,所以UDP不存在粘包和拆包问题。
1.6 三次握手
「第一次握手」:
客户端将TCP报文标志位SYN置为1,随机产生一个序号值seq=J,保存在TCP首部的序列号字段里,指明客户端打算连接的服务器的端口,并将该数据包发送给服务器端,发送完毕后,客户端进入SYN_SENT状态,等待服务器端确认。
「第二次握手」:
服务器端收到数据包后由标志位SYN=1知道客户端请求建立连接,服务器端将TCP报文标志位SYN和ACK都置为1,ack=J+1,随机产生一个序号值seq=K,并将该数据包发送给客户端以确认连接请求,服务器端进入SYN_RCVD状态。
「第三次握手」:
客户端收到确认后,检查ack是否为J+1,ACK是否为1,如果正确则将标志位ACK置为1,ack=K+1,并将该数据包发送给服务器端,服务器端检查ack是否为K+1,ACK是否为1,如果正确则连接建立成功,客户端和服务器端进入ESTABLISHED状态,完成三次握手,随后客户端与服务器端之间可以开始传输数据了。
根据后期视频,三次握手通俗点来讲:
- 第一次握手是客户端发给服务端,客户端发送后等待服务端发送数据,确认服务端是否正常运行,确认服务端的发送和接收功能是否正常
- 第二次握手是服务端发给客户端,服务端告诉客户端我的接收功能正常,发送功能正常,然后由服务端等待客户端再次发送数据以表明客户端的接收功能正常
- 第三次握手是客户端发给服务端,告诉服务端自己收到服务端发送的数据包,表明自己的接收功能正常
至此客户端和服务端都确认对方的接收功能和发送功能正常,三次握手完成
「上面写的ack和ACK,不是同一个概念:」
-
小写的ack代表的是头部的确认号Acknowledge number, 缩写ack,是对上一个包的序号进行确认的号,ack=seq+1。
-
大写的ACK,则是我们上面说的TCP首部的标志位,用于标志的TCP包是否对上一个包进行了确认操作,如果确认了,则把ACK标志位设置成1。
TCP为什么三次握手而不是两次握手?
- 为了实现可靠数据传输, TCP 协议的通信双方, 都必须维护一个序列号, 以标识发送出去的数据包中, 哪些是已经被对方收到的。三次握手的过程即是通信双方相互告知序列号起始值, 并确认对方已经收到了序列号起始值的必经步骤。
- 如果只是两次握手, 至多只有连接发起方的起始序列号能被确认, 另一方选择的序列号则得不到确认。
1.7 四次挥手
挥手请求可以是Client端,也可以是Server端发起的,我们假设是Client端发起:
- 第一次挥手:Client端发起挥手请求,向Server端发送标志位是FIN报文段,设置序列号seq,此时,Client端进入FIN_WAIT_1状态,这表示Client端没有数据要发送给Server端了。
- 第二次挥手:Server端收到了Client端发送的FIN报文段,向Client端返回一个标志位是ACK的报文段,ack设为seq加1,Client端进入FIN_WAIT_2状态,Server端告诉Client端,我确认并同意你的关闭请求。
- 第三次挥手:Server端向Client端发送标志位是FIN的报文段,请求关闭连接,同时Client端进入LAST_ACK状态。
- 第四次挥手 :Client端收到Server端发送的FIN报文段,向Server端发送标志位是ACK的报文段,然后Client端进入TIME_WAIT状态,Server端收到Client端的ACK报文段以后,就关闭连接,此时,Client端等待2MSL的时间后依然没有收到回复,则证明Server端已正常关闭,那好,Client端也可以关闭连接了。
根据后期视频,四次挥手通俗讲就是:
客户端:我bb完了;
服务器:知道了,等我bb完;
服务器:我bb完了;
客户端:哦!
为什么连接的时候是三次握手,关闭的时候却是四次握手?
- 建立连接时因为当Server端收到Client端的SYN连接请求报文后,可以直接发送SYN+ACK报文。其中ACK报文是用来应答的,SYN报文是用来同步的。所以建立连接只需要三次握手。
- 由于TCP协议是一种面向连接的、可靠的、基于字节流的运输层通信协议,TCP是全双工模式。这就意味着,关闭连接时,当Client端发出FIN报文段时,只是表示Client端告诉Server端数据已经发送完毕了。当Server端收到FIN报文并返回ACK报文段,表示它已经知道Client端没有数据发送了,但是Server端还是可以发送数据到Client端的,所以Server很可能并不会立即关闭SOCKET,直到Server端把数据也发送完毕。
- 当Server端也发送了FIN报文段时,这个时候就表示Server端也没有数据要发送了,就会告诉Client端,我也没有数据要发送了,之后彼此就会愉快的中断这次TCP连接。
为什么TIME_WAIT要等待2MSL?
有以下两个原因:
- 第一点:保证TCP协议的全双工连接能够可靠关闭:由于IP协议的不可靠性或者是其它网络原因,导致了Server端没有收到Client端的ACK报文,那么Server端就会在超时之后重新发送FIN,如果此时Client端的连接已经关闭处于CLOESD状态,那么重发的FIN就找不到对应的连接了,从而导致连接错乱,所以,Client端发送完最后的ACK不能直接进入CLOSED状态,而要保持TIME_WAIT,当再次收到FIN的时候,能够保证对方收到ACK,最后正确关闭连接。
- 第二点:保证这次连接的重复数据段从网络中消失 如果Client端发送最后的ACK直接进入CLOSED状态,然后又再向Server端发起一个新连接,这时不能保证新连接的与刚关闭的连接的端口号是不同的,也就是新连接和老连接的端口号可能一样了,那么就可能出现问题:如果前一次的连接某些数据滞留在网络中,这些延迟数据在建立新连接后到达Client端,由于新老连接的端口号和IP都一样,TCP协议就认为延迟数据是属于新连接的,新连接就会接收到脏数据,这样就会导致数据包混乱,所以TCP连接需要在TIME_WAIT状态等待2倍MSL,才能保证本次连接的所有数据在网络中消失。
2 Socket相关知识点
2.1 Socket
Socket即套接字,是应用层 与 TCP/IP 协议族通信的中间软件抽象层
,表现为一个封装了 TCP /IP协议族的编程接口(API)。Socket不是一种协议,而是一个编程调用接口 (API),属于传输层(主要解决数据如何在网络中传输)。对用户来说,只需调用Socket去组织数据,以符合指定的协议,即可通信。
那Socket抽象层大致在协议层级中的哪里呢?
Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口
。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在Socket接口后面,对用户来说,一组简单的接口就是全部,让Socket去组织数据,以符合指定的协议。 换句话说,socket本质是编程接口(AP),它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用以实现进程在网络中通信。TCP/IP只是一个协议栈,必须要具体实现,同时还要提供对外的操作接口 (API),这就是Socket接口。通过Socket,我们才能使用TCP/IP协议。
比如Java语言中的JDK的iava.net包下有两个类: Socket和ServerSocket,在Client和Server建立连接成功后,两端都会产生一个Socket实例,操作这个实例,完成所需的会话,而我们就通过这些API进行网络编程,不需要去关心底层的实现了。 Socket连接过程分为三个步骤: 服务器监听,客户端请求,连接确认。
2.2 Socket的工作原理
我们只是会用Socket进行通信的编程了,但Socket通信流程究竟是什么样的呢? 如下图
先从服务器端说起。服务器端先初始化Socket,然后与端口绑定(bind),对端口进行监听(listen),调用accept阻塞,等待客户端连接。在这时如果有个客户端初始化一个Socket,然后连接服务器(connect),如果连接成功,这时客户端与服务器端的连接就建立了。客户端发送数据请求,服务器端接收请求并处理请求,然后把回应数据发送给客户端,客户端读取数据,最后关闭连接,一次交互结束。
2.3 网络中进程之间如何通信
以上述建立连接过程引出更深层的一个问题? 网络中进程之间如何通信?下面的介绍也能解决客户端与客户端之间识别的问题。
本地的进程间通信 (IPC) 有很多种方式,但可以总结为下面4类。
- 消息传递 (管道、FIFO、消息队列)
- 同步 (互斥量、条件变量、读写锁、文件和写记录锁、信号量)
- 共享内存 (匿名的和具名的)
- 远程过程调用(Solaris门和Sun RPC)
我们要讨论的是网络中进程之间如何通信? 首要解决的问题是如何唯一标识一个进程
,否则通信无从谈起!
在本地可以通过进程PID来唯一标识一个进程,但是在网络中这是行不通的。其实TCP/IP协议族已经帮我们解决了这个问题,网络层的 "ip地址” 可以唯一标识网络中的主机,而传输层的 “协议+端口” 可以唯一标识主机中的应用程序(进程)。这样利用 三元组 (ip地址,协议,端口)
就可以标识网络的进程了,网络中的进程通信就可以利用这个标志与其它进程进行交互。
使用TCP/IP协议的应用程序通常采用应用编程接口: UNIX BSD的套接字 (socket) 和UNIX System V的TLI (已经被淘汰),来实现网络进程之间的通信。
还有一个问题就是socket指的是(lP, Port),现在假设我已经有了一个istenfd 的socket, 端口是80 然后每次客户端发起连接还要创建新的connfd,因为80端口已经被占用,难道服务器端会为每个连接都创建新的端口吗?
其实新创建的connfd 并没有使用新的端口号,也是用的80,如在实现聊天室功能的时候,我们只是为每个客户端的连接单独创建一个线程去处理,但并没有为每个连接都创建新的端口。这是什么原因呢?
因为可以这么理解,这个socket描述符指向一个数据结构,例如 listenfd 指向的结构是这样的:
而一旦accept 新的连接,新的connfd 就会生成,像下面的表格,就生成了两个connfd,它们俩服务器端的ip和port都是相同的,但是客户端的IP和Port是不同的,自然就可以区分开来了。
结论: socket 得通过五元组(协议,客户端IP,客户端Port,服务器端IP,服务器端Port)来确定
2.4 Socket中TCP的三次握手建立连接详解
我们知道tcp建立连接要进行“三次握手”,即交换三个分组。大致流程如下:
- 客户端向服务器发送一个SYN J
- 服务器向客户端响应一个SYN K,并对SYN J进行确认ACK J+1
- 客户端再想服务器发一个确认ACK K+1
只有就完了三次握手,但是这个三次握手发生在socket的那几个函数中呢?请看下图:
从图中可以看出,当客户端调用connect时,触发了连接请求,向服务器发送了SYN J包,这时connect进入阻塞状态;服务器监听到连接请求,即收到SYN J包,调用accept函数接收请求向客户端发送SYN K ,ACK J+1,这时accept进入阻塞状态;客户端收到服务器的SYN K ,ACK J+1之后,这时connect返回,并对SYN K进行确认;服务器收到ACK K+1时,accept返回,至此三次握手完毕,连接建立。
2.5 Socket中TCP的四次握手释放连接详解
上面介绍了socket中TCP的三次握手建立过程,及其涉及的socket函数。现在我们介绍socket中的四次握手释放连接的过程,请看下图:
图示过程如下:
-
某个应用进程首先调用close主动关闭连接,这时TCP发送一个FIN M;
-
另一端接收到FIN M之后,执行被动关闭,对这个FIN进行确认。它的接收也作为文件结束符传递给应用进程,因为FIN的接收意味着应用进程在相应的连接上再也接收不到额外数据;
-
一段时间之后,接收到文件结束符的应用进程调用close关闭它的socket。这导致它的TCP也发送一个FIN N;
-
接收到这个FIN的源发送端TCP对它进行确认。
这样每个方向上都有一个FIN和ACK。
3.TCP/IP更深刻的理解
3.1 OSI和TCP/IP模型
OSI七层参考模型:分层是软件工程学涉及的,这使得层与层之间的耦合性更低些,模型就是是一个理论上的东西。
被物理实现了的就是TCP/IP模型,分为了五层,包括:应用层、传输控制层、网络层、链路层、物理层。
相比于OSI模型,TCP/IP模型是将OSI中的表示层和会话层,合并到了应用层。
3.2 TCP/IP宏观上的理解
计算机中有2大类程序:一种是内核程序,一种是人用的应用程序。
无论是OSI还是TCP/IP,每个层次是由不同的程序员实现
。上面提到的人用的应用程序主要是实现表示层、会话层和应用层,在TCP/IP中也就是应用层。传输控制层、网络层、链路层和物理层都是由内核实现。
在电脑中的程序,例如QQ、微信、游戏都可以通信,同样是通信,有一部分代码是一致和重复的,另一方面网卡只有一个(通过网卡发送数据,访问不同的服务器),如何去管理好通用的资源,这个问题的解决就交给了内核
。因此传输控制层、网络层、链路层和物理层都交由内核实现,既有规则、资源管理、建立连接的过程。
将不同程序发送数据的表述形式,可靠性、安全性、是否加密等就交给人用的应用程序去定义。
以上就是关于TCP/IP宏观上的理解,以下进行举例:
3.3 在Linux中展示分层的感觉
Linux中输入:nc
,代表系统中的net connect软件,是可以和服务器建立连接的小程序
nc www.baidu.com 80
输入回车之后,界面卡住了,代表nc软件与百度服务器进行了连接
查看连接状态
netstat -natp
回车之后:
注意:百度服务器有个默认的规则就是在建立连接之后,如果不操作,就会断开释放资源
上述操作已经完成了与百度服务器的连接,做为应用程序或者说用户有连接之后,想要干些啥
连接之后,如果想要请求百度的主页,走的是HTTP协议,
每层都有协议,应用层中要获取百度主页,页面走HTTP协议,发送以下的请求:
GET / HTTP/1.0
百度服务器返回:返回主页的相关信息,返回遵守HTTP协议的格式,其中HTML是一种超文本标记语言,其描述了网页的内容
上述nc
的连接过程,其实nc是调用了内核中一系列建立连接的事情,但是在实际使用浏览器的过程中,我们是没有手动输入GET / HTTP/1.0
,这是因为浏览器程序已经帮我们做了。
3.3 TCP连接建立过程
下面是对连接建立时内核是如何操作的来做演示。
应用层协议(nc,浏览器等;数据如何表示,字段如何封装)调用内核时,首先是传输控制层建立连接(TCP/UDP)。
这里只讲用的最多的tcp协议,TCP干了什么呢?
简要来讲就是:面向连接、可靠的传输
连接和传输对应了:三次握手;数据传输;四次分手
- 三次握手:建立连接,是传输控制层的,连接就是双方开辟了内存资源
- 数据传输:传输数据,会返回确认信息,保证不会出现丢数据
- 四次分手:断开连接,释放对应的内存资源
三次握手通俗点来讲:
第一次握手是客户端发给服务端,客户端发送后等待服务端发送数据,确认服务端是否正常运行,确认服务端的发送和接收功能是否正常
第二次握手是服务端发给客户端,服务端告诉客户端我的接收功能正常,发送功能正常,然后由服务端等待客户端再次发送数据以表明客户端的接收功能正常
第三次握手是客户端发给服务端,告诉服务端自己收到服务端发送的数据包,表明自己的接收功能正常
至此客户端和服务端都确认对方的接收功能和发送功能正常,三次握手完成
四次挥手通俗讲就是:
客户端:我bb完了;
服务器:知道了,等我bb完;
服务器:我bb完了;
客户端:哦!
以上内容来自于参考视频,适合在学习完本节前的知识,用来加深理解:TCP/IP应用层协议你了解吗?;TCP面向连接的,可靠的连接到底是什么;三次握手是怎么实现的?socket的作用是什么?;四次分手时如何进行的;三次握手,四次分手,实操流程是怎样的(0-10:00)