整个P2P视频过程需要知道双方的媒体类型、流和候选者,所以这里就会用到一下技术:
信令服务器socket.io
状态机
ICE服务器
WebRTC框架
媒体协商
信令服务器Socket.io
信令服务器说白了作用就是发消息的中转站,A把msg发到信令服务器,然后信令服务器把msg发给B
Socket.IO 是一个库,可在客户端和服务器之间实现低延迟、双向和基于事件的通信。
它建立在 WebSocket 协议之上,并提供额外的保证,例如回退到 HTTP 长轮询或自动重新连接。
WebSocket 是一种通信协议,它在服务器和浏览器之间提供全双工和低延迟通道。更多信息可以在这里找到。
有几种可用的 Socket.IO 服务器实现:
- JavaScript (可以在本网站上找到其文档)
- 安装步骤
- API
- 源代码
- Java: https://github.com/mrniko/netty-socketio
- Java: https://github.com/trinopoty/socket.io-server-java
- Python: https://github.com/miguelgrinberg/python-socketio
大多数主要语言的客户端实现:
- JavaScript (可以在浏览器、Node.js 或 React Native 中运行)
- 安装步骤
- API
- 源代码
- Java: https://github.com/socketio/socket.io-client-java
- C++: https://github.com/socketio/socket.io-client-cpp
- Swift: https://github.com/socketio/socket.io-client-swift
- Dart: https://github.com/rikulo/socket.io-client-dart
- Python: https://github.com/miguelgrinberg/python-socketio
- .Net: https://github.com/doghappy/socket.io-client-csharp
- Golang: https://github.com/googollee/go-socket.io
- Rust: https://github.com/1c3t3a/rust-socketio
- Kotlin: https://github.com/icerockdev/moko-socket-io
这是一个使用普通 WebSocket 的基本示例:
服务器 (基于 ws)
import { WebSocketServer } from "ws";const server = new WebSocketServer({ port: 3000 });server.on("connection", (socket) => {// 向客户端发送消息socket.send(JSON.stringify({type: "hello from server",content: [ 1, "2" ]}));// 从客户端接收消息socket.on("message", (data) => {const packet = JSON.parse(data);switch (packet.type) {case "hello from server":// ...break;}});
});
客户端
const socket = new WebSocket("ws://localhost:3000");socket.addEventListener("open", () => {// 向服务器发送消息socket.send(JSON.stringify({type: "hello from server",content: [ 3, "4" ]}));
});// 从服务器接收消息
socket.addEventListener("message", ({ data }) => {const packet = JSON.parse(data);switch (packet.type) {case "hello from server":// ...break;}
});
这是与 Socket.IO 相同的示例:
服务器
import { Server } from "socket.io";const io = new Server(3000);io.on("connection", (socket) => {// 向客户端发送消息socket.emit("hello from server", 1, "2", { 3: Buffer.from([4]) });// 从客户端接收消息socket.on("hello from server", (...args) => {// ...});
});
客户端
import { io } from "socket.io-client";const socket = io("ws://localhost:3000");// 向服务器发送消息
socket.emit("hello from server", 5, "6", { 7: Uint8Array.from([8]) });// 从服务器接收消息
socket.on("hello from server", (...args) => {// ...
});
这两个示例看起来非常相似,但实际上 Socket.IO 提供了附加功能,这些功能隐藏了在生产环境中运行基于 WebSockets 的应用程序的复杂性。 下面列出了这些功能。
但首先,让我们明确 Socket.IO 不是什么。
Socket.IO 不是什么:
Socket.IO 不是 WebSocket实现。
尽管 Socket.IO 确实在可能的情况下使用 WebSocket 进行传输,但它为每个数据包添加了额外的元数据。这就是为什么 WebSocket 客户端将无法成功连接到 Socket.IO 服务器,而 Socket.IO 客户端也将无法连接到普通 WebSocket 服务器。
// 警告:客户端将无法连接!
const socket = io("ws://echo.websocket.org");
如果您正在寻找一个普通的 WebSocket 服务器,请查看 ws 或 µWebSockets.js.
还有关于在 Node.js 核心中包含 WebSocket 服务器的讨论。在客户端,您可能对robust-websocket感兴趣。
Socket.IO 并不打算在移动应用程序的后台服务中使用。
Socket.IO 库保持与服务器的开放 TCP 连接,这可能会导致用户消耗大量电池。请为此用例使用请为此用例使用FCM等专用消息传递平台。
特点
以下是 Socket.IO 在普通 WebSockets 上提供的功能:
HTTP 长轮询回退
如果无法建立 WebSocket 连接,连接将回退到 HTTP 长轮询。
这个特性是人们在十多年前创建项目时使用 Socket.IO 的原因(!),因为浏览器对 WebSockets 的支持仍处于起步阶段。
即使现在大多数浏览器都支持 WebSockets(超过97%),它仍然是一个很棒的功能,因为我们仍然会收到来自用户的报告,这些用户无法建立 WebSocket 连接,因为他们使用了一些错误配置的代理。
自动重新连接
在某些特定情况下,服务器和客户端之间的 WebSocket 连接可能会中断,而双方都不知道链接的断开状态。
这就是为什么 Socket.IO 包含一个心跳机制,它会定期检查连接的状态。
当客户端最终断开连接时,它会以指数回退延迟自动重新连接,以免使服务器不堪重负。
数据包缓冲
当客户端断开连接时,数据包会自动缓冲,并在重新连接时发送。
更多信息在这里.
收到后的回调
Socket.IO 提供了一种方便的方式来发送事件和接收响应:
发件人
socket.emit("hello", "world", (response) => {console.log(response); // "got it"
});
接收者
socket.on("hello", (arg, callback) => {console.log(arg); // "world"callback("got it!");
});
您还可以添加超时:
socket.timeout(5000).emit("hello", "world", (err, response) => {if (err) {// 另一方未在给定延迟内确认事件} else {console.log(response); // "got it"}
});
广播
在服务器端,您可以向所有连接的客户端或客户端的子集发送事件:
// 到所有连接的客户端
io.emit("hello");// 致“news”房间中的所有连接客户端
io.to("news").emit("hello");
这在扩展到多个节点时也有效。
多路复用
命名空间允许您在单个共享连接上拆分应用程序的逻辑。例如,如果您想创建一个只有授权用户才能加入的“管理员”频道,这可能很有用。
io.on("connection", (socket) => {// 普通用户
});io.of("/admin").on("connection", (socket) => {// 管理员用户
});
常见问题
现在还需要 Socket.IO 吗?
这是一个很好的问题,因为现在几乎所有地方 都支持 WebSocket 。
话虽如此,我们相信,如果您在应用程序中使用普通的 WebSocket,您最终将需要实现 Socket.IO 中已经包含(并经过实战测试)的大部分功能,例如重新连接,确认或广播.
Socket.IO 协议的数据表大小?
socket.emit("hello", "world")
将作为单个 WebSocket 帧发送,其中包含42["hello","world"]
:
4
是 Engine.IO “消息”数据包类型2
是 Socket.IO “消息”数据包类型["hello","world"]
是JSON.stringify()
参数数组的 -ed 版本
因此,每条消息都会增加几个字节,可以通过使用自定义解析器进一步减少。
&浏览器包本身的大小是10.4 kB
(缩小和压缩)。
开始
声明:socket.io的版本不同,用法不同,这里用最新用法
第一步:使用express框架搭建服务器路由
const express = require('express'); //引入express模块
const app = express();
app.get('/', (req, res) => {res.sendFile(__dirname + '/login.html');
});
/http/
const http = require('http');//此处引用的是http,但是我们的目的是创建P2P视频,所以要开启https,所以需要拥有ssl证书,这个可以在各大云服务商免费申请(推荐华为云和阿里云)
const httpServer = http.createServer(app).listen(8888, "0.0.0.0");
https
const https = require('https');
var fs = require("fs");
var opt = {key:fs.readFileSync("./cert/ssl_server.key"),cert:fs.readFileSync("./cert/ssl_server.pem")
}//引入ssl证书
const httpsServer = http.createServer(app,opt).listen(8008, "0.0.0.0");
//这样一个服务器就搭好了,直接node xx.js就可以启动
第二步:使用Socket.io服务端
服务端直接npm install socket.io就可以
老版本///
var io = socketIo.listen(httpsServer);
/新版本///
const io = new Server(httpsServer);io.sockets.on("connection", (socket)=>{/操作内容///
})
第三步:使用Socket.io客户端
客户端可以使用CDN引入也可以下载相关的js库
<script src="/socket.io/socket.io.js"></script>
<script>var url = "120.78.xxx.xx:8008"var socket = io(url);});
</script>
这样一个客户端就已经连上一个服务端了,接下来就是相关操作
第四步:相关操作(略)
P2P加入房间流程
下图有三个客户端ABC,它们同时连接信令服务器,首先是A发起加入房间信号join,然后信令服务器就把A加入房间然后回答joined信号给A;然后B又来发起加入房间信号join,然后信令服务器就把B加入房间而且回答joined信号给B,同时给A其他人加入房间信号otherjoin。然后C就来发起加入房间的信号join,但是信令服务器会对房间人数进行控制,当房间人数等于2就给新请求加入的客户端回答full信号表示房间已满,没有把你加入。这时候A和B就在一个房间里面,接下来它们就可以在房间里面通讯。
状态机
利用状态机进行状态变换和判断
为什么要有状态机:
先考虑一个客户端在一个聊天室会有几种状态:
未加入房间前或者离开房间后(Init/Leave)
加入房间后(joined)
第二个聊天者加入后(joined_conn)
第二个聊天者离开 后(joined_unbind)
通过上面的状态可以发现,用户状态除非就是加入和离开,但是用户进进出出房间会出什么情况呢。这里就要思考用户进入聊天室和离开聊天室,会影响什么?一个聊天室至少会有一个人存在,那么这个人就是发起人,那么怎么知道当前用户是发起人呢。就是通过用户状态来确定。接下来看下面这张图,开始当前用户还未加入房间也就是处于离开状态,但加入房间后就变成joined状态,当第二个人加入就变成joined_conn状态,而相对于第二个人是不会出现joined_conn状态,所以就可以判断当前用户是不是第一个用户,也就是发起者(发起者的作用涉及媒体协商)。最后就是当第二个用户离开就会变为joined_unbind状态。
ICE框架
首先来了解一下两个客户端是怎么点对点通讯的。
第一种:自己知道host ip
第二种:用到一个STUN server,A和B都访问这个STUN server就可以拿到对方的公网ip,然后再利用信令服务器访问,任何客户端都加入了信令服务器,通过信令服务器交换信息,就可以达到NAT穿透的效果
第三种:用到一个中继服务器Relay server(TURN server)
这三种方式就是三个候选者,为什么要三种通讯方式呢,因为信令服务器想尽量不参与通讯,或者说信令服务器只想做一些简单的信息通讯。所以可知道我们音视频通讯利用的大概率就是Relay server和STUN server
现在host IP、Relay server和STUN server都集中到一个ICE服务器项目中,现在只要搭建这个服务器就可以了。
搭建stun/turn服务器步骤:
先安装依赖库:
ubuntu:
apt(-get) install build-essential
apt(-get) install openssl libssl-dev
centos:
yum install libevent-devel openssl-devel
下载4.5版本源码
wget https://github.com/coturn/coturn/archive/4.5.1.1.tar.ge
连不上github的查下资料改hosts
解压
tar -zxvf 4.5.1.1.tar.gz
进入到项目目录
cd coturn-4.5.1.1
源码安装3连
./configure
make
make install
复制配置文件
cp examoles/etc/turnserver.conf bin/turnserver.conf
修改配置文件
#服务器监听端口,3478为默认端口,可修改为自己想要的端口号
listening-port=3478
#想要监听的ip地址,云服务器则是云服务器的内网ip
listening-ip=xxx.xxx.xxx.xxx
#扩展ip地址,云服务器则是云服务器的外网ip
extenal-ip=xxx.xxx.xxx.xxx
#可以设置访问的用户及密码
user=demon:123
启动服务
turnserver -v -r 外网ip:监听端口 -a -o
验证:
https://webrtc.github.io/samples/src/content/peerconnection/trickle-ice/
host 本地连接
srflx nat映射后的结果
relay 中继服务器
WebRTC框架
RTCPeerConnection相关原理
pc = new RTCPeerConnection([config])
pc的相关能力:
媒体协商
流和轨的添加与停止
传输相关功能
统计相关功能
媒体协商
每个客户机都有自己支持的媒体格式信息,所以为了统一双方媒体支持格式,所以就想要媒体协商,这是pc的功能。
过程如下:
首先A是一个发起者(通过状态机知道),A首先Get一个offer,这个Get过程收集A自己的媒体信息和候选者(通过ICE就知道)两个信息,然后setLocalDescription这个信息,然后把这个媒体信息发给信令服务器,信令服务器发给房间内的另一个客户机B。然后B收到这个消息后就把这个消息setRemoteDescription,同时B也要收集自己的媒体信息和候选者信息两个信息setLocalDescription后,把answer发给信令服务器,信令服务器转发给A,A收到answer后也setRemoteDescription。这样双方都知道对方支持的媒体信息和候选者。
代码如下:
function mediaNegociate() {if (status === "joined_conn") {//joined_conn代表我是连接的发起人if (pc) {var options = {//要协商的内容,如音频、视频...offerToReceiveVideo:true,offerToReceiveAudio:true}pc.createOffer(options).then(getOffer).catch(handleErr);}}
}socked.on("vgetdata", (room, data)=>{console.log("vgetdata:", data);if (!data) {return ;}if (data.type === "candidata") {//拿到对方传过来的候选者信息//} else if(data.type === "offer") {//媒体协商默认有type值为offerconsole.log("get offer");pc.setRemoteDescription(new RTCSessionDescription(data));//把对方的媒体格式设置进来//查询自己的媒体格式信息并且应答给对方pc.createAnswer().then(getAnswer).catch(handleErr);} else if(data.type === "answer") {//媒体协商默认回应有type值为answerconsole.log("get answer");pc.setRemoteDescription(new RTCSessionDescription(data));//我把offer发给对方,对方回的answer。offer和answer都是有媒体格式信息。所以offer和answer不会同时存在一个客户端,第一个进来的会发offer,第二个进来的会发answer。把对方的媒体格式设置进来}});
P2P代码
html代码:
<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>视频聊天</title><link rel="icon" href="./2.jpg" type="image/x-icon">
</head>
<body><div align="center"><table><tr><td colspan="2"><h1 id="welcom">欢迎来到1v1的聊天室</h1><input id = "room"><button id = "enterRoom">进入房间</button><button id="leaveRoom" >离开房间</button></td></tr><tr><td><lable>本地视频</lable></td><td><label>远端视频</label></td></tr><tr><td><video id="localVideo" autoplay playsinline></video></td><td><video id="remoteVideo" autoplay playsinline></video></td></tr></table></div><script src="js/socket.io.js"></script><script src="js/videoRoom.js"></script></body>
</html>
信令服务器代码:
"use strict";var http = require("http");
var https = require("https");
var fs = require("fs");//自己安装的模块
var express = require("express");
var serveIndex = require("serve-index");//文件目录
var sqlite3 = require("sqlite3");
var log4js = require("log4js");
var socketIo = require("socket.io");var logger = log4js.getLogger();
logger.level = "info";var app=express();
app.use(serveIndex("./zhangyangsong"));
app.use(express.static("./zhangyangsong"));var opt = {key:fs.readFileSync("./cert/ssl_server.key"),cert:fs.readFileSync("./cert/ssl_server.pem")
}// var httpServer=http.createServer(app)
// .listen(8888, "0.0.0.0");
var httpsServer=https.createServer(opt, app).listen(8008, "0.0.0.0");var db = null;
var sql = "";
// var io = socketIo.listen(httpServer);
var io = socketIo.listen(httpsServer);
io.sockets.on("connection", (socket)=>{logger.info("connection:", socket.id);//处理1v1聊天室的消息socket.on("vjoin", (room, uname)=>{logger.info("vjoin", room, uname);socket.join(room);var myRoom = io.sockets.adapter.rooms[room];var users = Object.keys(myRoom.sockets).length;logger.info(room + "user=" + users);if (users > 2) {socket.leave(room);socket.emit("vfull", room);} else {socket.emit("vjoined", room);if (users > 1) {socket.to(room).emit("votherjoined", room, uname);}}});socket.on("vdata", (room, data)=>{logger.info("vdata", data);socket.to(room).emit("vgetdata", room, data);});socket.on("vleave", (room, uname)=>{if (room === "") {logger.info("room is empty string");} else if (room === undefined) {logger.info("room is undefine");} else if (room === null) {logger.info("room is null");}var myRoom = io.sockets.adapter.rooms[room];var users = Object.keys(myRoom.sockets).length;logger.info("vleave users=" + (users - 1));socket.leave(room);socket.emit("vleft", room);socket.to(room).emit("votherleft", room, uname);});
});function handleErr(e) {logger.info(e);
}
具体操作js代码:
"use strict"
//整个P2P过程需要知道双方的媒体类型、流和候选者
var hWelcom = document.querySelector("h1#welcom");var url = location.href;
var uname = url.split("?")[1].split("=")[1];hWelcom.textContent = "欢迎来到1v1视频聊天室:" + uname;var iptRoom = document.querySelector("input#room");
var btnEnterRoom = document.querySelector("button#enterRoom");
var btnLeaveRoom = document.querySelector("button#leaveRoom");var videoLocal = document.querySelector("video#localVideo");
var videoRemote = document.querySelector("video#remoteVideo");var localStream = null;
var remoteStream = null;var socked = null;
var room = null;
var status = "init";
var pc = null;
var url = "120.78.130.50:8008"
function getMedia(stream) {localStream = stream;videoLocal.srcObject = stream;
}function start() {var constraints = {video:true,audio:true};//打开摄像头navigator.mediaDevices.getUserMedia(constraints).then(getMedia).catch(handleErr);conn();
}function conn() {socked = io.connect(url);//监听来自服务器的信号socked.on("vfull", (room)=>{status = "leaved";alert("房间已满:" + room);console.log("vfull", status);});socked.on("vjoined", (room)=>{//创建视频连接类alert("成功加入房间:" + room);createPeerConnection();status = "joined";console.log("vjoined:", status);});socked.on("votherjoined", (room, uname)=>{//建立视频连接alert("有人进来了:" + uname);if (status === "joined_unbind") {createPeerConnection();}status = "joined_conn";//当第二个人进来就要发起媒体协商了:媒体协商就是双方互相知道和设置对方的媒体格式mediaNegociate();console.log("votherjoined:", status);});socked.on("vgetdata", (room, data)=>{console.log("vgetdata:", data);if (!data) {return ;}if (data.type === "candidata") {//拿到对方传过来的候选者信息console.log("get other candidata");//候选者信息var cddt = new RTCIceCandidate({sdpMLineIndex:data.label,candidate:data.candidate});pc.addIceCandidate(cddt);//把候选者对象加入pc} else if(data.type === "offer") {//媒体协商默认有type值为offerconsole.log("get offer");pc.setRemoteDescription(new RTCSessionDescription(data));//把对方的媒体格式设置进来//查询自己的媒体格式信息并且应答给对方pc.createAnswer().then(getAnswer).catch(handleErr);} else if(data.type === "answer") {//媒体协商默认回应有type值为answerconsole.log("get answer");pc.setRemoteDescription(new RTCSessionDescription(data));//我把offer发给对方,对方回的answer。offer和answer都是有媒体格式信息。所以offer和answer不会同时存在一个客户端,第一个进来的会发offer,第二个进来的会发answer。把对方的媒体格式设置进来}});socked.on("vleft", (room)=>{status = "leaved";console.log("vleft:", status);});socked.on("votherleft", (room, uname)=>{status = "joined_unbind";closePeerConnection();console.log("votherleft:", status);});
}function getAnswer(decs) {pc.setLocalDescription(decs);//设置一下本地的媒体格式信息sendMessage(decs);
}function mediaNegociate() {if (status === "joined_conn") {//joined_conn代表我是连接的发起人if (pc) {var options = {//要协商的内容,如音频、视频...offerToReceiveVideo:true,offerToReceiveAudio:true}pc.createOffer(options).then(getOffer).catch(handleErr);}}
}function getOffer(desc) {//收到的媒体格式pc.setLocalDescription(desc);sendMessage(desc);//把我需要的媒体格式发给对方
}function createPeerConnection() {if (!pc) {var pcConfig = {//ICE服务器"iceServers":[{"urls":"turn:120.78.130.xx:3478", //指定中继服务器turn"username":"zhangyangsong","credential":"123"}]}pc = new RTCPeerConnection(pcConfig); //pc作用:媒体协商,流和轨的添加和停止,传输相关功能,统计相关功能pc.onicecandidate = (e)=>{ //得到了ICE服务器选择的候选者返回的事件if (e.candidate) {//先判断是不是候选者事件回来的console.log("CANDIDATE", e.candidate);sendMessage({//把候选者信息发给对方(会发给信令服务器然后转发给对方)type:"candidata",label:e.candidate.sdpMLineIndex,//候选者标签id:e.candidate.sdpMid,//候选者idcandidate:e.candidate.candidate//候选者数据});}}//当媒体到达的时候,做什么pc.ontrack = (e)=>{//ontrack收到远程音视频轨e时//alert("连接成功")remoteStream = e.streams[0];videoRemote.srcObject = remoteStream;//把远程媒体流放到远程音频标签里面显示出来}}if (localStream) {localStream.getTracks().forEach((track)=>{pc.addTrack(track, localStream);//将本地的媒体流轨加到pc里面})}
}start();function sendMessage(data) {if (socked) {socked.emit("vdata", room, data);}
}function handleErr(e) {console.log(e);
}function enterRoom() {room = iptRoom.value.trim();if (room === "") {alert("请输入房间号");return;}socked.emit("vjoin", room, uname);
}function leaveRoom() {socked.emit("vleave", room, uname);closePeerConnection();
}function closePeerConnection() {console.log("close RTCPeerConnection");if (pc) {pc.close();pc = null;}
}btnEnterRoom.onclick = enterRoom;
btnLeaveRoom.onclick = leaveRoom;
到这里,整个WebRTCP2P聊天室就完成了,WebRTC可以开发的功能还有很多,但基本原理都是这几个内容。
注意:记得打开chrome://flags/这个网站搜索platform然后打开