【PTQ】Cross-Layer Equalization跨层均衡-证明和实践详细解读

Cross-Layer Equalization跨层均衡

aimet解读

符合规则的模型结构

  • 统一要求:单数据流,中间激活不流向其他地方
  • 概念说明:
    • Conv: gruoups=1的普通卷积,包括TransposedConv和Conv
    • DepthwiseConv: 深度可分离卷积,groups=in_channels, in_channels=out_channels。
  • cle均衡块:(相邻块的连接中间可能穿插Relu或者是Relu6等正缩放线性运算的算子)
    • Conv ==> Conv
    • Conv ==> DepthwiseConv ==> Conv
    • DepthwiseConv ==> Conv

优化目标

  • 前提说明:

    • 正缩放线性运算函数特性: f ( s x ) = s f ( x ) \begin{align} f(sx)=sf(x) \end{align} f(sx)=sf(x),relu/relu6等算子符合该特性
    • 我们优化的函数总是以cle均衡块:Conv ==> Conv作为基础的情况,使用函数可表达为如下的函数
      h = f ( W ( 1 ) x + b ( 1 ) ) y = f ( W ( 2 ) h + b ( 2 ) ) y = f ( W ( 2 ) f ( W ( 1 ) x + b ( 1 ) ) + b ( 2 ) ) \begin{align} h=&f(W^{(1)}x+b^{(1)}) \\ y=&f(W^{(2)}h+b^{(2)}) \\ y=&f(W^{(2)}f(W^{(1)}x+b^{(1)})+b^{(2)}) \end{align} h=y=y=f(W(1)x+b(1))f(W(2)h+b(2))f(W(2)f(W(1)x+b(1))+b(2))
    • 提出的优化目标和思路:
      • 出发点:cle的目的就是想要在模型推理结果不变的情况下,通过调整相连conv层的weight的每通道的权重,使得同一个weight的数值范围能够基本保持一致,这样能够让后续的per-layer量化效果能够和per-channel量化效果相当。
      • 思路:使用对角矩阵调整conv的每channel权重,使得该conv的每channel权重的数值范围range能够大致相同。而如何保证调整conv层权重后的模型推理运算结果不变,利用了正缩放线性运算函数特性。
    • 具体的权重调整公式如下所示:
      S = d i a g ( s i ) h = S f ( S − 1 W ( 1 ) x + S − 1 b ( 1 ) ) y = f ( W ( 2 ) S f ( S − 1 W ( 1 ) x + S − 1 b ( 1 ) ) + b ( 2 ) ) = f ( W ~ ( 2 ) f ( W ~ ( 1 ) x + b ~ ( 1 ) ) + b ( 2 ) ) \begin{align} S=&diag(s_{i}) \\ h=&Sf(S^{-1}W^{(1)}x+S^{-1}b^{(1)}) \\ y=&f(W^{(2)}Sf(S^{-1}W^{(1)}x+S^{-1}b^{(1)})+b^{(2)}) \\ =&f(\tilde{W}^{(2)}f(\tilde{W}^{(1)}x+\tilde{b}^{(1)})+b^{(2)}) \end{align} S=h=y==diag(si)Sf(S1W(1)x+S1b(1))f(W(2)Sf(S1W(1)x+S1b(1))+b(2))f(W~(2)f(W~(1)x+b~(1))+b(2))
    • 上述的推演公式可知如下的调整后的新的权重:
      • (9)公式:对应pre-layer(也就是第一个conv)的权重的调整,即对每output_channel上进行了对应的调整
      • (10)公式:对应cur-layer(也就是第二个conv)的权重的调整,即对每input_channel上进行了对应的调整
        W ~ ( 1 ) = S − 1 W ( 1 ) W ~ ( 2 ) = W ( 2 ) S b ~ ( 1 ) = S − 1 b ( 1 ) \begin{align} \tilde{W}^{(1)}=&S^{-1}W^{(1)} \\ \tilde{W}^{(2)}=&W^{(2)}S \\ \tilde{b}^{(1)}=&S^{-1}b^{(1)} \end{align} W~(1)=W~(2)=b~(1)=S1W(1)W(2)SS1b(1)
    • 具体的优化目标:
      • 理想情况下,对于同一个权重而言,希望每channel权重的range同整个权重的range相等。

      • 因此提出如下的优化目标:

        • r ~ i ( 1 ) \tilde{r}^{(1)}_{i} r~i(1):表示每channel通道权重的数值范围(都是按照对称量化进行衡量的
        • R ~ ( 1 ) \tilde{R}^{(1)} R~(1):表示每整个权重的数值范围
        • (13)公式:最终的优化目标,获得一个 S S S能够数值最大

        p ~ i ( 1 ) = r ~ i ( 1 ) R ~ ( 1 ) max ⁡ S ∑ i p ~ i ( 1 ) p ~ i ( 2 ) \begin{align} \tilde{p}^{(1)}_{i}=\frac{\tilde{r}^{(1)}_{i}}{\tilde{R}^{(1)}} \\ \mathop{\max}\limits_{S} \sum\limits_{i} \tilde{p}^{(1)}_{i} \tilde{p}^{(2)}_{i} \end{align} p~i(1)=R~(1)r~i(1)Smaxip~i(1)p~i(2)

  • 解优化目标:

    • 推导优化目标(基于(13)公式进行推导)
      r ~ ( 1 ) = S − 1 r ( 1 ) r ~ ( 2 ) = r ( 2 ) S R ~ ( k ) = max ⁡ i ( r ~ i ( k ) ) max ⁡ S ∑ i p ~ i ( 1 ) p ~ i ( 2 ) = max ⁡ S ∑ i r ~ i ( 1 ) r ~ i ( 2 ) R ~ ( 1 ) R ~ ( 2 ) = max ⁡ S ∑ i 1 s i r i ( 1 ) s i r i ( 2 ) max ⁡ j ( 1 s j r j ( 1 ) ) max ⁡ k ( s k r k ( 2 ) ) = ∑ i r i ( 1 ) r i ( 2 ) max ⁡ S 1 max ⁡ j ( 1 s j r j ( 1 ) ) max ⁡ k ( s k r k ( 2 ) ) \begin{align} \tilde{r}^{(1)}=&S^{-1}r^{(1)} \\ \tilde{r}^{(2)}=&r^{(2)}S \\ \tilde{R}^{(k)}=&\mathop{\max}_{i}(\tilde{r}^{(k)}_{i}) \\ \mathop{\max}\limits_{S} \sum\limits_{i} \tilde{p}^{(1)}_{i} \tilde{p}^{(2)}_{i} = &\mathop{\max}\limits_{S} \sum\limits_{i} \frac{\tilde{r}^{(1)}_{i}\tilde{r}^{(2)}_{i}}{\tilde{R}^{(1)}\tilde{R}^{(2)}} \\ =&\mathop{\max}\limits_{S} \sum\limits_{i} \frac{\frac{1}{s_{i}}r^{(1)}_{i} s_{i} r^{(2)}_{i}}{\mathop{\max}_{j}(\frac{1}{s_{j}}r^{(1)}_{j}) \mathop{\max}_{k}(s_{k} r^{(2)}_{k})} \\ =& \sum\limits_{i} r^{(1)}_{i} r^{(2)}_{i} \mathop{\max}\limits_{S} \frac{1}{\mathop{\max}_{j}(\frac{1}{s_{j}}r^{(1)}_{j}) \mathop{\max}_{k}(s_{k} r^{(2)}_{k})} \end{align} r~(1)=r~(2)=R~(k)=Smaxip~i(1)p~i(2)===S1r(1)r(2)Smaxi(r~i(k))SmaxiR~(1)R~(2)r~i(1)r~i(2)Smaximaxj(sj1rj(1))maxk(skrk(2))si1ri(1)siri(2)iri(1)ri(2)Smaxmaxj(sj1rj(1))maxk(skrk(2))1

    • 优化目标简化(基于(19)公式)

      • 这是一个最优化的问题,本来的优化目标从优化最大值变成了优化最小值的问题

      arg ⁡ max ⁡ S ∑ i p ~ i ( 1 ) p ~ i ( 2 ) = arg ⁡ min ⁡ S [ max ⁡ j ( 1 s j r j ( 1 ) ) max ⁡ k ( s k r k ( 2 ) ) ] \begin{align} \mathop{\arg\max}\limits_{S} \sum\limits_{i} \tilde{p}^{(1)}_{i} \tilde{p}^{(2)}_{i}=&\mathop{\arg\min}\limits_{S} [\mathop{\max}_{j}(\frac{1}{s_{j}}r^{(1)}_{j}) \mathop{\max}_{k}(s_{k} r^{(2)}_{k})] \end{align} Sargmaxip~i(1)p~i(2)=Sargmin[maxj(sj1rj(1))maxk(skrk(2))]

    • 利用反证法,对于优化目标,可以推出如下的结论(26):

      • 对于整个权重的range数值范围,我们有如下的假设,即pre-layer的权重的第 J J J个channel有着最大的操作

      J = arg ⁡ max ⁡ j ( 1 s j r j ( 1 ) ) K = arg ⁡ max ⁡ k ( s k r k ( 2 ) ) \begin{align} J=&\mathop{\arg\max}\limits_{j}(\frac{1}{s_{j}}r^{(1)}_{j}) \\ K=&\mathop{\arg\max}\limits_{k}(s_{k} r^{(2)}_{k}) \end{align} J=K=jargmax(sj1rj(1))kargmax(skrk(2))

      • 反证法证明过程:如果 J ≠ K J \neq K J=K,那么总是存在一个 ε > 0 \varepsilon > 0 ε>0,使得满足如下不等式。最为矛盾的是(25)行的不等式的含义,这个表明,还有更好的 s ~ K \tilde{s}_{K} s~K能够让(20)的优化目标更优的解。因此对于我们的优化目标来说,必然存在 J = K J = K J=K

      s ~ K = s K − ε 1 s J r J ( 1 ) > 1 s ~ K r K ( 1 ) > 1 s K r K ( 1 ) 1 s J r J ( 1 ) s K r K ( 2 ) > 1 s J r J ( 1 ) s ~ K r K ( 2 ) \begin{align} \tilde{s}_{K} =& s_{K} - \varepsilon \\ \frac{1}{s_{J}}r^{(1)}_{J} >& \frac{1}{\tilde{s}_{K}}r^{(1)}_{K} > \frac{1}{s_{K}}r^{(1)}_{K} \\ \frac{1}{s_{J}}r^{(1)}_{J} s_{K} r^{(2)}_{K} >& \frac{1}{s_{J}}r^{(1)}_{J} \tilde{s}_{K} r^{(2)}_{K} \end{align} s~K=sJ1rJ(1)>sJ1rJ(1)sKrK(2)>sKεs~K1rK(1)>sK1rK(1)sJ1rJ(1)s~KrK(2)

      arg ⁡ max ⁡ j ( 1 s j r j ( 1 ) ) = arg ⁡ max ⁡ k ( s k r k ( 2 ) ) \begin{align} \mathop{\arg\max}\limits_{j}(\frac{1}{s_{j}}r^{(1)}_{j})=&\mathop{\arg\max}\limits_{k}(s_{k} r^{(2)}_{k}) \end{align} jargmax(sj1rj(1))=kargmax(skrk(2))

    • 利用(26)的结论,如果我们再进一步简化优化目标,最后会发现优化目标变成一个跟 S S S无关的解,而是依赖于 i = arg ⁡ max ⁡ i ( r i ( 1 ) r i ( 2 ) ) i=\mathop{\arg\max}\limits_{i}(r^{(1)}_{i} r^{(2)}_{i}) i=iargmax(ri(1)ri(2))。因此这里为了能够解得所有的 S S S,这里增加了如下所示的条件限制:
      ∀ i : r ~ i ( 1 ) = r ~ i ( 2 ) \begin{align} {\forall}_i : \tilde{r}^{(1)}_{i}=\tilde{r}^{(2)}_{i} \end{align} i:r~i(1)=r~i(2)

    • 因此结合(26)和(27),我们可以得到满足条件的解如下:
      s i = 1 r i ( 2 ) r i ( 1 ) r i ( 2 ) \begin{align} s_{i} =& \frac{1}{r^{(2)}_{i}} \sqrt{r^{(1)}_{i} r^{(2)}_{i}} \end{align} si=ri(2)1ri(1)ri(2)

限制和缺陷

从上述的优化过程中,我们可以看出,CLE存在一些缺陷和使用限制

  • 优化推导过程中使用的是对称量化,因此cle后只适合对称量化权重的PTQ方式
  • 因为pre-layer的bias改变的问题,改变了pre-layer的输出数值的范围,有可能出现每通道数值范围差别大,可能会导致后量化效果差。
  • 对于pre-layer来说,是按照output_channel的方向进行权重微调,这个是符合per-channel的;但是对于cur-layer来说,是按照input_channel的方向进行权重微调,在含义上不符合per-channel的方式。

实操和结果显示

cle的实现函数
import numpy as npdef my_cle(pre_layer_weight, pre_layer_bias, cur_layer_weight):# 自建的cle函数,用于计算和channel_num = list(pre_layer_weight.shape)[0]r1 = np.array([np.abs(pre_layer_weight[i]).max() for i in range(channel_num)]).tolist()r2 = np.array([np.abs(cur_layer_weight[i]).max() for i in range(channel_num)]).tolist()scale = list()for a,b in zip(r1, r2):mul_v = a * bif mul_v == 0.0:scale.append(1.0)else:scale.append(math.sqrt(a/b))scale = np.array(scale, dtype=np.float32)pre_layer_weight_res = [pre_layer_weight[i]/s for i, s in enumerate(scale)]cur_layer_weight_res = [cur_layer_weight[i]*s for i, s in enumerate(scale)]pre_layer_bias_res   = [pre_layer_bias[i]/s for i, s in enumerate(scale)]pre_layer_weight_res = np.array(pre_layer_weight_res)cur_layer_weight_res = np.array(cur_layer_weight_res)pre_layer_bias_res = np.array(pre_layer_bias_res)return scale, pre_layer_weight_res, pre_layer_bias_res, cur_layer_weight_res
模型定义
import torch
class onnx2torch_cle(torch.nn.Module):def __init__(self):super().__init__()self.conv = torch.nn.Conv2d(in_channels=3, out_channels=16, kernel_size=5,stride=1, padding=2)self.relu1 = torch.nn.ReLU()self.conv2 = torch.nn.Conv2d(in_channels=16, out_channels=4, kernel_size=5,stride=1, padding=2)def forward(self, x):x = self.conv(x)x = self.relu1(x)x = self.conv2(x)return x
整体的cle流程
def test_cle():model = onnx2torch_cle()weight_all(model)model = model.eval()model = model.cpu()model_aimet = copy.deepcopy(model)input_shape = [1, 3, 264, 264]dummy_input = torch.rand(input_shape)dummy_output = model(dummy_input)# 可视化权重output_png_root = os.path.join(os.path.dirname(__file__), 'doc')if not os.path.exists(output_png_root):os.mkdir(output_png_root)file_name = 'org_pre_layer_w'show_weight(model.conv.weight.detach().numpy(), file_name, os.path.join(output_png_root, '{}.png'.format(file_name)))file_name = 'org_cur_layer_w'show_weight(model.conv2.weight.detach().numpy().transpose(1,0,2,3), file_name, os.path.join(output_png_root, '{}.png'.format(file_name)))# cle微调权重scale, pre_layer_weight_res, pre_layer_bias_res, cur_layer_weight_res = my_cle(model.conv.weight.detach().numpy(), model.conv.bias.detach().numpy(), model.conv2.weight.detach().numpy().transpose(1,0,2,3))cur_layer_weight_res = torch.from_numpy(cur_layer_weight_res.transpose(1,0,2,3))pre_layer_weight_res = torch.from_numpy(pre_layer_weight_res)pre_layer_bias_res = torch.from_numpy(pre_layer_bias_res)model.conv.weight.data = pre_layer_weight_resmodel.conv.bias.data = pre_layer_bias_resmodel.conv2.weight.data = cur_layer_weight_resdummy_output_cle = model(dummy_input)a,b = compare_data(dummy_output.detach().numpy(), dummy_output_cle.detach().numpy())print(scale)print(a,b)file_name = 'cle_pre_layer_w'show_weight(model.conv.weight.detach().numpy(), file_name, os.path.join(output_png_root, '{}.png'.format(file_name)))file_name = 'cle_cur_layer_w'show_weight(model.conv2.weight.detach().numpy().transpose(1,0,2,3), file_name, os.path.join(output_png_root, '{}.png'.format(file_name)))if __name__ == "__main__":test_cle()
测试结果
  • 从compare的结果可以看出,cle前后的模型在同个输入下的输出是基本保持一致的(余弦相似度=1.0、相对最大误差=3.6033464e-07)。

  • 下述的可视化结果如下,我们可以看到:

    • cle后model.conv.weight的每output_channel上的range相较cle前更加均衡
    • cle后model.conv2.weight的每input_channel上的range同model.conv.weight的每output_channel上的range基本相同
  • 原始模型的权重分布如下:

    • model.conv.weight
      在这里插入图片描述

    • model.conv2.weight
      在这里插入图片描述

  • cle后模型的权重分布如下:

    • model.conv.weight
      在这里插入图片描述

    • model.conv2.weight
      在这里插入图片描述

具体的测试脚本程序

可见下载链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/193787.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AIGC实战——变分自编码器(Variational Autoencoder, VAE)

AIGC实战——变分自编码器 0. 前言1. 变分自编码器1.1 基本原理1.2 编码器 2. 构建VAE编码器2.1 Sampling 层2.2 编码器2.3 损失函数2.4 训练变分自编码器 3. 变分自编码器分析小结系列链接 0. 前言 我们已经学习了如何实现自编码器,并了解了自编码器无法在潜空间中…

<C++> 反向迭代器

我们知道正向迭代器的设计:begin迭代器指向第一个数据,end迭代器指向最后一个数据的下一个位置 。移向下一个数据,解引用得到数据的值,并根据容器储存方式的不同,容器有不同类型的迭代器。 注意:rbegin迭代…

SecureCRT 9.4.2最新终端SSH工具

SecureCRT是一款终端SSH工具,它提供了类似于Telnet和SSH等协议的远程访问功能。SecureCRT软件特色包括: 支持SSH(SSH1和SSH2)的终端仿真程序,能在Windows下登录UNIX或Linux服务器主机。SecureCRT支持SSH,同…

媒体行业的3D建模:在影视中创造特效纹理

在线工具推荐: 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 在本文中,我们将探讨 3D 建模在媒体行业中的作用,特别是它在影视特效创作…

基于STM32的无线通信系统设计与实现

【引言】 随着物联网的迅速发展,无线通信技术逐渐成为现代通信领域的关键技术之一。STM32作为一款广受欢迎的微控制器,具有丰富的外设资源和强大的计算能力,在无线通信系统设计中具有广泛的应用。本文将介绍如何基于STM32实现一个简单的无线通…

站群服务器 CentOS 搭建socks5多IP代理服务器详细教程,12个步骤教会你!

准备工作 首先要保证服务上能正常使用wget tar make vim,如果正常就直接进入【第一步】 #安装wget的命令 yum install wget#安装tar解压工具 yum install -y tar#安装make的命令 yum groupinstall "Development Tools"#安装vim的命令 yum install…

《洛谷深入浅出进阶篇》P3397 地毯————二维差分

上链接:P3397 地毯 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)https://www.luogu.com.cn/problem/P3397 上题干: 题目描述 在 nn 的格子上有 m 个地毯。 给出这些地毯的信息,问每个点被多少个地毯覆盖。 输入格式 第一行,两个…

浅尝:iOS的CoreGraphics和Flutter的Canvas

iOS的CoreGraphic 基本就是创建一个自定义的UIView&#xff0c;然后重写drawRect方法&#xff0c;在此方法里使用UIGraphicsGetCurrentContext()来绘制目标图形和样式 #import <UIKit/UIKit.h>interface MyGraphicView : UIView endimplementation MyGraphicView// Onl…

桌面云架构讲解(VDI、IDV、VOI/TCI、RDS)

目录 云桌面架构 VDI 虚拟桌面基础架构 IDV 智能桌面虚拟化 VOI/TCI VOI 虚拟系统架构 TCI 透明计算机架构 RDS 远程桌面服务 不同厂商云桌面架构 桌面传输协议 什么是云桌面 桌面云是虚拟化技术成熟后发展起来的一种应用&#xff0c;桌面云通常也称为云桌面、VDI等 …

Flink(五)【DataStream 转换算子(上)】

前言 这节注定是一个大的章节&#xff0c;我预估一下得两三天&#xff0c;涉及到的一些东西不懂就重新学&#xff0c;比如 Lambda 表达式&#xff0c;我只知道 Scala 中很方便&#xff0c;但在 Java 中有点发怵了&#xff1b;一个接口能不能 new 来构造对象? 答案是可以的&…

代码随想录 Day47 动态规划15 LeetCode T583 两个字符串的删除操作 T72 编辑距离

LeetCode T583 两个字符串的删除操作 题目链接:583. 两个字符串的删除操作 - 力扣&#xff08;LeetCode&#xff09; 题目思路: 本题有两个思路 1.使用两个字符串的长度之和-2*最长公共子串(换汤不换药) 代码随想录Day45 动态规划13 LeetCode T1143最长公共子序列 T1135 不相交…

跨国企业如何选择安全靠谱的跨国传输文件软件?

随着全球化的不断发展&#xff0c;跨国企业之间的合作变得越来越频繁。而在这种合作中&#xff0c;如何安全、可靠地将文件传输给合作伙伴或客户&#xff0c;成为了跨国企业必须面对的问题。 然而&#xff0c;跨国文件传输并不是一件容易的事情&#xff0c;由于网络物理条件的…

OpenCV入门4——实现图形的绘制

文章目录 OpenCV绘制直线OpenCV绘制矩形和圆画矩形画圆 OpenCV椭圆的绘制OpenCV绘制多边形OpenCV绘制文本实现鼠标绘制基本图形 OpenCV绘制直线 # -*- coding: utf-8 -*- import cv2 import numpy as npimg np.zeros((480, 640, 3), np.uint8) # 坐标点为(x, y) cv2.line(img,…

《视觉SLAM十四讲》-- 后端 1(下)

8.2 BA 与图优化 Bundle Adjustment 是指从视觉图像中提炼出最优的 3D 模型和相机参数&#xff08;内参和外参&#xff09;。 8.2.1 相机模型和 BA 代价函数 我们从一个世界坐标系中的点 p \boldsymbol{p} p 出发&#xff0c;把相机的内外参数和畸变都考虑进来&#xff0c;…

C语言从入门到精通之【char类型】

char类型用于储存字符&#xff08;如&#xff0c;字母或标点符号&#xff09;&#xff0c;但是从技术层面看&#xff0c;char是整数类型。因为char类型实际上储存的是整数而不是字符。计算机使用数字编码来处理字符&#xff0c;即用特定的整数表示特定的字符。 char类型占1个字…

wx.canvasToTempFilePath生成图片保存到相册

微信小程序保存当前画布指定区域的内容导出生成指定大小的图片&#xff0c;记录一下 api&#xff1a;wx.canvasToTempFilePath 效果&#xff1a; 代码&#xff1a;wxml <canvas style"width: {{screenWidth}}px; height: {{canvasHeight}}px;" canvas-id"my…

NewStarCTF2023 Week3 Reverse方向 题目STL WP

分析 代码不多&#xff0c;逻辑挺清楚的。 先用Z3解出V7&#xff1a; from z3 import *s Solver() v1, v2, v3, v4, v5, v6 BitVecs(v1 v2 v3 v4 v5 v6, 32) v7, v8, v9, v10, v11 BitVecs(v7 v8 v9 v10 v11, 32)s.add((v1 << 15) ^ v1 0x2882D802120E) s.add((v2 …

借助拧紧曲线高效管理螺栓装配防错——SunTorque智能扭矩系统

拧紧曲线作为拧紧质量的“晴雨表”&#xff0c;在拧紧过程中&#xff0c;能够实时探知到拧紧状态是否存在异常&#xff0c;并根据曲线特质推测出拧紧过程中遇到了什么样的问题&#xff0c;今天SunTorque智能扭矩系统带您了解拧紧曲线在螺栓装配防错管理中如何发挥作用。 合格的…

搭建知识付费系统的最佳实践是什么

在数字化时代&#xff0c;搭建一个高效且用户友好的知识付费系统是许多创业者和内容创作者追求的目标。本文将介绍一些搭建知识付费系统的最佳实践&#xff0c;同时提供一些基本的技术代码示例&#xff0c;以帮助你快速入门。 1. 选择合适的技术栈&#xff1a; 搭建知识付费…

论文阅读:YOLOV: Making Still Image Object Detectors Great at Video Object Detection

发表时间&#xff1a;2023年3月5日 论文地址&#xff1a;https://arxiv.org/abs/2208.09686 项目地址&#xff1a;https://github.com/YuHengsss/YOLOV 视频物体检测&#xff08;VID&#xff09;具有挑战性&#xff0c;因为物体外观的高度变化以及一些帧的不同恶化。有利的信息…