哈夫曼编码---一种无损数据压缩算法

哈夫曼编码是一种无损数据压缩算法,该算法在数据压缩,存储和网络传输等领域广泛引用,对互联网的发展也产生了深远的影响。

大家熟知的数据无损压缩软件,如WinRAR,gzip,bzip,lzw,7-zip等,都应用了哈夫曼算法。

广泛使用的PNG,JPEG,WebP图像格式,MP3音频格式,H.264(AVC)和H.265(HEVC)视频编码标准,都应用了哈夫曼编码。

1. 在传递信息时,如何尽量节省空间并保证无损编译?

如果要用01编码向某向某人传递信息,并要求尽可能节省空间且数据无损坏,要如何进行设计与实现?

我们已经了解过ASCLL这种编码方式了,对于每一种字符,我们用等长的八位二进制编码对其进行表示。

但是,当我们需要用到的字符较少时,每个字符都使用八位二进制来进行编码就会浪费很多空间。

那么,我们要如何设计一种编码方式来针对特定的情况进行编码呢?

1.1 等长编码

假设我们要传递的信息是单词“success”

我们的第一种思路依然是采用等长的二进制序列来进行编码,但是,针对特定情况,我们可以采用较少的二进制位来编码。

对具体情况进行分析,我们发现,success中只有四种字符(s,u,c,e),于是我们只需要用2位二进制便可编码:

字符suce
编码00011011

依据此编码方式,我们可以将success转化为二进制序列“00011010110000”。

在解码时,只需对照编码表,每二位一译即可无损译出“success”。

该种编码方式,相对于用ASCLL码来编译节省了许多的空间,并且做到了无损译码。

但是,还能节省更多空间吗?

1.2 变长编码

在刚才的例子中,我们经过思考我们找到一种思路:出现频率高的字符,采用较短的编码。

简单分析会发现,success中,s出现了3次,c出现了2次,e和u各一次。

于是我们可以采用以下这种编码方式:

字符sceu
编码010111

依据此编码方式,我们可以将success转化为二进制序列“011110100”。

相比于刚才总长14位的二进制编码,这次我们仅用了9位二进制就表示出了“success”,压缩率达到64%。

但是,变长编码在解决长度问题的同时,又导致无损编码成为了问题。

例如,在解码的过程中,我们可以有这些不同的方式来理解所接收到的信息:

011110100                       ------>                       eucess

011110100                       ------>                       suuess

……

也就是说,我们的编码具有不确定性,数据没有完好无损地被接收到。 

反思我们设计出的编码,会发现导致二进制序列的解码出现不确定性的原因是,某些字符的编码是另外一些字符的前缀。 

我们在解读时,无法分辨该位二进制位是用于单独表示一个字符,还是与其后的二进制位结合以表示另一个字符。

1.3 前缀码

根据以上案例的分析,我们总结出以下要点:

1. 整体上要采用变长编码,出现频次多的字符用短码。

2. 任一编码不能是另一编码的前缀。

 只要保证以上两点,我们就可以解决编码尽量短且无损编译的问题。

但是,如何确保第二点的成立呢?

假如我们定义“s”的编码为“0”,那么,接下来所有的字符的编码都不能以“0”作为开头。

同时,不能将“1”单独作为另一字符的编码,因为这样就会导致“0”和“1”都不能作为开头。

以此类推,第二位,第三位……都是如此。

也就是说,每确定一个字符的编码,接下来的字符的编码的长度就会比上一个多1。

这样的编码规则和规律使得我们联想到树的结构,我们可以利用树来直观表示这个过程。

于是,我们可以得到以下的编码表:

字符sceu
编码010110111

依据此编码方式,我们可以将success转化为二进制序列“0111101011000”。

共十三位二进制,尽管压缩率相比于之前有所下降,但是却能保证无损编译。

1.4 总结

1. 整体上要采用变长编码,出现频次多的字符用短码。

2. 通过树来帮助我们编码,就可以保证某个字符的编码不是另一个字符编码的前缀。

3. 往树的左子树表示编码增加一个“0”,往树的右子树表示编码增加一个“1”(也可交换)。

4. 树的叶子节点表示一个字符,从根结点到叶子结点的路径就是该字符的编码。

但问题是,即使按照以上的方式来编码,依然有很多可能的编码方式(树的形状)能供我们选择。

既然都研究到这里了,我们肯定不会随机选择一个。

所以接下来,我们就继续研究,如何确定哪棵树是最优的,或者说,如何生成最优的树。

2. 香农-范诺编码

1. 字符按出现的频次降序排列。

2. 二分法找出一个分界点,使得左边的总频次和右边的总频次尽可能相近。

3.  左半边分配编码“0”, 右半边分配编码“1”。

4. 递归二分法,直到每个字符都成为编码树的叶子节点。

香农是信息论的创立者,范诺是麻省理工大学的教授,二者共同提出的建立最优树的方式就被称作“香农-范诺编码”。

这种建立最优树的方式的思路很好理解:

我们刚才已经分析过,如果确定了某个字符的编码的长度,之后所有字符的编码的长度都一定会比这个字符的编码长。

所以,我们尝试让树的两边尽可能地平均,就像上一张图中的第三棵树一样。

从图中可以直观地看出,这样做可以使得特别长的编码尽可能地少出现,编码长度的分配在整体上变得较为平均。

当然,整体上依然要保持出现频次较高地字符使用更短的编码。

所以,按照“香农-范诺编码”的规则创建出来的树也不一定是两边分配十分平均的。 

还是我们之前用到的success的例子,按照上面的规则,创建出来的树的形状为:

可以验证,在这个例子下,这棵树确实是最优解。

但是,对于其他情况依然适用吗?要如何证明呢?

我不知道,因为这也是这两位大佬所面临的问题---无法证明这样构建出来的树一定是最优的那棵。

3. 哈夫曼编码

3.1 背景

“如何构建最佳前缀码?” 

这是1951年麻省理工学院(MIT)信息论课程,给学生布置的课程报告题目。

负责该课程的教授,就是范诺(Robert M.Fano),而哈夫曼,正是范诺的学生。

哈夫曼和他在MIT的同学面临完成课程报告或期末考试获得课程学分的抉择。

哈夫曼选择了课程报告,而范诺教授并没有告诉自己的学生,这其实是自己正在研究而为解决的课题。

哈夫曼一开始的思路是想改进导师的算法,花费了数月的时间,研究了多种方法,但没有一种方法可以证明是最有效的。

正当他准备放弃时,突然灵光一现,发明了自下而上构建前缀码的方法,也就是哈夫曼编码。(香农-范诺编码采用的是自上而下构建方式)

3.2 哈夫曼树

可证明是带权路径长度最短的二叉树(最优二叉树)。

带权路径长度WPL(Weighted Path Length)= 树根到叶子结点的路径长度 * 叶子结点的权

树的带权路径长度为书中所有叶子结点的带权路径长度之和,通常记为WPL = \sum_{i=1}^{n}w_{i}l_{i}

叶子结点的权也就是叶子结点的权重,在这里指叶子结点代表的字符的出现频次。

也就是说,最优二叉树就是带权路径长度最短的二叉树。

3.2.1 哈夫曼树的构造方式

原则:

1. 权值越大的叶结点越靠近根结点。

2. 权值越小的叶结点越远离根结点。

步骤:

1. 构造n棵只含根结点的二叉树。

2. 在森林中选取两棵根结点权值最小的树作为左右子树,构造一棵新的二叉树,新的根结点      权值为其左右子树根结点的权值之和。

3. 在森林中删除这两棵树,同时将新得到的二叉树加入到森林中。

4. 重复2,3步,直到森林中只含一棵树为止,这棵树就是哈夫曼树。

采用这种方式构建出来的二叉树也不一定是唯一的,但这些不唯一的树一定都是等效的。

 WPL = 7 * 1 + 4 * 3 + 2 * 3 + 5 * 2 = 35。 

3.2.2 规范哈夫曼树的构造算法

由于哈夫曼树并不唯一,所以,为了使用的方便与统一,我们在写代码实现的时候需要尽量保证生成的哈夫曼树唯一。

设当前森林为:F = {T1,T2,……,Tn},构造时的选择规范为:

1. 权值小的二叉树作为新构造的二叉树的左子树。

2. 权值大的二叉树作为新构造的二叉树的右子树。

3. 在权值相等时:

    深度小的二叉树作为新构造的二叉树的左子树。

    深度大的二叉树作为新构造的二叉树的右子树。

 那么,我们的哈夫曼树是采用链式存储结构还是顺序存储结构?

3.2.3 顺序存储结构的哈夫曼树

树的结构定义:

typedef struct TreeNode
{char data;//数据---对应的字符int weight;//权值int parent;//父结点int lchild;//左孩子int rchild;//右孩子
}HTNode;//当不存在父结点或左右孩子时,对应值为-1

构造哈夫曼树:

//构造哈夫曼树
void CreatHT(HTNode ht[], int n)
{int i, k, lnode, ronde;double min1, min2;for(i = 0; i < 2 * n - 1; i++)//将所有结点初始化, 含n个叶子结点的二叉树共有2*n-1个结点{ht[i].parent = ht[i].lchild = ht[i].rchild = -1;}for(i = n; i < 2 * n - 1; i++)//前n个结点为叶子结点, 下标从n到2*n-2的结点都是新产生的结点{min1 = min2 = 32767;//任意大数,需确保比2*n-1大lnode = rnode = -1;for(k = 0; k <= i - 1; k++)//遍历已有结点{if(ht[k].parent == -1)//父结点不为-1的视为已被销毁{if(ht[k].weight <= min1)//找权值最小的两个结点,同时保证min1(对应左子树lnode)较小{min2 = min1;rnode = lnode;min1 = ht[k].weight;lnode = k;}else if(ht[k].weight <= min2){min2 = ht[k].weight;rnode = k;}}}ht[i].weight = ht[lnode].weight + ht[rnode].weight;ht[i].lchild = lnode;ht[i].rchild = rnode;ht[lnode].parent = i;ht[rnode].parent = i;}
}

在调用之前,需要先创建好有m=2*n-1个结点元素的数组,并将前n个结点元素对应的符号(不必须)以及权值(必须)初始化好。

获取编码本:

//编码本
#define LEN 100 //待编码字符个数
typedef struct 
{char ch;          //存储字符char code[LEN];   //存放编码(编码长度不会超过字符个数)
}TCode;
TCode CodeBook[LEN];  //编码本//获得编码本
void encoding(HTNode ht[], TCode book[], int n)
{char* str = (char*)malloc(n + 1);str[n] = '\0';int i, j, idx, p;for(i = 0; i < n; i++)//遍历编码本{book[i].ch = ht[i].ch;idx = i;j = n;while(p = ht[idx].parent > 0)//由底至上访问树,从后向前生成编码{if(ht[p].lchild == idx){j--;str[j] = '0';}else{j--;str[j] = '1';}idx = p;}strcpy(book[i].code, &str[j]);}
}

获取到的编码本用于展示给用户作为参考,解码的过程直接在树上对编码进行解读即可。 

解码算法:

//哈夫曼解码算法
void decoding(HTNode ht[], char* codes, int n)
{int i, p;i = 0;p = 2 * n - 2;while(codes[i] != '\0'){while(ht[p].lchild != -1 && ht[p].rchild != -1){if(codes[i] == '0')p = ht[p].lchild;elsep = ht[p].rchild;i++;}printf("%c", ht[p].ch);p = 2 * n - 2;}printf("\n");
}

3.2.4 链式存储结构的哈夫曼树

懒得写了,改天再写。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/315488.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux操作系统基础开发工具的使用——vim,gcc/g++,MakeFile,gdb,yum

目录 一&#xff0c;vim&#xff08;Linux常用文本编辑器&#xff09; 1.1 关于vim 1.2 vim的三种常用模式 1.3 各种模式的切换&#xff08;一图览&#xff09; 1.4 vim命令模式各命令集合 1.5 vim底行模式各命令集合 1.6 vim配置 二&#xff0c;gcc/g&#xff08;Linu…

【鸿蒙应用】理财App

目录 第一节项目讲解项目介绍 第二节&#xff1a;项目创建登录静态框架编写登录页面设稿新建项目控制台添加项目Login页面封装标题组件 第三节&#xff1a;登录页静态表单编写第四节—内容页架构分析底部栏组件第五节—底部栏组件切换第六节&#xff1a;首页静态页编写第七节&a…

STM32与OLED显示屏通信(四针脚和七阵脚)

系列文章目录 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. 单片机调试 2. OLED简介 3. 接线 4. OLED驱动函数 4.1 四针脚版本 OLED.c OLED.h OLED_Font.h 4.2 七针脚版本 引脚连接 OLED.c OLED.h OLED_Font.h 5. 主函数 工程文件模板 1. 单片机…

Spark和Hadoop的安装

实验内容和要求 1&#xff0e;安装Hadoop和Spark 进入Linux系统&#xff0c;完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后&#xff0c;再安装Spark&#xff08;Local模式&#xff09;。 2&#xff0e;HDFS常用操作 使用hadoop用户名登录进入Linux系统&#xff0c;启动…

CSS 之 transition过渡动画

一、简介 ​ CSS 制作 Web 动画有两种方式&#xff1a; 帧动画&#xff08;Keyframe Animation&#xff09;和过渡动画&#xff08;Transition Animation&#xff09;。针对不同的业务场景中&#xff0c;我们应该选择不同的动画方式&#xff0c;通常来说&#xff1a;对于交互元…

从虚拟化走向云原生,红帽OpenShift“一手托两家”

汽车行业已经迈入“软件定义汽车”的新时代。吉利汽车很清醒地意识到&#xff0c;只有通过云原生技术和数字化转型&#xff0c;才能巩固其作为中国领先汽车制造商的地位。 和很多传统企业一样&#xff0c;吉利汽车在走向云原生的过程中也经历了稳态业务与敏态业务并存带来的前所…

微信第三方开放平台,实现代公众号保留排版样式和图片发布文章

大家好&#xff0c;我是小悟 要想实现代公众号发布文章的功能&#xff0c;就得接入富文本编辑器&#xff0c;市面上富文本编辑器有很多&#xff0c;轻量的、重量的都有。 从开发者的角度&#xff0c;自然把轻量作为第一选择&#xff0c;因为好对接&#xff0c;怎么方便怎么来…

【Python】爬虫-基础入门

目录 一、什么是爬虫 二、爬虫的主要用途 三、学会爬虫需要掌握的技能 四、爬虫使用的语言 五、编写爬虫需要的库&#xff0c;以python为例 六、爬虫示例-python 示例一 示例二 示例三 一、什么是爬虫 爬虫&#xff0c;又称网络爬虫或网页爬虫&#xff0c;是一种用来自…

Windows电脑中护眼(夜间)模式的开启异常

我的电脑是联想小新16pro&#xff0c;Windows11版本。之前一直可以正常使用夜间模式&#xff0c;但是经过一次电脑的版本更新之后&#xff0c;我重启电脑发现我的夜间模式不能使用了。明明显示开启状态&#xff0c;但是却不能使用&#xff0c;电脑还是无法显示夜间模式。 询问…

Drive Scope for Mac:硬盘健康监测分析工具

Drive Scope for Mac是一款专为Mac用户设计的硬盘健康监测与分析工具&#xff0c;致力于保障用户的数据安全。这款软件功能强大且操作简便&#xff0c;能够实时检测硬盘的各项指标&#xff0c;帮助用户及时发现并解决潜在问题。 Drive Scope for Mac 1.2.23注册激活版下载 Driv…

图像处理:乘法滤波器(Multiplying Filter)和逆FFT位移

一、乘法滤波器&#xff08;Multiplying Filter&#xff09; 乘法滤波器是一种以像素值为权重的滤波器&#xff0c;它通过将滤波器的权重与图像的像素值相乘&#xff0c;来获得滤波后的像素值。具体地&#xff0c;假设乘法滤波器的权重为h(i,j)&#xff0c;图像的像素值为f(m,…

基于CANoe从零创建以太网诊断工程(2)—— TCP/IP Stack 配置的三种选项

&#x1f345; 我是蚂蚁小兵&#xff0c;专注于车载诊断领域&#xff0c;尤其擅长于对CANoe工具的使用&#x1f345; 寻找组织 &#xff0c;答疑解惑&#xff0c;摸鱼聊天&#xff0c;博客源码&#xff0c;点击加入&#x1f449;【相亲相爱一家人】&#x1f345; 玩转CANoe&…

经典的目标检测算法有哪些?

一、经典的目标检测算法有哪些&#xff1f; 目标检测算法根据其处理流程可以分为两大类&#xff1a;One-Stage&#xff08;单阶段&#xff09;算法和Two-Stage&#xff08;两阶段&#xff09;算法。以下是一些经典的目标检测算法&#xff1a; 单阶段算法: YOLO (You Only Loo…

前端三大件速成 01 HTML

文章目录 一、前端基础知识二、标签1、什么是标签2、标签的属性3、常用标签&#xff08;1&#xff09;声明&#xff08;2&#xff09;注释&#xff08;3&#xff09;html 根标签&#xff08;3&#xff09;head标签&#xff08;4&#xff09;body标签 三、特殊字符四、其他标签1…

xhEditor实现WORD粘贴图片自动上传

1.下载示例&#xff1a; 从官网下载 http://www.ncmem.com/webapp/wordpaster/versions.aspx 从gitee中下载 https://gitee.com/xproer/wordpaster-php-xheditor1x 2.将插件目录复制到项目中 3.引入插件文件 定义插件图标 初始化插件&#xff0c;在工具栏中添加插件按钮 效果…

Kafka源码分析(四) - Server端-请求处理框架

系列文章目录 Kafka源码分析-目录 一. 总体结构 先给一张概览图&#xff1a; 服务端请求处理过程涉及到两个模块&#xff1a;kafka.network和kafka.server。 1.1 kafka.network 该包是kafka底层模块&#xff0c;提供了服务端NIO通信能力基础。 有4个核心类&#xff1a;…

PotatoPie 4.0 实验教程(24) —— FPGA实现摄像头图像中心差分变换

为什么要对图像进行中心差分变换&#xff1f; 对图像进行中心差分变换的主要目的是计算图像中每个像素点的梯度。梯度在图像处理中是一个非常重要的概念&#xff0c;它可以用来描述图像中灰度变化的快慢和方向&#xff0c;常用于边缘检测、特征提取和图像增强等任务中。 具体…

【GitHub】2FA认证(双重身份验证)

GitHub 2FA认证&#xff08;双重身份验证&#xff09; 写在最前面一、使用 TOTP 应用程序配置双2FA&#xff08;双因素身份验证&#xff09;1. 介绍2. github3. 认证 官网介绍小结 & 补充 &#xff1a;权限不足or验证码错误问题 &#x1f308;你好呀&#xff01;我是 是Yu欸…

CCS项目持续集成

​ 因工作需要&#xff0c;用户提出希望可以做ccs项目的持续集成&#xff0c;及代码提交后能够自动编译并提交到svn。调研过jenkins之后发现重新手写更有性价比&#xff0c;所以肝了几晚终于搞出来了&#xff0c;现在分享出来。 ​ 先交代背景&#xff1a; 1. 代码分两部分&am…

C++设计模式:适配器模式(十四)

1、定义与动机 定义&#xff1a;将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的哪些类可以一起工作。 动机&#xff1a; 在软件系统中&#xff0c;由于应用环境的变化&#xff0c;常常需要将“一些现存的对象”放在新的环境…