一、信源编码的数学模型

我们知道信源的输出是消息序列，对于信源进行编码就是用码字集来表示消息集，也就是要进行从消息集到码字集的映射。

根据码字的特征我们又将其分为D元码，等长码，不等长码，唯一可译码。

我们通过一个例子来进行概念的应用

首先我们来辨析一下码组、码字、码元的概念 

那么对于上述的码组而言，任意一个码元的取值只有0或者1，所以都是二元码

根据不同码字之间的长度，码组1是等长码，其余的码组均为不等长码

根据不同的码字和不同的信源是否具有唯一的对应关系，码组1、4、5为唯一可译码，码组2和码组3存在00可能是两个a1或者a3的情况，所以码组2、3不是唯一可译码。

我们最想要的就是无失真编码，根据集合的映射关系我们知道只需要满足一下不等式就可以充要地实现无失真编码

同时为了提高信源的传输效率，我们通过扩展信源，即增加L，仅对部分信源序列进行编码，但是这样又会产生失真。

因此我们把要求无失真编码的条件进行放宽，我们要求实现几乎无失真的编码，那么几乎无失真编码的条件是什么呢？

二、典型序列 

 

 三、信源划分定理

四、推论

1、推论一

2、推论二 

 3、典型序列的性质

（1）序列出现的概率近乎相等

（2）每个序列平均符号的信息量接近于信源熵H(U)

（3）所有典型序列的概率和趋近于1

非典型序列的概率不一定比典型序列的概率小

非典型序列集包含的序列数目不一定小于典型序列集包含的序列数目

五、等长信源编码定理