文章目录
- Elasticsearch 整体架构
- Lucene 索引结构
- Lucene 倒排索引核心原理
- 倒排索引
- 倒排表（Posting List）
Elasticsearch 整体架构
一个 ES Index 在集群模式下，有多个Node（节点）组成，每个节点就是ES的 instance（实例）
每个节点上会有多个 shard（分片），P1 P2 是主分片，R1 R2 是副本分片。
每个分片上对应着就是一个 Lucene Index （底层索引文件）
Lucene Index 是一个统称：
由多个 Segment（段文件，就是倒排索引）组成，每个段文件存储着的就是 Doc 文档。
commit point 记录了所有的 segments 的信息
Lucene 索引结构
Lucene 倒排索引核心原理
Lucene 是一个成熟的权威检索库，具有高性能、可伸缩的特点，并且开源、免费。在其基础上开发的分布式搜索引擎便是 Elasticsearch。
Elasticsearch 的搜索原理简单过程是，索引系统通过扫描文章中的每一个词，对其创建索引，指明在文章中出现的次数和位置，当用户查询时，索引系统就会根据事先的索引进行查找，并将查找的结果反馈给用户的检索方式。
倒排索引
倒排索引是整个 ES 的核心，正常的搜索以一本书为例，应该是由 “目录 -> 章节 -> 页码 -> 内容” 这样的查找顺序，这样是正排索引的思想。
倒排索引的思路是通过单词到文档ID的关系对应。
倒排索引包含两个部分：
- 单词词典（Term Dictionary）：记录所有文档的单词，记录单词到倒排列表的关联关系（单词词典一般比较大，通过 B+ 树或哈希拉链法实现，以满足高性能的插入与查询）
- 倒排表（Posting List）：记录了单词对应的文档结合，由倒排索引组成。
文档ID
词频 TF - 该单词在文档中分词的位置。用于语句搜索
位置（Position）- 单词在文档中分词的位置，用于语句搜索
偏移（Offset）- 记录单词的开始结束位置，实现高亮显示。
倒排表（Posting List）
倒排表记录了对应单词（Term Dictionary）所出现的的文档ID等信息。并且为了搜索的时延肯定需要放在内存中，面对海量的文档必然会存在更多量级的倒排表，为了节约空间，肯定是需要一定的压缩算法。
FOR：（Frame Of Reference）
假设某个包含某个 单词 （Term Dictionary）的文档出现了100W次，那么其对应的倒排表就会非常的大，按1个int占用空间为 4 Byte 计算，仅这么倒排表中的一项就要消耗 3.8MB 空间。
如上图所示，我们知道一个1个int是4字节，一个字节最大可以存正21亿，1个bit可以存2个数，2个bit可以存4个数（0,1,2,3）。那么假设我们存的都是非常小的数字能否将存储所占空间压下来呢。如果我们只取 posting list 中的数字差值，这将是一个非常小的数字，比如上图是100W个1。这样我们通过只取差值，得到了一个100W个1的列表，并将每个元素只耗费1bit存储了下来。这样可以压缩32倍存储空间。
但事实是，一般没有这么理想的状态。
