PgSQL-内核特性-TupleTableSlotOps
执行器中表达式结果、函数结果、投影结果等,各种结果都需要以元组的形式返回,所以PgSQL引入了一种通用格式保存数据:TupleTableSlot。PgSQL执行器将记录存储到“元组表”中在各个算子之间进行传递,元组表是独立TupleTableSlot的链表。而TupleTableSlot又分为多种,以减少解析和构建开销。
1、介绍
存储模块提供了元组(HeapTuple)的定义和操作接口,但这些接口针对物理元组,解析和构造开销比较大,不能满足执行器对性能要求。执行器在进行投影和选择操作时,需要快速获取元组属性;缓存元组时又希望元组尽可能小,以节省空间。所以PgSQL定义了多种TupleTableSlotOps。
1.1 内置的slot类型
按照分配的成员函数TupleTableSlotOps进行区分:
1)磁盘缓冲页的物理元组(TTSOpsBufferHeapTuple)
2)在分配的内存中构造的物理元组(TTSOpsHeapTuple)
3)在分配的内存中构造的“最小化”物理元组(TTSOpsMinimalTuple)
4)由Datum/isnull数组组成的“虚拟”元组(TTSOpsVirtual)
说明:
1)前面两个都是处理“物化”的元组,只是资源管理方式不同。
2)对于磁盘页上的元组,需要pin住对应的buffer,直到TupleTableSlot上元组的引用被删除
3)对于分配的内存中的元组,通常在TupleTableSlot上元组的引用被删除时释放内存。
4)对于“最小化”的元组,处理方式与分配的内存中的元组类似。目前最小化元组不会存储在缓冲区上,并且没有“系统列”,实际上有OID,但是我们不需要访问。
5)“虚拟”元组是一种优化,以最小化计划节点之间物理数据拷贝。“虚拟”元组只有values和NULL的bitmap组成的虚拟元组。Slot中指向存储的Datums指针和TupleTableSlot直接关联,直到物化后才会关联。通常情况下指向子节点返回输出TupleTableSlot的元组存储部分,或者函数在执行计划节点的per-tuple econtext中构建的结果。执行计划节点确保“虚拟”元组只有非法或者不是物化的时候才释放资源。需要注意,“虚拟”元组没有任何系统列。
6)TupleTableSlot中的Datum/isnull数组有双重作用:对于“虚拟”slots,这就是全部的数据,其他类型的slot需要从tuple中提取。(注意,物理元组的values的里面有很多传引用的值,真正的值记录在物理元组中,这里只是记录了引用指针)
7)TupleTableSlot中的tts_flags标签TTS_FLAG_EMPTY时表示该slot为空,即没有实际元组值。TTS_FLAG_EMPTY是新创建slot还没分配tuple描述符的唯一状态。这种状态下不能设置TTS_SHOULDFREE标记,tts_tuple必须为NULL ,tts_nvalid必须是0。SHOULDFREE设置后,物理tuple被slot拥有,当slot的引用删除后,需要释放。
8)tupleDescriptor 只是由 TupleTableSlot 代码引用,而不是复制。 ExecSetSlotDescriptor() 的调用者负责提供一个描述符,该描述符的生命周期必须与slot一样长。
1.2 TupleTableSlot结构
/* base tuple table slot type */
typedef struct TupleTableSlot
{NodeTag type;
#define FIELDNO_TUPLETABLESLOT_FLAGS 1uint16 tts_flags; /* Boolean states */
#define FIELDNO_TUPLETABLESLOT_NVALID 2AttrNumber tts_nvalid; /* # of valid values in tts_values */const TupleTableSlotOps *const tts_ops; /* implementation of slot */
#define FIELDNO_TUPLETABLESLOT_TUPLEDESCRIPTOR 4TupleDesc tts_tupleDescriptor; /* slot's tuple descriptor */
#define FIELDNO_TUPLETABLESLOT_VALUES 5Datum *tts_values; /* current per-attribute values */
#define FIELDNO_TUPLETABLESLOT_ISNULL 6bool *tts_isnull; /* current per-attribute isnull flags */MemoryContext tts_mcxt; /* slot itself is in this context */ItemPointerData tts_tid; /* stored tuple's tid */Oid tts_tableOid; /* table oid of tuple */
} TupleTableSlot;
1.3 TupleTableSlotOps类型关系
这四种基本都是从TupleTableSlot衍生而来。
2、以SeqScan算子为例
ExecInitSeqScan初始化了两个TupleTableSlot:ss_ScanTupleSlot和ps_ResultTupleSlot。分别用于保存从存储扫描上来的记录和投影的结果。其中ss_ScanTupleSlot为TTSOPSBufferHeapTuple类型,ps_ResultTupleSlot为TTSOpsVirtual类型。
我们看下算子的执行。首先需要从底层存储读取记录:
1)ExecSeqScan->SeqNext从底层读取记录,可以看到物理页上的记录通过指针保存到HeapTuple
2)HeapTuple通过tts_buffer_heap_store_tuple函数保存到BufferHeapTupleTableSlot的base.tuple中
3)返回的是BufferHeapTupleTableSlot,作为TupleTableSlot地址转换后返回
接着再看下投影操作:
1)其实是BufferHeapTupleTableSlot放到econtext->ecxt_scantuple,然后进行表达式计算(投影操作通过表达式计算完成)
2)投影结果保存到ps_ResultTupleSlot中,他是TTSOpsVirtual类型。
3)由此从底层存储的TTSOPSBufferHeapTuple转换成TTSOpsVirtual类型。
3、总结
四种类型关系如上图所示。
1)TupleTableSlot本身带了tts_values、tts_isnull能存数据。
2)TupleTableSlot的衍生结构【HeapTupleTableSlot】多了个物理tuple的指针,能挂一个物理tuple,用的时候解开到tts_values、tts_isnull中。
3)HeapTupleTableSlot的衍生结构【BufferHeapTupleTableSlot】又多了个buffer,他会和buffer关联起来,释放或materialize后时候需要把buffer释放掉。
4)TupleTableSlot的衍生结构【MinimalTupleTableSlot】在基类的基础上了记录了物理元组tuple和mintuple,mintuple表示物理元组去掉HeapTuple头和HeapTupleHeader头之后剩下的部分:isnull/dataums,纯数据部分。
5)TupleTableSlot的衍生结构【VirtualTupleTableSlot】就比较简单的了,只多了个char *data,用于记录任何数据,可以满足各种场景的需求。