linux中的缓存 页缓存 pagecatch(读缓存用于提供快速读)块缓存(用于提供其他设备快速写)当对读缓存读的时候,修改了读的数据,页缓存就会被标记为脏数据,等到写的时候它会向块缓存同步数据,并写入到磁盘中
零拷贝:如上kafka读取文件会由操作系统读到页缓存,在读到kafaka的输入缓存,在同步到输出缓存用于写入其他设备,数据写操作会调用系统的块缓存写入,然后再把块缓存数据写到网卡中,这个过程比较耗时,从系统到kafka应用完成多次数据转译,称为多次拷贝,这个过程线程会跨用户态和核心态的代码存在切换额外保存数据的额外消耗。特权指令和非特权指令要求cpu切换状态,内核态和用户态的指令不能跨状体工作 ,切换效率低而且这是一次操作数据量大的时候性能就越低。
kafka使用nio的channel加上buffer的transfrom_to函数实现数据0拷贝,直接将内存数据发送给kafka的消费者。
kafka的应答策略