hugetlb核心组件

1 概述

hugetlb机制是一种使用大页的方法，与THP(transparent huge page)是两种完全不同的机制，它需要：

  • 管理员通过系统接口reserve一定量的大页，
  • 用户通过hugetlbfs申请使用大页，

核心组件如下图：

 围绕着保存大页的核心数据结构hstate，

  • 不同的系统接口，通过__nr_pages_store_common()将申请大页，并存入hstate；
  • 不同的hugetlbfs挂载，通过alloc_huge_page()从hstate中申请大页使用；

下面，我们分别详解这些组件。

2 hstate

如上图中，hstate用于保存huge page，

关于hstate，参考以下代码：

struct hstate hstates[HUGE_MAX_HSTATE];gigantic_pages_init()
---/* With compaction or CMA we can allocate gigantic pages at runtime */if (boot_cpu_has(X86_FEATURE_GBPAGES))hugetlb_add_hstate(PUD_SHIFT - PAGE_SHIFT);
---hugetlb_init()
---hugetlb_add_hstate(HUGETLB_PAGE_ORDER);if (!parsed_default_hugepagesz) {...default_hstate_idx = hstate_index(size_to_hstate(HPAGE_SIZE));...}---#define HPAGE_SHIFT		PMD_SHIFT
#define HUGETLB_PAGE_ORDER	(HPAGE_SHIFT - PAGE_SHIFT)default_hugepagesz_setup()
---...default_hstate_idx = hstate_index(size_to_hstate(size));...
---
__setup("default_hugepagesz=", default_hugepagesz_setup);

 其中有以下几个关键点：

  • x86_64架构存在两个hstate，2M和1G
  • 系统中存在一个default hstate，默认是2M的，可以通过kernel commandline设置；

我们在/proc/meminfoh中看到的：

HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

 HugePages开头的这几个都是default hstate的数据，换句话说，是2M的；1G的hugetlbs数据并不会体现在其中，参考代码：

hugetlb_report_meminfo()
---for_each_hstate(h) {unsigned long count = h->nr_huge_pages;total += huge_page_size(h) * count;if (h == &default_hstate)seq_printf(m,"HugePages_Total:   %5lu\n""HugePages_Free:    %5lu\n""HugePages_Rsvd:    %5lu\n""HugePages_Surp:    %5lu\n""Hugepagesize:   %8lu kB\n",count,h->free_huge_pages,h->resv_huge_pages,h->surplus_huge_pages,huge_page_size(h) / SZ_1K);}seq_printf(m, "Hugetlb:        %8lu kB\n", total / SZ_1K);
---

这我们再贴一段hstate处理hugepage的代码：

dequeue_huge_page_nodemask()-> dequeue_huge_page_node_exact()---list_move(&page->lru, &h->hugepage_activelist);set_page_refcounted(page);ClearHPageFreed(page);h->free_huge_pages--;h->free_huge_pages_node[nid]--;---

 非常简单，链表维护，减少计数。

3 nr_hugepages

hugetlb需要系统管理员将一定量的内存reserve给hugetlb，可以通过以下途径：

  • /proc/sys/vm/nr_hugepages，参考代码hugetlb_sysctl_handler_common()，它会向default_hstate注入大页，也就是2M；
  • /sys/kernel/mm/hugepages/hugepages-size/nr_hugepages，这里可以指定size向2M或者1G的hstate注入大页，node策略为interleaved，

  • /sys/devices/system/node/node_id/hugepages/hugepages-size/nr_hugepages，通过该接口，不仅可以指定size，还可以指定node；

参考代码：

// /sys/kernel/mm/hugepages
hugetlb_sysfs_init()
---hugepages_kobj = kobject_create_and_add("hugepages", mm_kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, hugepages_kobj,hstate_kobjs, &hstate_attr_group);...}
---hugetlb_register_node()
---struct node_hstate *nhs = &node_hstates[node->dev.id];...nhs->hugepages_kobj = kobject_create_and_add("hugepages",&node->dev.kobj);...for_each_hstate(h) {err = hugetlb_sysfs_add_hstate(h, nhs->hugepages_kobj,nhs->hstate_kobjs,&per_node_hstate_attr_group);...}
---nr_hugepages_store_common()
---h = kobj_to_hstate(kobj, &nid);return __nr_hugepages_store_common(obey_mempolicy, h, nid, count, len);
---static struct hstate *kobj_to_hstate(struct kobject *kobj, int *nidp)
{int i;for (i = 0; i < HUGE_MAX_HSTATE; i++)if (hstate_kobjs[i] == kobj) {if (nidp)*nidp = NUMA_NO_NODE;return &hstates[i];}return kobj_to_node_hstate(kobj, nidp);
}

 另外，hugetlb还有overcommit功能，参考Redhat官方给出的解释：

/proc/sys/vm/nr_overcommit_hugepages

Defines the maximum number of additional huge pages that can be created and used by the system through overcommitting memory. Writing any non-zero value into this file indicates that the system obtains that number of huge pages from the kernel's normal page pool if the persistent huge page pool is exhausted. As these surplus huge pages become unused, they are then freed and returned to the kernel's normal page pool.

不过，在实践中，我们通常不会使用这个功能，hugetlb reserve的内存量都是经过预先计算的预留的；overcommit虽然提供了一定的灵活性，但是增加了不确定性。 

4 hugetlbfs

hugetlb中的所有大页，都需要通过hugetlbfs以文件的形式呈现出来，供用户读写；接下来，我们先看下hugetlbfs的文件的使用方法。

const struct file_operations hugetlbfs_file_operations = {.read_iter		= hugetlbfs_read_iter,.mmap			= hugetlbfs_file_mmap,.fsync			= noop_fsync,.get_unmapped_area	= hugetlb_get_unmapped_area,.llseek			= default_llseek,.fallocate		= hugetlbfs_fallocate,
};

hugetlbfs的文件并没有write_iter方法，如果我们用write系统调用操作该文件，会报错-EINVAL，具体原因可以索引代码中的FMODE_CAN_WRITE的由来；不过，hugetlbfs中的文件可以通过read系统调用读。fallocate回调存在意味着，我们可以预先通过fallocate给文件分配大页。另外，从hugetlb这个名字中我们就可以知道，它主要跟mmap有关，我们看下关键代码实现：

handle_mm_fault()-> hugetlb_fault()-> hugetlb_no_page()-> alloc_huge_page()hugetlbfs_fallocate()-> alloc_huge_page()

所以，hugetlbfs的大页是从mmap后的pagefault分配或者fallocate提前分配好的；

关于hugetlbfs的大页的分配，还需要知道reserve的概念；

hugetlbfs_file_mmap()-> hugetlb_reserve_pages()-> hugetlb_acct_memory()-> gather_surplus_pages()---needed = (h->resv_huge_pages + delta) - h->free_huge_pages;if (needed <= 0) {h->resv_huge_pages += delta;return 0;}---alloc_huge_page()-> dequeue_huge_page_vma()---if (page && !avoid_reserve && vma_has_reserves(vma, chg)) {SetHPageRestoreReserve(page);h->resv_huge_pages--;}---
//如果是fallocate路径，avoid_reserve就是true

hugetlb_acct_memory()用于执行reserve，但是并不会真的分配；

这里并不是文件系统的delay allocation功能，大页的累计有明确的数量和对齐要求；reserve只是为了符合mmap的语义，即mmap时不会分配内存，page fault才分配；

hugetlbfs的mount参数中有一个min_size，可以直接在mount的时候reserve大页，如下：

hugepage_new_subpool()
---spool->max_hpages = max_hpages;spool->hstate = h;spool->min_hpages = min_hpages;if (min_hpages != -1 && hugetlb_acct_memory(h, min_hpages)) {kfree(spool);return NULL;}spool->rsv_hpages = min_hpages;
---

 而在实践中，这也没有必要；与overcommit类似，hugetlb最关键的特性就是确定性，它能确保用户可以使用到huge page，所以，资源都是提供计算预留好的，甚至包括，哪个进程能用多少等，所以，做这种mount reserve没有意义。

hugetlbfs除了用户通过mount命令挂载的，系统还给每个hstate一个默认挂载；

init_hugetlbfs_fs()
---/* default hstate mount is required */mnt = mount_one_hugetlbfs(&default_hstate);...hugetlbfs_vfsmount[default_hstate_idx] = mnt;/* other hstates are optional */i = 0;for_each_hstate(h) {if (i == default_hstate_idx) {i++;continue;}mnt = mount_one_hugetlbfs(h);if (IS_ERR(mnt))hugetlbfs_vfsmount[i] = NULL;elsehugetlbfs_vfsmount[i] = mnt;i++;}
--hugetlb_file_setup()
---hstate_idx = get_hstate_idx(page_size_log);...mnt = hugetlbfs_vfsmount[hstate_idx];...inode = hugetlbfs_get_inode(mnt->mnt_sb, NULL, S_IFREG | S_IRWXUGO, 0);...
---ksys_mmap_pgoff()
---if (!(flags & MAP_ANONYMOUS)) {...} else if (flags & MAP_HUGETLB) {...hs = hstate_sizelog((flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...len = ALIGN(len, huge_page_size(hs));...file = hugetlb_file_setup(HUGETLB_ANON_FILE, len,VM_NORESERVE,&ucounts, HUGETLB_ANONHUGE_INODE,(flags >> MAP_HUGE_SHIFT) & MAP_HUGE_MASK);...}retval = vm_mmap_pgoff(file, addr, len, prot, flags, pgoff);
---memfd_create()
---
...if (flags & MFD_HUGETLB) {...file = hugetlb_file_setup(name, 0, VM_NORESERVE, &ucounts,HUGETLB_ANONHUGE_INODE,(flags >> MFD_HUGE_SHIFT) &MFD_HUGE_MASK);}...fd_install(fd, file);
---

默认hugetlbfs挂载主要用于：

  • memfd，MEMFD_HUGETLB，直接从hugetlb中申请大页，创建匿名mem文件；
  • mmap，MMAP_HUGETLB，直接总hugetlb中申请大页，mmap到程序中；

这种方法虽然增加了灵活性，但是，还是之前强调的hugetlbfs是为了大页的确定性而存在的。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/182521.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

十年老程序员分享13个最常用的Python深度学习库和介绍，赶紧收藏码住！

十年老程序员分享13个最常用的Python深度学习库和介绍，赶紧收藏码住！

文章目录 前言CaffeTheanoTensorFlowLasagneKerasmxnetsklearn-theanonolearnDIGITSBlocksdeepypylearn2Deeplearning4j关于Python技术储备一、Python所有方向的学习路线二、Python基础学习视频三、精品Python学习书籍四、Python工具包项目源码合集①Python工具包②Python实战案…
阅读更多...
选择合适的Python Web框架

选择合适的Python Web框架

Python 是一种功能强大的编程语言&#xff0c;广泛应用于 Web 开发领域。FastAPI 和 Flask 是 Python Web 开发中最受欢迎的两个框架。本文将对 FastAPI 和 Flask 进行综合对比&#xff0c;探讨它们在语法和表达能力、生态系统和社区支持、性能和扩展性、开发工具和调试支持、安…
阅读更多...
MySQL数据库之表操作

MySQL数据库之表操作

目录 表的操作1.创建表创建表案例 2.查看表结构3.修改表4.删除表 表的操作 1.创建表 语法&#xff1a; CREATE TABLE table_name (field1 datatype,field2 datatype,field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎;说明&#xff1a; field 表示列…
阅读更多...
无需专线、无需固定公网IP，各地安防数据如何高效上云？

无需专线、无需固定公网IP，各地安防数据如何高效上云？

某专注于安防领域的企业&#xff0c;供机场、金融、智慧大厦等行业&#xff0c;包括门禁系统、巡更系统、视频监控在内的整体解决方案。 在实际方案交付过程中&#xff0c;往往需要在多地分支机构分别部署相应的安防设备&#xff0c;并将产生的数据实时统一汇总至云平台进行管理…
阅读更多...
SpringBoot项目打包与运行

SpringBoot项目打包与运行

1.clean生命周期 说明&#xff1a;为了项目能够正确打包&#xff0c;先清理打包文件。 2.package生命周期 说明&#xff1a;打包后生成以下目录。 2.1问题 说明&#xff1a;springboot_08_ssmp-0.0.1-SNAPSHOT.jar中没有主清单属性。 2.2解决 说明&#xff1a;注释skip&…
阅读更多...
基础说明 Reset Vector

基础说明 Reset Vector

阅读更多...
吃透BGP，永远绕不开这些基础概述，看完再也不怕BGP了！

吃透BGP，永远绕不开这些基础概述，看完再也不怕BGP了！

你们好&#xff0c;我的网工朋友。 总有人在私信里抱怨&#xff0c;BGP实在是太难了&#xff01; 一是这玩意儿本来就很复杂&#xff0c;需要处理大量的路由信息和复杂的算法&#xff1b;再一个是需要你有一定的实战经验才能深入理解运作。 虽然BGP确实有一定难度&#xff0c…
阅读更多...
JSP 中医知识管理系统myeclipse开发sql数据库BS模式java编程网页结构

JSP 中医知识管理系统myeclipse开发sql数据库BS模式java编程网页结构

一、源码特点 JSP 中医知识管理系统 是一套完善的web设计系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;比较流行的ssh框架系统具有完整的源代码和数据库&#xff0c;myeclipse开发系统主要采用B/S模式开发。 javaWeb中医知识系统 二、功能介绍 此次系统主要…
阅读更多...
stm32 ADC

stm32 ADC

目录 简介 stm32的adc 框图 ①电压输入范围 ②输入通道 ​编辑③ADC通道 ④ADC触发 ⑤ADC中断 ⑥ADC数据 ⑦ADC时钟 ADC的四种转换模式 hal库代码 标准库代码 简介 自然界的信号几乎都是模拟信号&#xff0c;比如光亮、温度、压力、声音&#xff0c;而为了方便存储、…
阅读更多...
Ps：PSDT 模板文件

Ps：PSDT 模板文件

自 Photoshop CC 2015.5 版以后&#xff0c;Ps 中新增了一种文件格式&#xff1a;.PSDT。 说明&#xff1a; PSD、PDD、PSDT 都是 Ps 的专用文件格式&#xff0c;需要继续在 Ps 中进行编辑的文件可存为此类格式。 PSD Photoshop document Photoshop 默认文档格式&#xff0c;支…
阅读更多...
8-3、T型加减速单片机程序【51单片机控制步进电机-TB6600系列】

8-3、T型加减速单片机程序【51单片机控制步进电机-TB6600系列】

摘要&#xff1a;根据前两节内容&#xff0c;已完成所有计算工作&#xff0c;本节内容介绍具体单片机程序流程及代码 一、程序流程图 根据前两节文章内容可知&#xff0c;T型加减速的关键内容是运动类型的判断以及定时器初值的计算&#xff0c;在输出运动参数后即可判断出运动…
阅读更多...
应用系统集成-Spring Integration

应用系统集成-Spring Integration

应用系统集成-Spring Integration 图1 EIP 消息系统模式全景图。 Spring Integration 是系统集成的一个实现框架&#xff0c;提供了对EIP核心概念&#xff1a;Endpoint、Message、Channel、Router、Translator的抽象及相关框架实现&#xff0c;使得基于Spring Integration进行…
阅读更多...
策略模式在数据接收和发送场景的应用

策略模式在数据接收和发送场景的应用

在本篇文章中&#xff0c;我们介绍了策略模式&#xff0c;并在数据接收和发送场景中使用了策略模式。 背景 在最近项目中&#xff0c;需要与外部系统进行数据交互&#xff0c;刚开始交互的系统较为单一&#xff0c;刚开始设计方案时打算使用了if else 进行判断&#xff1a; if(…
阅读更多...
【Redis】SSM整合Redis注解式缓存的使用

【Redis】SSM整合Redis注解式缓存的使用

&#x1f389;&#x1f389;欢迎来到我的CSDN主页&#xff01;&#x1f389;&#x1f389; &#x1f3c5;我是Java方文山&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; &#x1f31f;推荐给大家我的专栏《Redis》。&#x1f3af;&#x1f3af; &#x1f4…
阅读更多...
机器学习中的关键组件

机器学习中的关键组件

机器学习中的关键组件 数据 每个数据集由一个个样本组成&#xff0c;大多时候&#xff0c;它们遵循独立同分布。样本有时也叫作数据点或数据实例&#xff0c;通常每个样本由一组称为特征或协变量的属性组成。机器学习会根据这些属性进行预测&#xff0c;预测得到的称为标签或…
阅读更多...
Intel oneAPI笔记（2）--jupyter官方文档（oneAPI_Intro）学习笔记

Intel oneAPI笔记（2）--jupyter官方文档（oneAPI_Intro）学习笔记

前言 本文是对jupyterlab中oneAPI_Essentials/01_oneAPI_Intro文档的学习记录&#xff0c;包含对SYCL、DPC extends SYCL、oneAPI Programming models等介绍和SYCL代码的初步演示等内容 oneAPI编程模型综述 oneAPI编程模型提供了一个全面而统一的开发人员工具组合&#xff0…
阅读更多...
在Linux系统下部署Llama2（MetaAI）大模型教程

在Linux系统下部署Llama2（MetaAI）大模型教程

Llama2是Meta最新开源的语言大模型&#xff0c;训练数据集2万亿token&#xff0c;上下文长度是由Llama的2048扩展到4096&#xff0c;可以理解和生成更长的文本&#xff0c;包括7B、13B和70B三个模型&#xff0c;在各种基准集的测试上表现突出&#xff0c;最重要的是&#xff0c…
阅读更多...
OSPF 高级特性3

OSPF 高级特性3

目录 一、OSPF安全特性 二、加快收敛 三、缺省路由 四、路由控制 五、显示OSPF的错误统计信息 附录E&#xff08;了解&#xff09; 六、OSPF防环 七、OSPF选路原则 八、OSPF综合实验 一、OSPF安全特性 1、OSPF报文验证&#xff1a; 区域验证模式&#xff1a;在区域下配…
阅读更多...
el-tree中展示项换行展示

el-tree中展示项换行展示

文章目录 效果如下所示&#xff1a;没有换行展示的效果修改样式换行之后的展示效果 想要了解el-tree使用的详情往下看代码和数据如下所示Vue代码中可能使用到的数据如下Vue的代码如下&#xff1a;没有换行展示的效果换行之后的展示效果样式调试 效果如下所示&#xff1a; 没有…
阅读更多...
论文阅读—— CEASC（cvpr2023）

论文阅读—— CEASC（cvpr2023）

arxiv&#xff1a;https://arxiv.org/abs/2303.14488 github&#xff1a;https://github.com/Cuogeihong/CEASC 为了进一步减轻SC中的信息损失&#xff0c;使训练过程更加稳定&#xff0c;我们在训练过程中除了稀疏卷积之外&#xff0c;还保持了正常的密集卷积&#xff0c;生成…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023