文章目录
- 前言
- 一、huggingface的load_dataset
- 1、含义
- 2、数据加载json文件格式
- 3、load_dataset的简单demo
- 4、load_dataset的cache简单demo
- 二、huggingface的concatenate_datasets
- 三、huggingface的train_test_split数据划分
- 1、直接划分
- 2、使用合并的数据划分
- 四、huggingface的map的参数给定
- 1、使用fn_kwargs方法给定
- 2、使用partial方法给定
- 五、huggingface相关数据处理
- 1、input_ids与labels处理
- 2、huggingface的Data Collator方法
- 方法简单说明
- huggingface的DataCollatorForSeq2Seq使用
- 六、huggingface的data_loader方法
- 1、修改数据处理函数
- 2、DataCollatorForSeq2Seq构建类似collate_fn方法
- 3、完整源码
前言
本篇文章基于huggingface框架来探索大语言模型数据处理方法。本文主要介绍如何基于huggingface训练模式构造自己的数据，类似与torch的dataset与dataloader方式来构建大语言模型数据。为后面大语言模型构建做理论支撑。
提示：huggingface数据加载理论知识！
一、huggingface的load_dataset
1、含义
load_dataset 是 Hugging Face Datasets 库中的一个函数，用于加载各种格式的数据集。这个函数可以处理多种数据源，包括本地文件、远程 URL、CSV 文件、JSON 文件等，并且支持自动下载和缓存数据集。
from datasets import load_dataset
# 加载本地或远程的 JSON 文件
dataset = load_dataset(
![[大模型学习推理]资料](https://i-blog.csdnimg.cn/direct/a9c35b6d523e4b118c3c550e72b27b06.png)
