MOSS微调数据清洗转换脚本
目前市面上的大模型微调开源项目 数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本
文章目录
- MOSS微调数据清洗转换脚本
- 一、原始的数据格式
- 二、转换后的数据格式
- 三、数据转换脚本
- 总结
一、原始的数据格式
二、转换后的数据格式
三、数据转换脚本
代码如下（示例）：
import json# 读取原始JSON文件（使用UTF-8编码）
with open('原始.json', 'r', encoding='utf-8') as source_file:data = json.load(source_file)# 初始化新的JSON数据列表
new_data_list = []# 遍历原始数据并将instruction和output值分别存储到新的JSON数据结构中
for i, item in enumerate(data):new_data = {"conversation_id": str(i + 1),"meta_instruction": "You are an AI assistant...","num_turns": 1,"chat": {f"turn_1": {"Human": item["instruction"] + "<eoh>\n","Inner Thoughts": "<|Inner Thoughts|>: None<eot>\n","Commands": "<|Commands|>: None<eoc>\n","Tool Responses": "<|Results|>: None<eor>\n","MOSS": item["output"] + "<eom>\n"}},"category": "advice"}new_data_list.append(new_data)# 将新的JSON数据结构写入到新的JSON文件中（使用UTF-8编码）
with open('moss格式的.json', 'w', encoding='utf-8') as new_file:json.dump(new_data_list, new_file, ensure_ascii=False, indent=2)总结
想进入大模型微调，虚拟数字人，声音克隆等最新aigc生成技术讨论群的请私信我，拉你进群，帮助你快速掌握最新的技术，为找工作添砖加瓦
加我微信：Lh1141755859 获取chatgpt类对话大模型交流群
关注微信公众号：CV算法小屋 获取更多最新大语言模型论文和代码
