大模型相关目录
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。
- RAGOnMedicalKG：大模型结合知识图谱的RAG实现
- DSPy：变革式大模型应用开发
- 最简明的Few-shot Prompt指南
- Semantic Kernel：微软大模型开发框架——LangChain 替代
- 对话大模型Prompt是否需要礼貌点？
- swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
- 多模态大模型Internvl-1.5-26B微调后部署及测试实录（附代码）
- 多模态大模型Internvl-2-26B的OCR赋能方案（附代码）
- miniconda+xinference的大模型推理部署指南
- Mem0：大模型最强赋能“有记忆的LLM”
- 再谈Agent：Dify智能体实现Txet2SQL
- Moe模式：或将是最好的大模型应用开发路径
- 一文带你了解大模型RAG
- 详细记录swfit微调interVL2-8B多模态大模型进行目标检测（附代码）
文章目录
- 大模型相关目录
- 前言
- 模型选型
- 数据集制作
- 模型微调
- 训练后的模型部署及测试
- 合并权重
- 推理部署
- 测试
- 总结
前言
目标检测任务已经不是一个新鲜事了，但是多模态大模型作目标检测任务并不多见，本文详细记录swfit微调interVL2-8B多模态大模型进行目标检测的过程，旨在让更多人了解多模态大模型微调技术、共享微调经验。
模型选型
并不是所有开源多模态大模型都有目标检测能力。
如图所示，哪怕是闭源模型，也并都不具备目标检测能力。
经调研，我们选用interVL2-8B模型，在模型性能指标上，该模型胜过interVL1.5-26B的同时，还具备目标检测能力，且与interVL2-26B、40B、70B模型性能差不并没有非常巨大。
其回答格式也很有意思，此处分享：
<ref>zs_code</ref><box>[[476,1221,814,1259]]</box>
数据集制作
本文任务数据集均为自行制作，其中，数据分布如下图：
其中，test文件夹用于性能测试，tain文件夹用于模型训练。pic子文件夹表示图像存储路径，xml表示标注存储路径，图像与标注一一对应。
具体内容如下：
图像示例：
对应标注示例
<annotation><folder>code_data</folder><filename>xxx-本科毕业证.jpg</filename><path>C:\Users\12258\Desktop\code_data\xxx-本科毕业证.jpg</path><source><database>Unknown</database></source><size><width>842</width><height>596</height><depth>3</depth></size><segmented>0</segmented><object><name>zs_code</name><pose>Unspecified</pose><truncated>0</truncated><difficult>0</difficult><bndbox><xmin>142</xmin><ymin>422</ymin><xmax>351</xmax><ymax>446</ymax></bndbox></object>
</annotation>该数据集使用labelimg手动标注，每张图像为典型毕业证、学位证、学历验证、资质证书影像，只含一个标签名称zs_code。
其中，测试图像30张，训练图像250张。
编写脚本，构建可用于微调训练的数据集jsonl，jsonl配合图像即可完成swift框架下的多模态模型微调。
import os
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from PIL import Image
import json
from PIL import Image, ExifTags
import xml.etree.ElementTree as ETdef create_directory(path):"""Create a new directory at the given path."""try:os.makedirs(path, exist_ok=True)return f"Directory created at {path}"except Exception as e:return f"An error occurred: {e}"def list_files(directory):"""List all files in the given directory."""return [file for file in os.listdir(directory) if os.path.isfile(os.path.join(directory, file))]def list_files_with_absolute_paths(directory):"""List all files in the given directory with their absolute paths."""return [os.path.abspath(os.path.join(directory, file)) for file in os.listdir(directory) if os.path.isfile(os.path.join(directory, file))]def extract_xml_info(xml_file_path):with open(xml_file_path, 'r',encoding='utf-8') as file:xml_content = file.read()# 解析XML内容root = ET.fromstring(xml_content)# 初始化一个列表来保存提取的信息extracted_info = []# 遍历所有<object>标签for obj in root.findall('object'):name = obj.find('name').textbndbox = obj.find('bndbox')xmin = int(bndbox.find('xmin').text)ymin = int(bndbox.find('ymin').text)xmax = int(bndbox.find('xmax').text)ymax = int(bndbox.find('ymax').text)# 将提取的信息保存到列表中extracted_info.append({'name': name, 'xmin': xmin, 'ymin': ymin, 'xmax': xmax, 'ymax': ymax})name = str(extracted_info[0]['name'])xmin = str(extracted_info[0]['xmin'])ymin = str(extracted_info[0]['ymin'])xmax = str(extracted_info[0]['xmax'])ymax = str(extracted_info[0]['ymax'])# 仅仅用于单标注图像result = f'<ref>{name}</ref><box>[[{xmin},{ymin},{xmax},{ymax}]]</box>'return resultdef get_elements_with_string(lst, target_string):return [element for element in lst if target_string in element]train_pic_path = '/home/super/lyq/zsbm_mbjc/data/train/pic'
train_xml_path = '/home/super/lyq/zsbm_mbjc/data/train/xml'
test_pic_path = '/home/super/lyq/zsbm_mbjc/data/test/pic'
test_xml_path = '/home/super/lyq/zsbm_mbjc/data/test/xml'train_pic_absolute_paths = list_files_with_absolute_paths(train_pic_path)
train_xml_absolute_paths = list_files_with_absolute_paths(train_xml_path)
test_pic_absolute_paths = list_files_with_absolute_paths(test_pic_path)
test_xml_absolute_paths = list_files_with_absolute_paths(test_xml_path)train_pic_paths = list_files(train_pic_path)
train_xml_paths = list_files(train_xml_path)
test_pic_paths = list_files(test_pic_path)
test_xml_paths = list_files(test_xml_path)dataset = []for train_pic_absolute_path in train_pic_absolute_paths:# 图像路径mid_dict = {}file_head = train_pic_absolute_path.split('/')[-1].split('.')[0]# print(file_head,train_pic_absolute_path)xml_path = get_elements_with_string(train_xml_absolute_paths,file_head)[0]# print(xml_path)xml_info = extract_xml_info(xml_path) # responsemid_dict = {'system':'''职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。**注意**：仅以给定格式返回检测结果，不要给出其它任何解释。**注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。''','query':'请目标检测图像中的证书编码并给出边界框','response':xml_info,'images':train_pic_absolute_path}dataset.append(mid_dict)# 指定输出文件的名称
output_file = 'train_dataset.jsonl'# 打开文件并写入JSONL格式的数据
with open(output_file, 'w', encoding='utf-8') as f:for item in dataset:# 将字典转换为JSON字符串并写入文件，每个字典占一行json_string = json.dumps(item,ensure_ascii=False)f.write(json_string + '\n')dataset = []for test_pic_absolute_path in test_pic_absolute_paths:# 图像路径mid_dict = {}file_head = test_pic_absolute_path.split('/')[-1].split('.')[0]xml_path = get_elements_with_string(test_xml_absolute_paths,file_head)[0]xml_info = extract_xml_info(xml_path) # responsemid_dict = {'system':'''职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。**注意**：仅以给定格式返回检测结果，不要给出其它任何解释。**注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。''','query':'请目标检测图像中的证书编码并给出边界框','response':xml_info,'images':test_pic_absolute_path}dataset.append(mid_dict)# 指定输出文件的名称
output_file = 'test_dataset.jsonl'# 打开文件并写入JSONL格式的数据
with open(output_file, 'w', encoding='utf-8') as f:for item in dataset:# 将字典转换为JSON字符串并写入文件，每个字典占一行json_string = json.dumps(item,ensure_ascii=False)f.write(json_string + '\n')
上述代码结果为test_dataset.jsonl和train_dataset.jsonl两个jsonl文件，分别对应train、test文件夹。
test_dataset.jsonl
{"system": "职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。\n 职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。\n **注意**：仅以给定格式返回检测结果，不要给出其它任何解释。\n **注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。\n ", "query": "请目标检测图像中的证书编码并给出边界框", "response": "<ref>zs_code</ref><box>[[67,761,302,798]]</box>", "images": "/home/super/lyq/zsbm_mbjc/data/train/pic/xxx-专科毕业证.jpg"}
{"system": "职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。\n 职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。\n **注意**：仅以给定格式返回检测结果，不要给出其它任何解释。\n **注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。\n ", "query": "请目标检测图像中的证书编码并给出边界框", "response": "<ref>zs_code</ref><box>[[455,1272,1083,1356]]</box>", "images": "/home/super/lyq/zsbm_mbjc/data/train/pic/xxx-本科毕业证.jpg"}
{"system": "职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。\n 职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。\n **注意**：仅以给定格式返回检测结果，不要给出其它任何解释。\n **注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。\n ", "query": "请目标检测图像中的证书编码并给出边界框", "response": "<ref>zs_code</ref><box>[[90,484,329,508]]</box>", "images": "/home/super/lyq/zsbm_mbjc/data/train/pic/xxx-本科毕业证.jpg"}其中内容大概如上，人名已脱敏。
数据集于swift框架进行注册：
可参考我的历史文章
https://blog.csdn.net/qq_43128256/article/details/140314241
模型微调
本文不再采取UI，纯指令如下：
CUDA_VISIBLE_DEVICES=0,1,2,3 swift sft \
--model_id_or_path /data/hfd/InternVL2-8B \
--template_type internvl2 \
--dataset /home/super/lyq/train_dataset.jsonl \
--lora_target_modules ALL \
--lora_lr_ratio 16.0 \
--lora_rank 16 \
--learning_rate 1e-4 \
--num_train_epochs 5 \
--use_flash_attn True \
--gradient_accumulation_steps 4 \
--batch_size 2 \
--eval_steps 50 \
--save_steps 500 \
--neftune_noise_alpha 5 \
--model_type internvl2-8b \
--device_max_memory 15GB 15GB 15GB 15GB \
--output_dir /home/super/sgq/swift/llm-yolo/detection2/v1 \
--logging_dir /home/super/sgq/swift/llm-yolo/detection2/v1/runs
其中需注意：
–model_id_or_path /data/hfd/InternVL2-8B
该参数为模型路径
–dataset /home/super/lyq/train_dataset.jsonl
该参数为微调数据集
–num_train_epochs 5
该参数为训练轮次，视情况调整
–use_flash_attn True
加速项，服务器未配置可不选
–output_dir /home/super/sgq/swift/llm-yolo/detection2/v1
为训练结果保存路径，结果包含微调训练参数和精度损失记录等
–logging_dir /home/super/sgq/swift/llm-yolo/detection2/v1/runs
为tensorboard查看结果内容存储路径
结果如上，其中checkpoint-135为训练后的lora权重；images为训练曲线；其他文件为训练参数。
训练后的模型部署及测试
合并权重
CUDA_VISIBLE_DEVICES=0,1,2,3 swift export --ckpt_dir '/home/super/lyq/zsbm_mbjc/train_240731_1/internvl2-8b/v0-20240731-154920/checkpoint-135' --merge_lora true生成合并模型：
推理部署
测试
api_ask.py
from openai import OpenAI
import base64client = OpenAI(api_key='YOUR_API_KEY', base_url='http://172.20.32.127:23333/v1')
model_name = client.models.list().data[0].id#图片转base64函数
def encode_image(image_path):with open(image_path, "rb") as image_file:return base64.b64encode(image_file.read()).decode('utf-8')#原图片转base64
def get_response(input_image_path):base64_image = encode_image(input_image_path)response = client.chat.completions.create(model=model_name,messages=[{"role": "system","content": '''职位：你是一个面向证书图像的目标检测大师，具备精准识别、定位图像中证书编码的能力。职能：从毕业证、学历验证报告、证书等图像中检测到证书编码区域并给出边界框。**注意**：仅以给定格式返回检测结果，不要给出其它任何解释。**注意**：若图片中没有典型违章场景，返回<ref> class_name </ref><box>[[0, 0, 0, 0]]</box>即可。'''},{"role": "user","content":[{"type": "text","text": '请目标检测图像中的证书编码并给出边界框'},{"type": "image_url","image_url":{"url":f"data:image/jpeg;base64,{base64_image}"# "url": 'https://i-blog.csdnimg.cn/direct/253ad27104b7466792511f78e9f636a9.png'}},]}],temperature=0.8,top_p=0.8)return response.choices[0].message.content
get_llm_response.py
import json
import api_ask as llm_api
def read_jsonl(file_path):"""Read a JSONL file and return a list of dictionaries.:param file_path: Absolute path of the JSONL file to be read.:return: List of dictionaries representing the JSON objects in the file."""data = []with open(file_path, 'r', encoding='utf-8') as file:for line in file:data.append(json.loads(line))return datadata = read_jsonl('/home/super/lyq/test_dataset.jsonl')result = []
for single_data in data:img_path = single_data['images']single_result = llm_api.get_response(img_path)print(single_result)result.append({'images':img_path,'response':single_result})import pandas as pdpd.DataFrame(result).to_excel('llm_response.xlsx',index=False)
结果如下图：
result_test.py
import pandas as pd
from PIL import Image, ImageDraw
import re
import json
from PIL import Image, ExifTags
# 添加这个函数来处理图片方向
def correct_image_orientation(image):try:for orientation in ExifTags.TAGS.keys():if ExifTags.TAGS[orientation] == 'Orientation':breakexif = dict(image._getexif().items())if exif[orientation] == 3:image = image.rotate(180, expand=True)elif exif[orientation] == 6:image = image.rotate(270, expand=True)elif exif[orientation] == 8:image = image.rotate(90, expand=True)except (AttributeError, KeyError, IndexError):# 如果没有EXIF信息，就不做任何处理passreturn imagedef draw_rectangle(image_path, coordinates, output_path):"""在图像上标出矩形框。:param image_path: 图像的路径:param coordinates: 包含矩形框坐标的列表，格式为 [x1, y1, x2, y2]:param output_path: 输出图像的路径"""# 打开图像with Image.open(image_path) as img:img = correct_image_orientation(img)img = correct_image_orientation(img)# 创建一个可以在给定图像上绘图的对象draw = ImageDraw.Draw(img)# 计算矩形的左上角和右下角坐标x1, y1, x2, y2 = coordinates# 在图像上绘制矩形draw.rectangle([x1, y1, x2, y2], outline="red", width=2)# 保存修改后的图像img.save(output_path)def extract_string(s):"""从给定的字符串中提取方括号内的内容。:param s: 包含方括号的字符串:return: 提取出的字符串"""# 使用正则表达式匹配方括号内的内容match = re.search(r'\[(.*?)\]', s)if match:# 提取匹配的内容extracted_str = match.group(0)return eval(extracted_str+']')else:return Nonedef read_jsonl(file_path):"""读取JSONL文件并返回一个包含所有条目的列表。:param file_path: JSONL文件的路径:return: 包含JSON对象的列表"""data = []with open(file_path, 'r', encoding='utf-8') as file:for line in file:data.append(json.loads(line))return datadata = pd.read_excel('/home/super/lyq/llm_response.xlsx')images = data['images'].tolist()
responses = data['response'].tolist()
n = len(images)print(images)
for index in range(n):print(images[index])img_path = images[index]zuobiao = extract_string(responses[index])draw_rectangle(img_path,zuobiao[0],'/home/super/lyq/zsbm_mbjc/test_result_pic'+'/'+img_path.split('/')[-1])
总结
实际上，interVL2-8B多模态大模型在该任务上微调后的表现并不好。与此同时，我们还就电力巡检场景进行了微调测试，精度达到了80左右，其实也比较一般，综合来看，大模型其实并不那么擅长目标检测。
此处引申一个结论，大模型在分类任务上表现则好得多，且提升精度微调是必要的。
最近做了实验，测试集微调前精度57%，微调后97%，不过面向的是单轮问答。
