零基础入门大模型技术竞赛
简介：
本次学习是 Datawhale 2024 年 AI 夏令营第一期，学习活动基于讯飞开放平台“基于星火大模型的群聊对话分角色要素提取挑战赛”开展实践学习。
-
适合想 入门并实践大模型 API 开发、了解如何微调大模型的学习者参与
-
快来跟着教程的节奏，拿下你的第一个 “基于星火大模型的群聊对话分角色要素提取挑战赛” 分数！
Step1：报名赛事！(点击即可跳转)
赛事链接：2024 iFLYTEK AI开发者大赛-讯飞开放平台2024 iFLYTEK AI开发者大赛-讯飞开放平台
https://challenge.xfyun.cn/h5/detail?type=role-element-extraction&ch=dw24_y0SCtd
登陆后点击报名。
Step2：申领大模型API！(点击即可跳转)
链接：https://console.xfyun.cn/app/myapp
官方会在报名成功后，立即发放星火大模型 Spark Max的 API 额度助力我们完成赛事
拿到的信息格式形如：
APPID：455*****
APISecret：Nz******Iz
APIKey：a8d******9f
Step3：30 分钟体验一站式 baseline！（点击即可跳转）
项目链接：https://aistudio.baidu.com/projectdetail/8095619
-
下载
output.json文件，上传到比赛链接，提交结果。
-
赛题方提供了184条真实场景的群聊对话数据以及人工标注后的字段提取结果，其中训练数据129条，测试数据 55条。按照各类字段提取的难易程度，共设置了1、2、3三种难度分数。待提取的字段以及提取正确时的得分规则如下： -
序号
字段名称
是否单值
是否可为空
难度分数
答案是否唯一
1
基本信息-姓名
是
是
1
是
2
基本信息-手机号码
是
是
1
是
3
基本信息-邮箱
是
是
1
是
4
基本信息-地区
是
是
1
是
5
基本信息-详细地址
是
是
1
是
6
基本信息-性别
是
是
1
是
7
基本信息-年龄
是
是
1
是
8
基本信息-生日
是
是
1
是
9
咨询类型
否
是
2
是
10
意向产品
否
是
3
是
11
购买异议点
否
是
3
是
12
客户预算-预算是否充足
是
是
2
是
13
客户预算-总体预算金额
是
是
2
是
14
客户预算-预算明细
是
是
3
否
15
竞品信息
是
是
2
是
16
客户是否有意向
是
是
1
是
17
客户是否有卡点
是
是
1
是
18
客户购买阶段
是
是
2
是
19
下一步跟进计划-参与人
否
是
2
是
20
下一步跟进计划-时间点
是
是
2
是
21
下一步跟进计划-具体事项
是
是
3
否
备注:
1）可为空的字段，当判定无相应信息、无法做出判断等情况，统一取值为空字符串
2）对于非单值字段，请使用list来表示
评价指标
测试集的每条数据同样包含共21个字段, 按照各字段难易程度划分总计满分36分。每个提取正确性的判定标准如下:
1）对于答案唯一字段，将使用完全匹配的方式计算提取是否正确，提取正确得到相应分数，否则为0分
2）对于答案不唯一字段，将综合考虑提取完整性、语义相似度等维度判定提取的匹配分数，最终该字段得分为 “匹配分数 * 该字段难度分数”
每条测试数据的最终得分为各字段累计得分。最终测试集上的分数为所有测试数据的平均得分。
我们 Baseline 选择使用大语言模型抽取的思路。
思考：如何让大语言模型理解我们的任务？
在使用大语言模型时，应该对需要完成的任务做一个规划整理。制定一个思考路线。比如我们信息抽取时，应该先理解群聊信息，然后定义抽取的内容，接着限定输出内容，最后将整理好的要求及待处理内容以promopt的形式交给大语言模型。
思考：如何规范抽取的输出？
-
定义规范的结构
-
明确抽取的数据格式
-
提前准备标准数据模版，将抽取到的数据匹配填充
-
对空值制定处理方案
