高质量AI数据服务铺路架桥,云测数据引领行业大模型训练新范式

大模型发展风起云涌,使得AI应用又成为了市场热点。但这场创新运动和上一轮AI热潮的背景不同,如今行业不缺技术、也不乏商业模式健康的玩家,最稀缺的资源,已然变成了高质量数据。大模型的模型从何而来?本质上,就靠海量数据的“喂养”。

不过,这个过程绝非输入输出那么简单,而是要从收集数据做起,经过系统性工程,在不断的训练微调中形成最终的成果,还要将其与应用场景进行适配,融入真实应用。通过“人工”的持续努力实现“智能”,其难度可想而知。

正因为如此,人工智能领域,才有越来越明显的“得数据者得天下”的特征。考虑到这一工作的投入与难度,普通企业显然难以自主完成建设。大模型时代,企业需要的新生产力,大概率得向专业人工智能数据服务商要答案。

今年9月,云测数据携“面向垂直行业大模型AI数据解决方案”亮相2023年中国国际服务贸易交易会(简称“服贸会”),为行业大模型的发展落地,带来了专业解法。

高质量AI模型,靠好数据“养”出来

OpenAI携GPT惊艳世界,对话式AI令许多用户耳目一新。但大模型的生产力并不只如此,从国内大厂的通用大模型上线,到海外市场涌现的营销、金融等领域的专业大模型,这轮热潮显然有着类似产业革命的味道,用曾经流行过的话术讲:千行百业或许都值得用大模型“重做一遍”。

不过,行业用大模型“重做”意味着,通用大模型并不适合企业直接应用,只有转化为行业大模型才更容易发挥生产力。大模型仍然构筑于“算力+数据”的底座上,算力可外购,数据则不是好迈的门槛。

一方面,各行各业的发展与AI大模型概念碰撞,落地的核心仍然是算法,而算法的质量又取决于数据的质量。对普通企业来说,配置专门的队伍进行AI数据工作难度大且性价比不高,且专业性并不一定能满足大模型建设的需求。没有高质量的AI数据养料,场景化AI应用将无从谈起。

同时,要处理的数据规模也是一大难点。信通院数据显示,OpenAI自 2020年推出GPT-3以来,超大预训练模型参数数量、训练数据规模每年增长300倍,普通企业显然很难拥有这样的能力。

但另一方面,像外购算力一样采购AI数据服务,也没有那么容易。

比如,行业大模型的AI数据来自应用场景,采集能力影响着最终的准确程度,这就要求服务商必须有丰富的场景化意识,了解行业需求;大模型更看重人机协作,需要在预训练后进行持续微调再融入场景,所以针对大模型进行的预训练环节,含有大量的垂直行业数据,考验服务商在不同环节的处理能力;而在整个过程中,为了提升把通用大模型转化为行业大模型的能力,数据服务商必定要有一整套完备的工具、系统和平台。

这样一来,无论是在收集标注等环节的效率,还是垂直行业海量数据集对质量的要求,都对大模型发展趋势下的AI数据服务提出了新的要求。行业的厉兵秣马,开启的是更深度的竞争。

据媒体披露,OpenAI成立8年来,花费高达10亿美元用于模型训练,可见要落地于垂直行业更会难上加难。预训练、强化学习、人工反馈,无一不是费时费力费资源的工作。只有真正专精的AI数据服务商,才能靠对业务的深入理解、对工具和能力的长期建设,形成规模、效率等多方面优势。也只有这样的第三方平台,才能贴合企业的垂直需求,做到高效、适用性强。

如今,专业AI数据服务商,已经成为破局大模型数据养料问题的关键角色。

全链条、多行业,云测数据深度护航行业大模型

对AI数据服务的质量、效率、场景化等方面的要求,本质上是因为AI技术需要深入行业。在深入行业的过程中,大模型所需要的行业数据更多,而面对于行业数据,有许多现实的要求必须满足。在数据处理环节,机器处理数据与人工处理两者如何结合确保质量与效率并行;在技术支持方面,数据处理工具的先进性、易用性、丰富性是否可能达到AI项目要求;在企业经营层面,科学的流程管理、完善的交付体系等能力建设是否具备先进性。

所以,市场要求AI数据服务商既要有专门的工具、能力和解决方案,又要能够提供千人千面且富有行业深度的数据解决方案,满足不同层次的需求。

云测数据去年发布了“面向AI工程化的数据解决方案”,今年则在延续既有优势的基础上,面向行业大模型建设中存在的普遍性问题,升级发布了面向垂直行业大模型AI数据解决方案。为行业大模型的发展提供从持续预训练、任务微调、评测联调测试到应用发布的端到端过程中的高质高效数据,从基础设施层面,打牢行业大模型的根基。

这种全链条能力,来自云测数据长期积累的经验与技术。一方面,云测数据长期深耕智能驾驶、智能家居、电商、智慧金融等领域,对场景的理解十分深入,而这大大提升了构建行业大模型、应用于场景的能力。

比如在智能驾驶领域,云测数据作为唯一一家训练数据服务代表厂商,参与《智能网联汽车场景数据图像标注要求与方法》《智能网联汽车激光雷达点云数据标注要求及方法》的编制工作,同为共同编制单位多为中国科学院自动化研究所、中国汽车技术研究中心、北京汽车研究总院等单位,可见云测数据的专业水平。

除了对专业场景的深入理解,云测数据的优势还在于拥有面向行业场景的数据采集能力和丰富数据集积累,通过其采集场景实验室可提供生物认证、智能座舱、家庭场景、语音交互等丰富的场景数据样本,覆盖图像、语音、文本等多模态类型,可以在广泛、持续的基础上,为行业大模型预训练提供赋能。

另一方面,云测数据在长期服务实践中,逐渐对需求进行解构,可以通过不同维度、不同形式的数据触点,基于客户需求进行定制化数据服务。并且,由于具有多维度的数据采集工具,以及丰富的数据交付经验,云测数据拥有与数据内容更新频率相匹配的订阅式采集能力,这就为适应场景的变化、适配用户需求的迭代打下了基础。

总结而言,作为专业AI数据服务商,云测数据已形成一套针对多模态、多任务需求,进行标准化、工程化数据服务的模式。在大模型深入千行百业的过程中,用高质量AI数据服务,促成高质量行业大模型的诞生。

用更高质量的数据服务,助力产业跑出加速度

无论哪种大模型,要转化为企业生产力,就要先具备融入生产流程、融合企业能力底座的条件。从“面向垂直行业大模型AI数据解决方案”的发展环节看,也就是全环节都要与企业需求契合,把数据的高质量作为一种标准去执行。

在持续预训练环节,云测数据通过前文提到的定制化场景化数据采集能力,以及持续订阅服务能力,在金融、电商、智能驾驶等领域,根据企业要求完成数据的采集、清洗、分类,做到数据的优中选优。其中,云测数据标注平台、工具支持集成API接口能力和科学的作业协同能力,在保证数据处理精度的前提下大大提高了数据流转效率。

在下游任务微调阶段,也就是对人机协作的优化上,云测数据始终坚持用更完善、灵活的标注工具,对多模态数据进行细致的微调,适配人机耦合的需求,让大模型更精准。公开数据显示,云测数据的标注平台最高交付精准度达到99.99%,并提供包含QA-instruct、prompt等文本类任务项目和多模态大模型的相关能力支持,竭力保证数据处理的成效。

而在联调灰度发布环节,云测数据充分展示了对专业化、场景化和业务系统集成的关注。

云测数据特定领域的专家池,对家居、驾舱等各类垂直场景具备深度了解,能够根据实际场景提出独特有效的交互内容。在RLHF(Reinforcement Learning from Human Feedback)过程中,靠人工专业性带来更高质量的反馈,提升最终的数据质量,放大模型价值。与此同时,通过对企业需求的解读,云测数据可以搭建真实场景实验室、基于特定场景的样本资源池,对行业大模型进行垂直领域的深度测试。

最后,云测数据提供标准API接口,通过以集成数据底座为核心的数据标注平台,一边输出经过多轮质检的数据,一边收集难例数据以回流完成清洗标注,让模型调优成为一个持续的进程,并对接各类业务系统,成为最终可以正式发布的产品。

据此,我们也可以认为,云测数据本质上已为有需求的用户打造了一套“保姆式”服务——有场景化数据采集能力和高精度专业数据标注能力,有针对多模态任务处理的先进数据处理平台,有嵌入用户业务系统的API工具和项目管理体系。落地行业大模型应用,从此不再可望不可及。

正如云测数据总经理贾宇航所说:“AI数据质量,决定着算法的精度,AI算法精度决定产品质量。”人工智能领域的顶尖学者吴恩达也表达过此观点,即人工智能的价值需要吸收标注的高质量数据而释放,高质量数据的增加,会催化人工智能更快发展。中国市场数据规模不可估量,市场前景广阔,竞争因此更重视质量。云测数据坚持的场景化、标准化、工程化,就像在帮助AI数据服务走向工业时代,让数据价值的释放像泉水一样,源源不断。

此前,“数据二十条”等政策层面激发数据要素活力、丰富数据应用场景优势的纲领,让数据市场如烈火烹油。大模型一出,更让企业视数据为新时代的“石油”。大模型发展的窗口期,自然也成为了AI数据服务突飞猛进的窗口期。

但最后,谁能在这条赛道跑得更远,最终要看能否为客户创造价值,跑通正循环。当前谈最终胜利还为时过早,但有一点可以肯定,对已经形成成熟解决方案的云测数据来说,红利期,已经开启了。

来源:松果财经

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/137951.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机竞赛 深度学习+opencv+python实现昆虫识别 -图像识别 昆虫识别

文章目录 0 前言1 课题背景2 具体实现3 数据收集和处理3 卷积神经网络2.1卷积层2.2 池化层2.3 激活函数:2.4 全连接层2.5 使用tensorflow中keras模块实现卷积神经网络 4 MobileNetV2网络5 损失函数softmax 交叉熵5.1 softmax函数5.2 交叉熵损失函数 6 优化器SGD7 学…

iOS“超级签名”绕过App Store作弊解决方案

一直以来,iOS端游戏作弊问题都是游戏行业的一大痛点。在当下游戏多端互通的潮流下,游戏作为一个整体,无论哪一端出现安全问题,都会造成更加严重的影响。因此,iOS端游戏安全保护也同样十分重要。 iOS独特的闭源生态&am…

ATFX汇市:美联储宣布维持利率不变,鲍威尔继续发表鹰派言论

ATFX汇市:今日凌晨02:00,美联储公布9月利率决议结果,宣布维持5.25%5.5%的联邦基金利率区间不变。2:002:05,美元指数从最低104.75飙涨至最高105.21,对应EURUSD的汇率从最高1.0727下跌至最低1.0674,跌幅53基点…

基础组件(线程池、内存池、异步请求池、Mysql连接池)

文章目录 1、概述2、线程池2、异步请求池3、内存池 1、概述 池化技术,减少了资源创建次数,提高了程序响应性能,特别是在高并发场景下,当程序7*24小时运行,创建资源可能会出现耗时较长和失败等问题,池化技术…

小谈设计模式(5)—开放封闭原则

小谈设计模式(5)—开放封闭原则 专栏介绍专栏地址专栏介绍 开放封闭原则核心思想关键词概括扩展封闭 解释抽象和接口多态 代码示例代码解释 优缺点优点可扩展性可维护性可复用性高内聚低耦合 缺点抽象设计的复杂性需要预留扩展点可能引入过度设计 总结 专…

软件工程第一次作业参考答案

题目 名词解释:软件危机、软件、软件工程、软件生命周期、瀑布模型、原型模型、增量模型、喷泉模型、敏捷过程模型。 答案 软件危机:软件危机是指在软件开发过程中所面临的一系列问题和挑战,包括成本超支、进度延误、质量不达标等。 软件…

ubuntu 22.04 服务器网卡无IP地址

ssh连接服务器连接不上,提示如下; 连接显示器,ip addr ls 命令查看IP地址,有网卡但没有IP地址 solution: sudo dhclient enp10s0用于通过 DHCP 协议获取网络配置信息并为名为 enp10s0 的网络接口分配 IP 地址,enp1…

TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事

TiDB 7.1.0 LTS 在前段时间发布,相信很多同学都已经抢先使用了起来,甚至都已然经过一系列验证推向了生产环境。面对 TiDB 7.1 若干重要特性,新 GA 的资源管控 (Resource Control) 是必须要充分理解、测试的一个重量级特性。对于常年奋斗在一线…

一个热爱自动驾驶但妥妥外行之人的思考-2023

时间节点为2023年9月,有效期当下及过往,不含未来。 这些年准确说从10年就很关注自动驾驶行业,包括物流/机器人/汽车等。 也和行业内,行业外的朋友做了大量的交流。点滴沟通放在如下链接中: 动态 - CSDN 一些过去的观…

新型智慧公厕“1+3+N”架构,平台、系统、应用的创新

近年来,随着人民生活水平的提高,人们对公共设施的要求也越来越高。其中,如厕问题一直是人们关注的焦点,但传统的公厕设施已经不能满足人们对干净、舒适、安全的需求,这促使了新型智慧公厕的诞生与应用,以如…

八月份跳槽了,历经华为测开岗4轮面试,不出意外,被刷了...

大多数情况下,测试员的个人技能成长速度,远远大于公司规模或业务的成长速度。所以,跳槽成为了这个行业里最常见的一个词汇。 前几天,我看到有朋友留言说,他在面试华为的测试开发工程师的时候,灵魂拷问三小…

c++ 纯虚函数、抽象类

一、 纯虚函数 抽象类 只要有一个纯虚函数&#xff0c;这个类称为抽象类 抽象类的特点 1、无法实例化 2、抽象类的子类&#xff0c;必须要重写父类中的纯虚函数&#xff0c;否者也属于抽象类 例子一 #include <iostream> #include <string.h> using namespa…

MySQL数据库详解 三:索引、事务和存储引擎

文章目录 1. 索引1.1 索引的概念1.2 索引的作用1.3 如何实现索引1.4 索引的缺点1.5 建立索引的原则依据1.6 索引的分类和创建1.6.1 普通索引1.6.2 唯一索引1.6.3 主键索引1.6.4 组合索引1.6.5 全文索引 1.7 查看索引1.8 删除索引 2. 事务2.1 事务的概念2.2 事务的ACID特性2.2.1…

单片机学习--->Keil多文件工程

1、在文件夹中创建新的文件夹 目录&#xff1a; App 文件夹&#xff1a;用于存放外设驱动文件&#xff0c;如 LED、数码管、定时器等。 Obj 文件夹&#xff1a;用于存放编译产生的 c/汇编/链接的列表清单、调试信息、 hex 文件、预览信息、封装库等文件。 Public 文件夹&#x…

蓝桥杯 题库 简单 每日十题 day3

01 约数个数 题目描述 本题为填空题&#xff0c;只需要算出结果后&#xff0c;在代码中使用输出语句将所填结果输出即可。 1200000 有多少个约数&#xff08;只计算正约数&#xff09;。 解题思路 枚举&#xff0c;从1开始一直到1200000本身都作为1200000的除数&#xff0c;…

Spring 6.0 新特性

文章目录 Spring的发展历史AOTGraalVMSpringBoot实战AOTRuntimeHints案例分析RuntimeHintsRegistrar SpringBoot中AOT核心代码 Spring的发展历史 AOT Spring 6.0的新特性Ahead of Time&#xff08;AOT&#xff09;编译是一种技术&#xff0c;可以提前将Spring应用程序编译成原…

JWT安全及案例实战

文章目录 JWT 安全1. Cookie2. Session3. Token4. JWT4.1 JWT概述4.1.1 JWT头4.1.2 有效载荷4.1.3 签名哈希4.1.4 通信流程 4.2 JWT 漏洞描述4.3 JWT 漏洞原理4.4 JWT 安全防御 5. WebGoat 靶场实验5.1 第四关5.2 第五关5.3 第七关 越权与逻辑漏洞 Web漏洞点只有一个入口&#…

Direct3D融合技术

该技术能使我们将当前要进行光栅化的像素的颜色与先前已已光栅化并处于同一位置的像素的颜色进行合成&#xff0c;即将正在处理的图元颜色值与存储在后台缓存中的像素颜色值进行合成(混合)&#xff0c;利用该技术我们可得到各种各样的效果&#xff0c;尤其是透明效果。 在融合…

云渲染是怎么做到不排队的

云渲染排队严重影响了用户的使用体验&#xff0c;还会导致用户的流失&#xff0c;因此解决渲染不排队的问题对于云渲染平台来说是非常重要的。而作为云渲染平台&#xff0c;自己的机器基本都是固定的&#xff0c;哪如何解决用户渲染排队的问题呢&#xff1f;我们一起来看看全国…

天地图绘制区域图层

背景&#xff1a; 业务方要求将 原效果图 参考效果图 最终实现效果 变更点&#xff1a; 1.将原有的高德地图改为天地图 2.呈现形式修改&#xff1a;加两层遮罩&#xff1a;半透明遮罩层mask区域覆盖物mask 实现过程&#xff1a; 1.更换地图引入源 <link rel"style…