关注并星标
从此不迷路
计算机视觉研究院
公众号ID|ComputerVisionGzq
学习群|扫码在主页获取加入方式
计算机视觉研究院专栏
作者:Edison_G
现在ChatGPT受到业内越来越多的关注,今天分享一些国内要实现该技术的难点,以及最后亲自感受体验。
一、国内有类似 ChatGPT 能力的模型吗?
高质量的数据
很多人都意识到了高质量数据对AI模型的重要性,但为什么没有中文高质量数据集呢?
1)没人。但是清洗数据是费时费力的苦活累活,博士、研究员们可没有时间和耐心去做,有那个时间为什么不找个清洗好的公开数据集,调调参数,搞几个trick,刷刷SOTA,发几篇顶会来的惬意。所有数据标注清洗都交给数据标注公司,或者低年级的学生去做,他们对数据完成什么任务,数据和任务关系,怎样的数据能训练出好模型知之甚少,怎么能建设出高质量数据集呢?数据集建设必须由训练模型的研究员或者工程师亲自参与,反复迭代。大模型时代,好数据比好模型重要N个数量级。
2)没利益。做科研的等着别人公开数据集,商业化公司又不愿意烧钱去build数据集。大多数科研人员连爬虫都不愿意写,反正有那么多公开数据集等着我去刷榜呢,为什么要做数据集。辛辛苦苦爬了一些数据,标了一些数据,赶紧发个文章领域内第一个XXX数据集,然后大家写文章引用起来。高质量的数据集和质量一般的数据集有差别吗?
训练大模型的能力
现在国内好多机构都在发布大模型,可真正有大模型训练经验的研究员和博士生有几个呢。Warmup到底做多久,梯度爆炸了怎么办,loss为什么不降反升,什么时候该回退到上个ckpt?给定同样的数据和网络,pretrain from scratch的时候会有各种意想不到的问题,真正能解决这些问题的人屈指可数。很多时候很多人可能都没意识到问题,或者意识到了都train了这么久了也不能从头再来就硬着头皮train完得了。OpenAI从GPT3开始在训练超大规模模型方面积累了大量的工程经验和tricks,这个是烧钱烧出来的宝贵财富。
谁能(来)funding?
OpenAI很烧钱,但幸运的是他们碰到了微软。一直很好奇如果OpenAI 2019年没有转型成LP,没有微软的支持,他还能不能做出GPT3,ChatGPT和马上要来的更惊人的GPT4?传说中的2.5万张卡不是谁都能funding的。国内的微软到底是谁?政府,投资机构,BAT等互联网公司,似乎没有一个机构能和微软一样有vision和耐心。
可以预见,短期内,很多机构会做中文ChatGPT,但大概率是烧钱做了半年一年,做到了ChatGPT 80%的能力,然后找几个Case宣称自己超越了ChatGPT,一顿PR,结果留下一个没人用的模型,差距被OpenAI越拉越大。
“此乃危急存亡之秋“,对前两天看到的ChatGPT分析的一片文章里的这句话深有共鸣。但现在谁能来扛旗说leading这样的一个项目呢?
作者:黄文灏BAAI
链接:https://www.zhihu.com/question/570713548/answer/2821681810
来源:知乎
二、亲自体验
误打误撞看到一个企业开放了OpenAI的ChatGPT接口,但是使用的时候,发现中文不太适应,就直接放弃该接口产品。
后来又发现一款比较简洁产品,就直接使用了一番:
然后最近比较火的是国产化,我就顺便问下这个机器人,看看他们机器人世界是怎么看这个趋势的:
我感觉这也是一个商机,目前已经有很多小程序开始调用ChatGPT接口,做成一个简易产品,试用后就是开始收费(收割韭菜),待技术发展更成熟,多家搜索引擎公司压力巨大,通过体验可以知道ChatGPT可以直接给你一个比较准确的答案,而不是成千上百页的推送,还有各种广告。我们要迈入下一个时代了,科技真的可以改变世界!
太疯狂了
© The Ending
转载请联系本公众号获得授权
计算机视觉研究院学习群等你加入!
计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!
扫码关注
计算机视觉研究院
公众号ID|ComputerVisionGzq
学习群|扫码在主页获取加入方式
往期推荐
🔗
用于吸烟行为检测的可解释特征学习框架(附论文下载)
图像自适应YOLO:恶劣天气下的目标检测(附源代码)
新冠状病毒自动口罩检测:方法的比较分析(附源代码)
NÜWA:女娲算法,多模态预训练模型,大杀四方!(附源代码下载)
实用教程详解:模型部署,用DNN模块部署YOLOv5目标检测(附源代码)
LCCL网络:相互指导博弈来提升目标检测精度(附源代码)
Poly-YOLO:更快,更精确的检测(主要解决Yolov3两大问题,附源代码)
ResNet超强变体:京东AI新开源的计算机视觉模块!(附源代码)