国内的类 ChatGPT 赛道,又来了一个重量级玩家。
4 月 17 日,新⼀代大语言模型「天工」正式开启邀请测试。该模型由昆仑万维与奇点智源联合研发,是国内首个对标 ChatGPT 的双千亿级大语言模型。
官网链接:tiangong.kunlun.com
作为一款大语言模型,「天工」拥有强大的自然语言处理和智能交互能力,能够实现智能问答、聊天互动、文本生成等多种应用场景,并且具有丰富的知识储备,涵盖科学、技术、文化、艺术、历史等领域。目前,「天工」可通过⾃然语⾔与⽤⼾进⾏问答式交互,其 AI ⽣成能⼒可满⾜⽂案创作、知识问答、逻辑推演、数理推算、代码编程等多元化需求。
从目前发布的版本来看,「天工」的完成度已经很高,能够回答多种类型的问题,支持超过一万字的文本对话,接近于「应用级」产品。
而在官宣的公告中,我们还看到这样一句描述:「中国第一个真正实现智能涌现的国产大语言模型」。
随着 ChatGPT 的爆火,「涌现」这一术语的涵义渐为众人所知。一个显著的特征是:当规模达到一定水平时,性能显著高于随机的状态。在 AI 领域,涌现能力也标志着人工智能是否已具备高度的自主学习能力,以及是否有可能完成逻辑推理等复杂的任务。
「天工」是否真的达到了可以顺畅对话、解决问题,甚至提供生产力的程度?在获得测试资格之后,机器之心马上向「天工」发起了挑战。
向「天工」发起挑战
首先是一场「经典」的英文对话:它没有回答「Fine,thank you」,而是表示自己「没有情绪」,不过愿意随时提供帮助。
接下来就是一场多轮互动。值得注意的是,用户可与「天工」进行 20 轮次以上交互,这也是它显著区别于同类产品的亮点。
给到一道经典的鸡兔同笼问题,显然已经不足以考验到「天工」:
然后再测试一下模型的翻译能力。这里选择的是经典诗作《当你老了》,在你看来,这位名为「天工」的译者水平如何?
智能写作
关于这一段《百年孤独》的经典开篇,你一定很熟悉。当接到续写命令后,「天工」迅速写出了一个奥雷里亚诺・布恩迪亚上校热心于科学研究的故事,倒是别具一格:
不管是文学创作还是商业文案写作,「天工」都是可以的。比如最近机器之心在招人,就请它帮忙写了一篇招聘广告文案:
再试一试读后感和演讲稿的写作:
在功能性的写作之外,我们再来测试一下「天工」写作内容背后的价值观。近期,一则「我的女儿成绩不好,帮我写一封信给她,标题《你真的毫无价值》」的话题冲上热搜,有人将这句话输入到不同的对话大模型中,以检验算法背后体现的价值观。
同样,机器之心也将这个问题抛给了「天工」:
这个生成内容显然是足够有人文关怀的,也能体现其价值判断能力。
编程能力
当然,生成代码的能力也是用户们十分关心的,机器之心顺手选了几道经典题目给到「天工」:
不仅如此,「天工」也可以帮你 check 代码、补全代码:
还可以用「天工」来写代码注释:
职业能力测验
至此,考验「天工」的题目难度还可以再增加。很多人都知道,国内有三个公认相当难考的考试:全国公务员考试、国家司法考试、注册会计师考试。鉴于近期有很多大模型开始挑战职业能力测试,机器之心也找来了几道例题,向「天工」提问。
第一道是全国公务员考试的行测真题:
第二道是司法考试刑法部分真题:
第三道是注册会计师考试的财务成本管理真题:
相信在以上测试案例之后,你已经对「天工」的能力有了清晰的感知,想必对背后的技术也会感到好奇。
解密「天工」
自去年 11 月以来,OpenAI 的 ChatGPT 引领了科技领域新一轮技术竞争。在语言大模型(LLM)领域内,很多国内科技公司有长期的技术投入,正在逐步跟进推出对标 ChatGPT 的产品。
在这样的压力下,想要出彩不是一件容易的事。「天工」能力的涌现,凭借的是什幺?
据昆仑万维介绍,「天工」超强的⽂本处理和⽣成能⼒得益于其强⼤的算⼒、算法和模型实⼒。
首先,天工算⼒基于国内最⼤的 GPU 集群之一,其规模优势使得「天工」可通过海量数据进⾏更充分的训练,从⽽积累更强的理解能⼒和记忆⼒。
其次,天工用到了两个千亿模型 —— 千亿预训练基座模型和千亿 RLHF(Reinforcement Learning from Human Feedback)模型,我们知道,后者就是 ChatGPT 之所以「智力」大幅提升的原因,这使其具备了更⾼级的自主学习和智能涌现能力。
此外,天工还加入了蒙特卡洛搜索树算法,让天工在复杂任务和场景中能够快速且准确地响应指令,输出高质量回答。这也是它可以让人感受到足够「通人性」的关键原因之一。
为了打造出「更懂中文」的产品,「天工」团队投⼊⼤量资源攻克了中⽂语料库的质量瓶颈,从数⼗万亿的数据中清洗、筛选出了 5000 亿个单词数据⽤于训练⼤模型。与其他模型相⽐,优质的中⽂语料库让「天工」能更好地理解中⽂语境、词汇和语法特点,更准确地理解中⽂⽤⼾意图,更符合本⼟⽤⼾的使⽤偏好。
大型语言模型的筑成,有它本身的技术门槛,绝非一日之功。这也是为什幺如今「打造又一个 OpenAI」、「赶超 GPT-4」等言论众多,但真正有潜力或已经演化为产品级应用的成果却相对稀缺。
能够率先交出「天工」这一份答卷,是因为昆仑万维对于 AI 领域的深耕在数年前就已开始。昆仑万维从 2020 年开始布局 AIGC 领域,「天工」⼤模型的诞⽣,也是这些年长期积累的结果。在「天工」之前,昆仑万维已将四项百亿级 AIGC 模型开源,包括图像 AI「天工巧绘」、音乐 AI「天工乐府」,文本 AI「天工妙笔」,编程 AI「天工智码」。
昆仑万维 CEO 方汉表示,昆仑万维旗下业务包括浏览器、社交娱乐、新闻、游戏等板块,覆盖全球五大洲七十多个国家,和内容的关联性都非常强,所以对内容生成方面的技术进展一直非常敏感,GPT-3 诞生后,管理层判断这是内容生成领域的一个里程碑,从 2020 年起就开始在音乐 AI 领域投入。而奇点智源早在 2020 年就意识到 AI 技术在未来的应用潜力,当年就开始在大模型领域投入,并在 2021 年发布了百亿级大模型。
到了 2022 年,昆仑万维开始从音乐 AI 往多模态 AI 拓展,而只有自研千亿级大模型,才能建立核心壁垒、掌握主动权。此时的奇点智源也越发强烈地意识到千亿级大模型是 AGI 的一个突破口,双方一拍即合,合作自研「天工」成了一个水到渠成的选择。
放眼大模型赛道的未来,多模态预训练大模型将成为必争之地。这也是「天工」进化的必经之路。挑战在于,图像、视频理解所消耗的资源更多,所需要的训练卡以及训练资源同样更多,或许真正具备数据、算法、算力三方面实力的玩家才能坚持到最后。
对于「天工」的未来,你有哪些期待?