周鸿祎为360智脑招贤纳士；LLM时代的选择指南；Kaggle大语言模型实战；一文带你逛遍LLM全世界

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！

🤖 思否「齐聚码力」黑客马拉松，用技术代码让生活变得更美好

主页：https://pages.segmentfault.com/google-hackathon-2023

2023 Google 开发者大会（Google I/O Connect｜China）将于9月6日在上海拉开帷幕。以本次大会举办为契机，SegmentFault 思否黑客马拉松以「齐聚码力」为主题，召集开发者们在 32 小时内打造完善可行的解决方案。

报名参赛&创意提交的时间截至8月29日。进入决赛的上百位开发者们将在9月6日至9月7日齐聚一堂，共同挑战32小时将创意落地，完成创意脑暴、产品设计、代码实现和 Demo 展示。感兴趣可以预约路演直播和获奖队伍报道 ⋙ 了解更多

🤖 周鸿祎在微博发布求才令，360智脑持续招聘AI研发人才

360集团创始人周鸿祎在微博发布了「360智脑招聘」信息，发布了多个岗位需求，包括：算法工程师/高级专家/资深专家、数据挖掘工程师/专家、推理引擎资深专家、AI大模型方向产品经理、分布式大模型训练框架研发专家、大模型训练算法工程师等。

上方是6个岗位的名称、岗位职责和任职要求。招聘邮箱：liulixiong@360.cn 或 chenhui7@360.cn ⋙ 微博@周鸿祎

🤖 爱奇艺首次公布 AIGC 进展，剧本拆解准确率超90%，引入辅助内容运营

8月22日，爱奇艺发布了2023年第二季度财报，并首次公布了其在 AIGC 方面取得的进展。

内部数据显示，目前「引入AIGC辅助剧本评估」对场景和人物拆解的准确率超过90%，有效提升了在剧本评估、预算规划和资源管理等方面的效率。

爱奇艺搭建的「星罗剧情理解平台」实现了对影视剧分钟级的理解，可以自动生成剧情对应片段及剧情看点，显著提升了搜索的精准度。

以目前热播综艺「乐队的夏天3」第一期大张伟表演的经典摇滚歌曲「静止」为例，用户只需在爱奇艺App内输入「大张伟」，就可以通过搜索联想词直接进入这一经典的舞台表演时刻 ⋙ 爱奇艺行业速递

🤖 阿里巴巴国际站发布首个全链路外贸AI产品，外贸行业首个AI应用落地

8月24日，在阿里巴巴跨境浙商大会上，国际站总裁张阔发布了「生意助手」和「OKKI AI」两项服务，给每个商家都配上了AI助手，这也是首个在外贸产业落地的AI应用。其中，国际站商家可以使用「生意助手」，而「OKKI AI」是面向全行业所有商家开放，让所有外贸人都可以借助AI开启外贸新生意。

这两项AI服务可以帮助商家高效完成外贸生意所有环节，覆盖智能商品发布与管理、市场分析、客户接待、视频聊天实时翻译、企业管理等多项运营的提效功能。

通过这套AI产品，即便不懂外语、没有经验、缺乏专业人才，也都能在AI的辅助下顺畅地与海外客户交流、发布符合海外市场趋势的商品，完成外贸的各个环节 ⋙ 阿里巴巴国际站

🤖 选择你的道路：LLM 时代指南

这是一篇讨论大语言模型 (LLM) 时代对自然语言处理 (NLP) 研究方向产生影响的文章。文章从「中间层消亡」引入，指出ChatGPT这类端到端模型直接逼近高级任务，使得许多传统的中间任务 (如词性标注等) 变得无用武之地，同时也压缩了模型结构、损失函数等中间训练环节。

既然中间层消亡了，那该往哪里去呢？作者整理「向下」「向上」「艰难之路」这三条出路：

🔔 向下

Capability：可以理解为如何训练出性能足够强大的基座模型，关注数据、Tokenizer、训练技巧等

Deployment：可以理解为怎么把获得的模型进行部署和高效使用，关注降低推理参数量、降低实际计算量、优化内存访问、解码技巧等

Infrastructure：可以理解为怎么给训练同学提供好用的软件硬件训练框架，关注分布式训练算法、硬件利用率优化、卡的管理和测试等

🔔 向上

Alignment：让强大的基座模型对齐人类的意图和价值观，关注SFT、 RLHF、Scalable Oversight、测试模型的哪里会出现 misalignment 等

Agents：构建辅助人类的智能体，门槛不高，关注 Prompt Engineering、Agent 系统架构设计、外部能力接入等

Applications：LLM 在各个领域的应用，关注领域知识、对 LLM 各部分功能的了解、包含领域洞见的 Prompt

🔔 艰难之路

Theory：基于底层理论数学推导，获得一套理论公式后，接着去指导实际实验，需要扎实的数学物理基础

Interpretability：解释大模型的内部机制，目前进展有限，OpenAI 和 Anthropic 较前沿

作者文笔超级有意思！把前沿和艰深的内容解释得幽默通俗，非常推荐 ⋙ 阅读原文

🤖 带你逛遍 LLM 全世界，追赶到领域的发展前沿

作者将7月末的一场演讲整理成了图文，非常详细地介绍了近年来大语言模型领域的发展历程、技术原理、以及各类语言模型地使用技巧。如果你想全面了解这个飞速发展的领域，这篇文章是很好的选择：

什么是 LLM

一个生动的比喻：LLM 可以理解为3年前外星人遗落地球的一个U盘，人类一直用棍子戳来戳去试图了解它是什么、如何工作

LLM 本质上是一个文件 (例如 Vicuna 7B模型是一个 4.2GB的文件)

LLM 也可以看作是一个函数，可以完成文本生成，并且回答给定的问题

LLM是如何工作的

LLM 的工作原理是预测句子的下一个词，就像手机键盘会根据前文预测下一个词一样

大型 LLM 模型需要训练海量数据，需要大量计算资源

LLM预计的不仅是词，而是 1-30000 整数表示的词符，这可能带来语言偏见

LLM 发展的简要时间线

简要介绍了LLM发展历史，从2015年OpenAI成立，到2017年Transformer架构问世，以及后续GPT-1/2/3等模型的发布

2022年5月有论文发现了 GPT-3 的新功能，2022年11月ChatGPT推出则是一个分水岭

当前最优秀的 LLM 工具

推荐了ChatGPT (速度快)、GPT-4 (功能强)、Claude 2 (文本长度长)、Bard (基于PaLM) 和Llama 2 (领先的开源模型) 等当前较好的LLM

使用 LLM 的技巧

提供了一些使用技巧，比如注意模型的训练截止时间 (2021年9月)、注意输入文本长度限制、避免 hallucination 等

要建立正确的心理模型，理解其良莠不齐的输出

使用 LLM 进行编程

讨论了 LLM 在编程方面的应用，包括解释术语、命名 (提供多个选项)、API设计等

作者通过 LLM 提高了4-5倍的编程效率，并且展示了通过 LLM 生成测量文件大小脚本的示例

基于 LLM 我们可以构建什么

Giving them access to tools：基于ReAct模式，可以给 LLM 提供外部工具 (如Wikipedia) 的访问权限；作者展示了通过英文指令来「编程」控制 LLM 的示例

Retrieval augmented generation：使用搜索引擎为 LLM 提供额外上下文信息，辅助 LLM 生成答案；作者基于该方法构建了问答demo

Embeddings and vector search：词向量可表示文本语义，用于相似文本的向量空间搜索；作者介绍了词向量相关技术

ChatGPT Plugins

ChatGPT插件可以访问外部API，提供额外能力

作者构建了一个访问 Datasette API 的插件 Demo，并讨论了可能的陷阱

ChatGPT Code Interpreter

该工具让ChatGPT可以运行代码，解决 hallucination问题

作者通过它生成了Mandelbrot分形动画

LLM 的训练方式

LLaMA training data：LLaMA使用了大量爬虫、GitHub等数据，其中4.5%是Books3的数据集，包含大量侵权书籍内容

Reinforcement learning from human feedback：介绍了该训练方法对提高 LLM 质量的重要性

Openly licensed models

讨论了 Llama2 等开源 LLM 模型的情况，大多数模型发布时的许可并不是「开源」的，往往带有一大堆额外的限制

作者也介绍了开源社区无视许可证限制进行fine-tuning的现状

My LLM utility

https://llm.datasette.io/en/stable

这是作者开发的 LLM 命令行工具，可以实现生成release note等功能

Prompt injection

探讨了该安全问题， LLM 是易受攻击的；作者提出了该攻击的例子并链接了相关文章 ⋙ 阅读原文

🤖 云启资本「AIGC + Game」洞察， LLM 在游戏中的新潜力

这是云启资本与硅谷AI社群、Xbox/Riot Game/腾讯/Inworld多位行业专家/游戏创业者/投资人等的干货洞察，总结了AI正在为游戏行业带来的各个环节的范式革新。

游戏是内容制作的集大成者，越来越多来自AI、游戏、创意等不同背景的创业者正在进入这个领域。而多模态生成式AI的飞速迭代，使得游戏正在成为新的泛娱乐形式。

🔔 一、AIGC+游戏：新应用

资产生成

AI工具的出现大幅提高了游戏资产生成效率 (文中例子的综合成本减少10%左右)

很多游戏大厂已有AIGC管线投入使用中 (如网易)；硅谷已有多家创业公司切入赛道，为开发者提供游戏资产生成平台 (如Scenario、Kaedim、NVIDIA GET3D)

组织架构

AI改变了工作流，极大降低了「创意审核」的门槛和沟通成本，将更多资源转向创意领域，有些工作室已经将原本3个月的工作量压缩到了1周内

AI让「多面手」员工能够全面释放创造力，10+员工的小团队就可以全部完成原本需要几百几千人的大项目

游戏设计思路

核心仍是「让游戏好玩」，游戏开发者面对的最重要的问题仍然是玩家究竟在游戏里寻找什么，如何吸引更多新玩家、并提高粘性

当下可以研究「新技术带来了哪些设计思路上的新玩法」，例如在交互中生成奇幻世界、将现有的公共IP小说作品改编成在线社交角色扮演游戏等

运营链条

AI对于游戏行业的改变，还覆盖到了发行、运营、营销等环节，使用AI工具提升效率，比如后台的数据分析如何直接连接至生产和设计等

🔔 二、AI Agent 的新用法

AI Agent 的进化正逐渐打破游戏的既有设计理念，为游戏开发者提供了新的玩法思路

AI Agent 大幅提升 NPC 的交互、记忆、情感表现能力，极大提高玩家的「参与感」(例如网易「逆水寒」)

AI Agent 也已经被用来进行自动化测试，替代人工跑通所有关卡

🔔 三、UGC 的新玩法

UGC 是游戏运营的核心环节，AIGC 工具整体拉低了创作门槛，有利于 UGC 社区内容的蓬勃发展

当AI工具的「可即性」就像短视频拍摄一样简单时，游戏就有机会成为一个媒介平台，吸引屏幕关注时长 (类比抖音)

🔔 四、新探索，新问题

游戏是一个高度数字化、结构化的场景，几乎是大模型的最佳Playground，想象空间被无限拉高，也出现了新的问题

成本和算力仍然是最大的掣肘，大模型的「通用性」和「扩展性」也还没实现，商业模式有待开拓，生态仍在早期 ⋙ 阅读原文

🤖 Kaggle Notebook 大语言模型实战，编程实例带你搞定 GPT

Kaggle 举办的AI竞赛「LLM Science Exam」，目的是测试和比较不同语言模型在科学领域的知识理解和推理能力，参赛队伍需要提交一个可以自动解答这些科学问题的语言模型。

在开始训练我们自己的模型之前，学习一些大语言模型的基础知识是非常必要的！这篇Kaggle教程详细介绍了大语言模型的定义、发展历史、典型应用等相关知识，提供了在 Colab 上体验 LLM 的示例，以及如何在 Kaggle 平台上使用 LLM！

导言和设置：文章导入OpenAI模块，并详细展示了创建OpenAI账号、获取密钥、设置认证等步骤的代码，让读者可以清晰了解在 Kaggle Notebook 中完成调用API准备的全过程

使用 OpenAI API：给出了不同模型 (text-davinci-003、code-davinci-002等) 调用示例代码，并打印出完整的请求URL，让读者看到参数设置的细节，并且比较了各模型的区别和优劣

有任何错误的回答吗：使用代码调用API生成回答，检查语法、事实错误，像语言模型提问，验证其回答的错误

使用 Bing 进行更深入的探究：编写搜索引擎查询代码，将搜索结果与 LLM 回答进行对比，发现 LLM 回答的事实谬误

GPT-3.5基准精度：给出各种Prompt的代码实现，计算不同Prompt下回答的准确率，直观展示 Prompt Engineering 的重要性

更好的提示和对话：构建多轮对话代码，改变Prompt的说法，让LLM逐步改善回答

对回答进行评分：用 Python 建立打分函数，评价回答质量,并作图展示不同 Prompt 的分数分布，直观反映代码的可视化效果 ⋙ 学习教程 | LLM Science Exam