🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎
📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃
🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝
📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】 深度学习【DL】
🖍foreword
✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。
如果你对这个系列感兴趣的话，可以关注订阅哟👋
文章目录
😎 来自网络的新闻
📚 来自网络的指南
🔬 有趣的论文和知识库
😎 来自网络的新闻
- 英特尔宣布推出具有 1 万亿参数的生成式 AI 模型 Aurora genAI。英特尔宣布推出具有 1 万亿参数的 Aurora genAI 模型，该模型将根据科学文本和结构化科学数据进行训练，以针对癌症研究、系统生物学、宇宙学、高分子化学、材料和气候科学。它将由 Aurora 超级计算机提供动力，并有可能提出实验建议并加速药物设计目标。
- 为 1,100 多种语言推出语音转文本、文本转语音等功能。Meta 的大规模多语言语音项目使用 wav2vec 2.0 和独特数据集的自我监督学习，使 AI 能够理解和生成超过 1,100 种语言的语音，在降低字符错误率和增加语言覆盖范围方面优于现有模型。
- 谷歌开始让用户进入其 AI 搜索实验。谷歌的搜索实验室现在开放进行实验，在搜索结果的顶部提供人工智能生成的摘要，这些摘要在全球范围内以多种语言兼容，可能会改变网络的商业模式并影响搜索引擎优化。
- 使用 AI 发现的新型超级细菌杀灭抗生素。研究人员发现了一种新的抗生素，使用 AI 来识别一种化合物，该化合物可以杀死鲍曼不动杆菌且几乎没有耐药迹象，这证明了 AI 在识别潜在的新抗生素和加快发现新疗法方面的能力。
- 生成式 AI 初创公司 Anthropic 在 C 轮融资中获得 4.5 亿美元，用于推进下一代智能助理。Anthropic 获得了 4.5 亿美元的 C 轮融资，由 Spark Capital 领投，谷歌、Salesforce 和 Zoom 跟投，标志着主要科技公司对公司 AI 成就的投资。这笔资金将帮助 Anthropic 扩大其产品范围并开发下一代人工智能助手，有望在业务和客户体验方面进行变革性创新。
- 谷歌新的生成人工智能工具可以使产品图片更加生动。谷歌新推出的 Product Studio 使用生成式 AI 帮助购物商家定制产品图片并改进他们的广告活动，并集成到 Merchant Center 中以提供更多便利。
📚 来自网络的指南
- 如何在自定义数据集上像大型语言模型一样微调 GPT。Lit-Parrot 是由 Lightning AI 开发的一种基于 nanoGPT 的工具，它提供干净和优化的 LLM 实现，用于对自定义数据进行微调。它包括快速自适应、LLM 近似和用于降低成本的 LLM 级联。Lightning AI 提供有关安装、数据集准备和模型微调的分步指导。
- 使用位和字节、4 位量化和 QLoRA 使 LLM 更易于访问。引入 QLoRA，这是语言模型的 4 位微调突破，使聊天机器人 Guanaco 能够在 Vicuna 基准测试中实现惊人的 97% ChatGPT 性能，所有这些都在单个 GPU 上完成。QLoRA 使用一个冻结的 4 位基础模型，顶部带有适配器，通过创新技巧（包括 4 位 NormalFloat、分页优化器和双量化）实现内存效率。
- 欢迎来到LLM University。Cohere 的 LLM University 是一个新项目，提供有关 NLP 和大型语言模型的整体课程，适合初学者和高级学习者。该项目涵盖了 LLM 的架构、嵌入、相似性和注意力机制，并教会学习者如何将它们应用到语义搜索、文本生成和分类等真实场景中。为实际实施提供了大量代码示例。
- 游戏中的生成式 AI 革命。Stable Diffusion 和 Dreambooth 等生成式 AI 工具让艺术家能够在数小时内创作出高质量的图像，使创意工具大众化，并在游戏开发中承担更多风险，从而彻底改变了游戏行业。然而，熟练使用 AI 工具并训练 AI 以反映一致风格的艺术家的需求量很大。
🔬 有趣的论文和知识库
- Sophia：用于语言模型预训练的可扩展随机二阶优化器。Sophia 是一种用于随机优化的新型优化器，可以大幅降低预训练语言模型的成本。它以比以前的优化器少 50% 的步骤实现了相同的验证预训练损失，并且可以轻松集成到现有的训练管道中。
- 模仿专有 LLM 的虚假承诺。谷歌研究人员发现，虽然使用模仿模型改进较弱的语言模型最初可能会有所改善，但它仅限于训练数据大量支持的任务，无法弥补不受支持的任务的差距。研究人员建议，提高基础能力是改进开源语言模型的最佳方式。
- LLM作为事实推理者：来自现有基准及其他基准的见解。最近的一篇论文探讨了大型语言模型 (LLM) 在检测事实不一致方面的准确性。尽管一些 LLM 表现良好，但大多数都在复杂的公式中挣扎，表明当前基准存在问题。研究人员创建了新的 SUMM EDITS 基准，用于评估 LLM 检测事实不一致的能力。法学硕士与复杂的事实推理作斗争，揭示了他们推理和发现事实不一致的能力的差距。
- LIMA：少即是多的一致性。LIMA 是一种语言模型，可以在没有强化学习或人类偏好建模的情况下提高一致性，并接受了 1,000 个精选提示和响应的训练。在没有人工反馈的情况下，它在 43% 的情况下表现优于 GPT-4，并强调了预训练相对于大规模指令调整和强化学习的重要性。
- 用语言模型推理就是用世界模型进行规划。Reasoning via Planning (RAP) 框架使用蒙特卡洛树搜索使大型语言模型能够执行有效的规划并改进现有推理，在计划生成、数学推理和逻辑推理等任务中优于其他模型，计划相对改进 33%生成设置。该框架有可能提高大型语言模型在决策和运动控制方面的推理能力。
- BLIP-扩散：用于可控文本到图像生成和编辑的预训练主题表示。BLIP-Diffusion 是一种新的主题驱动的文本到图像生成模型，它使用预训练的多模式编码器进行高效缩放和快速微调，从而实现零样本生成和高达 20 倍的加速。它采用两阶段预训练策略，与 DreamBooth 相比，在零样本主题驱动生成方面表现出色，微调速度更快。无需额外培训即可将其扩展到其他应用程序。
