人工智能大模型LLM开源资源汇总(持续更新)

说明

目前是大范围整理阶段,所以存在大量机翻说明,后续会逐渐补充和完善资料,减少机翻并增加说明。

Github上的汇总资源(大部分英文)

awesome-production-machine-learning

此存储库包含一系列精选的优秀开源库,可帮助您部署、监控、版本化、扩展和保护生产机器学习。您可以通过观看此 github 存储库来了解最新信息。此外,我们还提供了一个搜索工具包,可帮助您快速浏览工具链。如下图:
在这里插入图片描述
工具包:https://huggingface.co/spaces/zhiminy/Awesome-Production-Machine-Learning-Search

数据处理

data-juicer

Data-Juicer 是一个一站式多模式数据处理系统,可以使数据质量更高、更丰富、更易于LLMs理解。
阿里云人工智能平台(PAI)引用了他们的工作,并将Data-Juicer集成到其数据处理产品中。 PAI是一个AI Native大模型和AIGC工程平台,提供数据集管理、算力管理、模型工具链、模型开发、模型训练、模型部署和AI资产管理。有关数据处理的文档,请参阅: PAI-大型模型的数据处理。
Data-Juicer 正在积极更新和维护。我们将定期增强和添加更多功能、数据配方和数据集。
https://github.com/modelscope/data-juicer

datatrove

通过提供一组与平台无关的可自定义管道处理块,将数据处理从脚本疯狂中解放出来。
https://github.com/huggingface/datatrove

dolma

用于生成和检查 OLMo 预训练数据的数据和工具。
https://github.com/allenai/dolma

NeMo-Curator

用于数据管理的可扩展工具包。
https://github.com/NVIDIA/NeMo-Curator

dataverse

数据宇宙。关于数据、数据科学和数据工程。
https://github.com/UpstageAI/dataverse

EasyInstruct

一个易于使用的 LLM 指令处理框架。
https://github.com/zjunlp/EasyInstruct

data-prep-kit

用于 LLM 应用程序构建器数据准备的开源项目。
https://github.com/IBM/data-prep-kit

dps

多语言数据处理系统。
https://github.com/EleutherAI/dps

LLM 训练/微调

nanoGPT

用于训练/微调中型 GPT 的最简单、最快的存储库。
https://github.com/karpathy/nanoGPT

LLaMA-Factory

用于对 100+ LLM 进行高效微调的 WebUI。
https://github.com/hiyouga/LLaMA-Factory

unsloth

微调Llama 3.2、Mistral、Phi和Gemma LLMs的速度提高2-5倍,同时内存减少80%。
https://github.com/unslothai/unsloth

peft

PEFT: 最先进的参数高效微调。

llama-recipes

用于微调Meta Llama3的脚本,使用可组合的FSDP和PEFT方法覆盖单/多节点GPU。
https://github.com/huggingface/peft

litgpt

20+ 高性能 LLM,具有用于大规模预训练、微调和部署的配方。
https://github.com/Lightning-AI/litgpt

Megatron-LM

正在进行的研究大规模训练变压器模型。
https://github.com/NVIDIA/Megatron-LM

trl

使用强化学习训练 transformer 语言模型。
https://github.com/huggingface/trl

LMFlow

一个用于微调和推理大型基础模型的可扩展工具包。适合所有人的大型模型。
https://github.com/OptimalScale/LMFlow

gpt-neox

基于 Megatron 和 DeepSpeed 库的 GPU 上模型并行自回归转换器的实现。
https://github.com/EleutherAI/gpt-neox

torchtune

用于 LLM 微调的 Native-PyTorch 库。
https://github.com/pytorch/torchtune

xtuner

一个高效、灵活且功能齐全的工具包,用于微调 LLM (InternLM2, Llama3, Phi3, Qwen, Mistral, …)。
https://github.com/InternLM/xtuner

torchtitan

用于大型模型训练的原生 PyTorch 库。
https://github.com/pytorch/torchtitan

nanotron

极简大语言模型 3D 并行训练。
https://github.com/huggingface/nanotron

LLM 服务和推理

ollama

启动并运行 Llama 3.1、Mistral、Gemma 2 和其他大型语言模型。
https://github.com/ollama/ollama

gpt4all

GPT4All:在任何设备上与本地 LLM 聊天
https://github.com/nomic-ai/gpt4all

llama.cpp

C/C++ 中的 LLM 推理
https://github.com/ggerganov/llama.cpp

FastChat

一个用于训练、服务和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布存储库。
https://github.com/lm-sys/FastChat

vllm

用于 LLM 的高吞吐量和内存高效推理和服务引擎。
https://github.com/vllm-project/vllm

guidance

用于控制大型语言模型的指导语言。
https://github.com/guidance-ai/guidance

text-generation-inference

大型语言模型 Text Generation Inference
https://github.com/huggingface/text-generation-inference

TensorRT-LLM

TensorRT-LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最先进优化的 TensorRT 引擎,以在 NVIDIA GPU 上高效执行推理。
https://github.com/NVIDIA/TensorRT-LLM

SGLang

是适用于大型语言模型和视觉语言模型的快速服务框架。
https://github.com/sgl-project/sglang

LMDeploy

是一个用于压缩、部署和提供 LLM 的工具包。
https://github.com/InternLM/lmdeploy

torchchat

在服务器、桌面和移动设备上本地运行.
https://github.com/pytorch/torchchat

RouteLLM

一个用于服务和评估 LLM 路由器的框架 - 在不影响质量的情况下节省 LLM 成本!
https://github.com/lm-sys/RouteLLM

LightLLM

是一个基于 Python 的 LLM(大型语言模型)推理和服务框架,以其轻量级设计、轻松的可扩展性和高速性能而著称。ModelTC
https://github.com/ModelTC/lightllm

LLM 防护/安全

NeMo-GuardrailsNeMo Guardrails
是一个开源工具包,用于轻松地将可编程护栏添加到基于 LLM 的对话系统中。
https://github.com/NVIDIA/NeMo-Guardrails

guardrails

向大型语言模型添加 guardrail。
https://github.com/guardrails-ai/guardrails

PurpleLlama

用于评估和改进 LLM 安全性的工具集。
https://github.com/meta-llama/PurpleLlama

llm-guard

用于 LLM 交互的安全工具包。
https://github.com/protectai/llm-guard

LLM开发和示例文档

openai-cookbook

使用 OpenAI API 的示例和指南。

anthropic-cookbook

一组笔记本/食谱,展示了一些使用 Claude 的有趣且有效的方法。

gemini-cookbook

使用 Gemini API 的示例和指南。

Phi-3CookBook

这是一本用于 Phi-3 入门的 Phi-3 书籍。Phi-3 是 Microsoft 开发的一系列开放式 AI 模型。

amazon-bedrock-workshop

这是专为 Amazon Bedrock(一种基础模型服务)设计的研讨会。

mistral-cookbook

Mistral Cookbook 包含由 Mistralers 和我们的社区以及我们的合作伙伴提供的示例。

gemma-cookbook

来自 Google 的 Gemma 开放模型的指南和示例集合。

amazon-bedrock-samples

此存储库包含供客户开始使用 Amazon Bedrock 服务的示例。这包含所有可用基础模型的示例

cohere-notebooks

适用于 Cohere 平台的代码示例和 Jupyter 笔记本Cohere

upstage-cookbook

Upstage API 示例和指南

课程

generative-ai-for-beginners

18 节课,开始使用生成式 AI 进行构建Microsoft LLM课程,通过路线图和 Colab 笔记本进入大型语言模型 (LLM)。
https://github.com/microsoft/generative-ai-for-beginners

llm-zoomcampLLM

关于构建问答系统的免费在线课程DataTalksClub
https://github.com/DataTalksClub/llm-zoomcamp

llm-twin-course

免费学习如何使用LLMOps最佳实践构建端到端的生产就绪LLM和RAG系统:~源代码+12个实践课程
https://github.com/decodingml/llm-twin-course

LLM 基准测试

SWE-benchSWE-bench

是一个基准测试,用于评估从 GitHub 收集的真实世界软件问题上的大型语言模型。

MMAU (axlearn)

大规模多任务代理理解 (MMAU) 基准测试旨在评估大型语言模型 (LLM) 作为代理在各种任务中的性能。

mle-benchMLE-bench

是衡量 AI 代理在机器学习工程中表现的基准

WindowsAgentArena(WAA)

是一个可扩展的操作系统平台,用于多模态 AI 代理的测试和基准测试。Microsoft
DevAI (agent-as-a-judge)DevAI,一个由 55 个现实的 AI 开发任务和 365 个分层用户需求组成的基准测试。

natural-planNatural Plan

是自然语言中现实的规划基准,包含 3 项关键任务:旅行计划、会议计划和日历安排。

RAG增强检索

AutoGPT AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
langchain (LangChain) Build context-aware reasoning applications
dify (LangGenius) Dify is an open-source LLM app development platform. Dify’s intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
MetaGPT The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming
llama_index (LlamaIndex) LlamaIndex is a data framework for your LLM applications
AutoGen (Microsoft) A programming framework for agentic AI
Flowise (FlowiseAI) Drag & drop UI to build your customized LLM flow
mem0 (Mem0) The memory layer for Personalized AI
RAGFlow (InfiniFlow) RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.
crewAI (crewAI) Framework for orchestrating role-playing, autonomous AI agents. By fostering collaborative intelligence, CrewAI empowers agents to work together seamlessly, tackling complex tasks.
GraphRAG (Microsoft) A modular graph-based Retrieval-Augmented Generation (RAG) system
haystack (Deepset) LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data.
swarm (OpenAI) Educational framework exploring ergonomic, lightweight multi-agent orchestration. Managed by OpenAI Solution team.
Letta (Letta) Letta (fka MemGPT) is a framework for creating stateful LLM services.
llmware (LLMware.ai) Unified framework for building enterprise RAG pipelines with small, specialized models
TaskingAI (TaskingAI) The open source platform for AI-native application development.
AgentScope (ModelScope) Start building LLM-empowered multi-agent applications in an easier way.
pathway (Pathway) Python ETL framework for stream processing, real-time analytics, LLM pipelines, and RAG.
llama-stack (Meta) Model components of the Llama Stack APIs

  • llama-stack-apps (Meta) Agentic components of the Llama Stack APIs
    Qwen-Agent (QwenLM) Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
    Langroid (Langroid) Harness LLMs with Multi-Agent Programming
    AutoRAG (Markr Inc.) AutoML tool for RAG
    AgentOps (AgentOps-AI) Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integrates with most LLMs and agent frameworks like CrewAI, Langchain, and Autogen
    Lagent (InternLM) A lightweight framework for building LLM-based agents

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/487145.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 读取 Excel 表格并导出为 DBF 文件

以下是将上述代码封装为函数的版本。函数接收 input_excel_path、sheet_name 和 output_dbf_path 作为参数,按照需求读取 Excel 表格并导出为 DBF 文件。 封装函数代码 import pandas as pd import dbfdef excel_to_dbf(input_excel_path, sheet_name, output_dbf_…

【设计模式系列】策略模式(二十四)

一、什么是策略模式 策略模式(Strategy Pattern)是软件设计模式中的一种行为型模式。它定义了一系列算法,并将每一个算法封装起来,使它们可以互换使用,算法的变化不会影响使用算法的用户。策略模式让算法的变化独立于…

3.2 网络协议IP

欢迎大家订阅【计算机网络】学习专栏,开启你的计算机网络学习之旅! 文章目录 1 定义2 虚拟互连网络3 分组在互联网中的传送4 IPv4 地址 1 定义 网际协议 IP是 TCP/IP 体系中两个最主要的协议之一,也是最重要的互连网协议之一。IPv4 和 IPv6 …

酷柚易汛生产管理系统PHP+Uniapp

生产管理系统,帮助企业数字化转型,打造智能工厂,专业为生产企业量身开发的一套完整的生产管理系统。主要包含以下模块:购货模块、生产模块、仓库模块、资料模块,可配合酷柚易汛进销存无缝衔接使用。 产品理念: 共享功…

【Windows11系统局域网共享文件数据】

【Windows11系统局域网共享文件数据】 1. 引言1. 规划网络2. 获取必要的硬件3. 设置网络4. 配置网络设备5. 测试网络连接6. 安全性和维护7. 扩展和优化 2. 准备工作2.1: 启用网络发现和文件共享2.2: 设置共享文件夹 3. 访问共享文件夹4. 小贴士5. 总结 1. 引言 随着家庭和小型办…

记录ubuntu22.04重启以后无法获取IP地址的问题处理方案

现象描述:我的虚拟机网络设置为桥接模式,输入ifconfig只显示127.0.0.1,不能连上外网。,且无法上网,用ifconfig只有如下显示: 1、sudo -i切换为root用户 2、输入dhclient -v 再输入ifconfig就可以看到多了…

guava 整合springboot 自定义注解实现接口鉴权调用保护

文章目录 一、简要概述二、实现过程1. pom引入依赖2. 自定义注解3. 定义切面4. 定义权限检查逻辑 三、注解使用四、运行结果五、源码放送 一、简要概述 Guava Cache是一个全内存的本地缓存实现,它提供了线程安全的实现机制。我们借助expireAfterWrite过期时间设置和…

MQTT消息服务器mosquitto介绍及说明

Mosquitto是一个开源的消息代理软件,支持MQTT协议(消息队列遥测传输协议)。MQTT是一种轻量级的发布/订阅消息传输协议,专为低带宽、不可靠网络环境下的物联网设备通信而设计。以下是关于Mosquitto服务器的一些介绍和说明&#xff…

React 组件中 State 的定义、使用及正确更新方式

​🌈个人主页:前端青山 🔥系列专栏:React篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来React篇专栏内容React 组件中 State 的定义、使用及正确更新方式 前言 在 React 应用开发中,state …

DLL注入(AppInit_DLLs)

DLL注入(AppInit_DLLs) 一:概述 利用注册表进行dll注入,Windows操作系统的注册表默认是提供了AppInit_DLLs和LoadAppInit_DLLs两个注册表项的。打开我们的注册表编辑器,将要注入的DLL的路径字符串写入到AppInit_DLLs项目,然后将…

Spring Boot + Spring AI快速体验

Spring AI快速体验 1 什么是Spring AI主要功能 2 快速开始2.1 版本说明2.2 配置文件2.3 pom依赖2.3.1 spring maven仓库2.3.2 核心依赖 2.4 定义ChatClient2.5 启动类2.6 测试 3 参考链接 1 什么是Spring AI Spring AI是Spring的一个子项目,是Spring专门面向于AI的…

算法基础学习Day5(双指针、动态窗口)

文章目录 1.题目2.题目解答1.四数之和题目及题目解析算法学习代码提交 2.长度最小的子数组题目及题目解析滑动窗口的算法学习方法一:单向双指针(暴力解法)方法二:同向双指针(滑动窗口) 代码提交 1.题目 18. 四数之和 - 力扣(LeetCode&#x…

通义千问sft-甄嬛对话

流程步骤 https://www.datawhale.cn/activity/110/21/76?rankingPage1 按照上面的流程,准备好数据之后就可以直接对7b的模型进行指令微调了,整个流程不是很复杂,操作起来比较方便。但是发布服务等了较长时间,以为出了bug 结果展…

1-6 ESP32控制LED灯

1.0 LED简介 LED是英文 "Light Emitting Diode" 的缩写,中文翻译为发光二极管。它是一种能够将电能转化为光能的电子元件。LED是一种半导体器件,在通电时会发出可见光。和传统的白炽灯泡或荧光灯相比,LED具有诸多优点:高…

前端成长之路:HTML(1)

每个网页都会有一个基本的结构标签&#xff08;也称为骨架标签&#xff09;&#xff0c;页面内容也是在这些基本标签上书写。 基本结构标签&#xff08;骨架标签&#xff09; <html></html>标签是HTML标签&#xff0c;是页面中最大的标签&#xff0c;被称为根标签…

细说敏捷:敏捷四会之回顾会

在前面的分享中&#xff0c;我们已经梳理了计划会、每日站会和复盘会的召开要点&#xff0c;本篇我们再对Scrum敏捷四大仪式中的最后一个会议仪式 - 迭代回顾会 进行探讨 回顾会的目的和作用 回顾会因为和复盘会一般都放在迭代的最后一天&#xff0c;而且通常安排是相邻在一起…

重生之我在异世界学智力题(1)

大家好&#xff0c;这里是小编的博客频道 小编的博客&#xff1a;就爱学编程 很高兴在CSDN这个大家庭与大家相识&#xff0c;希望能在这里与大家共同进步&#xff0c;共同收获更好的自己&#xff01;&#xff01;&#xff01; 本文目录 引言智力题题目&#xff1a;《奇怪的时钟…

【模型对比】ChatGPT vs Kimi vs 文心一言那个更好用?数据详细解析,找出最适合你的AI辅助工具!

在这个人工智能迅猛发展的时代&#xff0c;AI聊天助手已经深入我们的工作与生活。你是否曾在选择使用ChatGPT、Kimi或是百度的文心一言时感到一头雾水&#xff1f;每款AI都有其独特的魅力与优势&#xff0c;那么&#xff0c;究竟哪一款AI聊天助手最适合你呢&#xff1f;本文将带…

【时时三省】(C语言基础)结构体内存对齐练习题

山不在高&#xff0c;有仙则名。水不在深&#xff0c;有龙则灵。 ----CSDN 时时三省 练习一 这个输出结果是8 练习二 这个输出结果是16 练习三 这个输出结果是32 上面的输出结果都是根据结构体对齐规则来计算的

【python】UTF-8编码

# -*- coding: utf-8 -*-import sys reload(sys) # This reloads the system default encoding setup sys.setdefaultencoding(utf-8) # Set the default encoding to utf-8 print(sys.getdefaultencoding())写在最后&#xff1a;若本文章对您有帮助&#xff0c;请点个赞啦 ٩…