ChatGPT中文LLM相关的开源大模型资源汇总

文章目录

  • 前言
    • 1.文本LLM模型
      • 1.1 ChatGLM-6B
      • 1.2 ChatGLM2-6B
      • 1.3 Moss
      • 1.4 Chinese-LLaMA-Alpaca
      • 1.5 OpenChineseLLaMA
      • 1.6 BELLE
      • 1.7 Panda
      • 1.8 Robin
      • 1.9 Fengshenbang-LM
      • 1.10 Luotuo-Chinese-LLM
      • 1.11 Linly
      • 1.12 Firefly
      • 1.13 ChatYuan
      • 1.14 ChatRWKV
      • 1.15 CPM-Bee
      • 1.16 TigerBot
      • 1.17 书生·浦语
      • 1.18 Aquila
      • 1.19 baichuan-13B
      • 1.20 Anima
      • 1.21 KnowLM
      • 1.22 BayLing
      • 1.23 YuLan-Chat
  • 总结

chatglm2-6b大模型演示


前言

自ChatGPT为代表的大语言模型(Large Language Model, LLM)出现以后,由于其卓越的人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。本文旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料分享给大家!


1.文本LLM模型

1.1 ChatGLM-6B

  • 地址:https://github.com/THUDM/ChatGLM-6B
  • 演示在这里插入图片描述
  • 简介:中文领域效果最好的开源底座模型之一,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持

1.2 ChatGLM2-6B

  • 地址:https://github.com/THUDM/ChatGLM2-6B

  • 演示
    在这里插入图片描述

  • 简介:基于开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,引入了GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练;基座模型的上下文长度扩展到了 32K,并在对话阶段使用 8K 的上下文长度训练;基于 Multi-Query Attention 技术实现更高效的推理速度和更低的显存占用。

1.3 Moss

  • 地址:https://github.com/OpenLMLab/MOSS

  • 演示
    在这里插入图片描述

  • 简介:支持中英双语和多种插件的开源对话语言模型,MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

1.4 Chinese-LLaMA-Alpaca

  • 地址:https://github.com/ymcui/Chinese-LLaMA-Alpaca

  • 简介:中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署,在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练

1.5 OpenChineseLLaMA

  • 地址:https://github.com/OpenLMLab/OpenChineseLLaMA

  • 演示在这里插入图片描述

  • 简介:基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,在众多下游任务中均取得了突出的成绩。

1.6 BELLE

  • 地址:https://github.com/LianjiaTech/BELLE

  • 简介:开源了基于BLOOMZ和LLaMA优化后的一系列模型,同时包括训练数据、相关模型、训练代码、应用场景等,也会持续评估不同训练数据、训练算法等对模型表现的影响。

1.7 Panda

  • 地址:https://github.com/dandelionsllm/pandallm
    在这里插入图片描述

  • 简介:开源了基于LLaMA-7B, -13B, -33B, -65B 进行中文领域上的持续预训练的语言模型, 使用了接近 15M 条数据进行二次预训练。

1.8 Robin

  • 地址:https://github.com/OptimalScale/LMFlow

在这里插入图片描述

  • 简介:Robin 是香港科技大学LMFlow团队开发的中英双语大语言模型。仅使用180K条数据微调得到的Robin第二代模型,在Huggingface榜单上达到了第一名的成绩。LMFlow支持用户快速训练个性化模型,仅需单张3090和5个小时即可微调70亿参数定制化模型。

1.9 Fengshenbang-LM

  • 地址:https://github.com/IDEA-CCNL/Fengshenbang-LM
    在这里插入图片描述

  • 简介:Fengshenbang-LM(封神榜大模型)是IDEA研究院认知计算与自然语言研究中心主导的大模型开源体系,该项目开源了姜子牙通用大模型V1,是基于LLaMa的130亿参数的大规模预训练模型,具备翻译,编程,文本分类,信息提取,摘要,文案生成,常识问答和数学计算等能力。

1.10 Luotuo-Chinese-LLM

  • 地址:https://github.com/LC1332/Luotuo-Chinese-LLM
    在这里插入图片描述

  • 简介:囊括了一系列中文大语言模型开源项目,包含了一系列基于已有开源模型(ChatGLM, MOSS, LLaMA)进行二次微调的语言模型,指令微调数据集等。

1.11 Linly

  • 地址:https://github.com/CVI-SZU/Linly
    在这里插入图片描述

  • 简介:提供中文对话模型 Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其训练数据。 中文基础模型以 LLaMA 为底座,利用中文和中英平行增量预训练。项目汇总了目前公开的多语言指令数据,对中文模型进行了大规模指令跟随训练,实现了 Linly-ChatFlow 对话模型。

1.12 Firefly

  • 地址:https://github.com/yangjianxin1/Firefly
    在这里插入图片描述

  • 演示
    在这里插入图片描述

  • 简介:Firefly(流萤) 是一个开源的中文大语言模型项目,开源包括数据、微调代码、多个基于Bloom、baichuan等微调好的模型等;支持全量参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调;支持绝大部分主流的开源大模型,如百川baichuan、Ziya、Bloom、LLaMA等。持lora与base model进行权重合并,推理更便捷。

1.13 ChatYuan

  • 地址:https://github.com/clue-ai/ChatYuan

  • 简介:元语智能发布的一系列支持中英双语的功能型对话语言大模型,在微调数据、人类反馈强化学习、思维链等方面进行了优化。

1.14 ChatRWKV

  • 地址:https://github.com/BlinkDL/ChatRWKV

  • 简介:开源了一系列基于RWKV架构的Chat模型(包括英文和中文),发布了包括Raven,Novel-ChnEng,Novel-Ch与Novel-ChnEng-ChnPro等模型,可以直接闲聊及进行诗歌,小说等创作,包括7B和14B等规模的模型。

1.15 CPM-Bee

  • 地址:https://github.com/OpenBMB/CPM-Bee

  • 简介:一个完全开源、允许商用的百亿参数中英文基座模型。它采用Transformer自回归架构(auto-regressive),在超万亿(trillion)高质量语料上进行预训练,拥有强大的基础能力。开发者和研究者可以在CPM-Bee基座模型的基础上在各类场景进行适配来以创建特定领域的应用模型。

1.16 TigerBot

  • 地址:https://github.com/TigerResearch/TigerBot
    在这里插入图片描述

  • 演示
    在这里插入图片描述

  • 简介:一个多语言多任务的大规模语言模型(LLM),开源了包括模型:TigerBot-7B, TigerBot-7B-base,TigerBot-180B,基本训练和推理代码,100G预训练数据,涵盖金融、法律、百科的领域数据以及API等。

1.17 书生·浦语

  • 地址:https://github.com/InternLM/InternLM-techreport

  • 简介:商汤科技、上海AI实验室联合香港中文大学、复旦大学和上海交通大学发布千亿级参数大语言模型“书生·浦语”(InternLM)。据悉,该模型具有1040亿参数,基于“包含1.6万亿token的多语种高质量数据集”训练而成。

1.18 Aquila

  • 地址:https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila
    在这里插入图片描述

  • 简介:由智源研究院发布,Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点,重新设计实现了中英双语的tokenizer,升级了BMTrain并行训练方法,是在中英文高质量语料基础上从0开始训练的,通过数据质量的控制、多种训练的优化方法,实现在更小的数据集、更短的训练时间,获得比其它开源模型更优的性能。也是首个支持中英双语知识、支持商用许可协议、符合国内数据合规需要的大规模开源语言模型。

1.19 baichuan-13B

  • 地址:https://github.com/baichuan-inc/baichuan-13B

  • 演示
    在这里插入图片描述

  • 简介:由百川智能开发的一个开源可商用的大规模预训练语言模型。基于Transformer结构,在大约1.2万亿tokens上训练的70亿参数模型,支持中英双语,上下文窗口长度为4096。

1.20 Anima

  • 地址:https://github.com/lyogavin/Anima
    在这里插入图片描述

  • 简介:由艾写科技开发的一个开源的基于QLoRA的33B中文大语言模型,该模型基于QLoRA的Guanaco 33B模型使用Chinese-Vicuna项目开放的训练数据集guanaco_belle_merge_v1.0进行finetune训练了10000个step,基于Elo rating tournament评估效果较好。

1.21 KnowLM

  • 地址:https://github.com/zjunlp/KnowLM
    在这里插入图片描述
    在这里插入图片描述

  • 简介:KnowLM项目旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题,包括大模型的知识难更新及存在潜在的错误和偏见等。该项目一期发布了基于Llama的抽取大模型智析,使用中英文语料对LLaMA(13B)进行进一步全量预训练,并基于知识图谱转换指令技术对知识抽取任务进行优化。

1.22 BayLing

  • 地址:https://github.com/ictnlp/BayLing
    在这里插入图片描述

  • 简介:一个具有增强的跨语言对齐的通用大模型,由中国科学院计算技术研究所自然语言处理团队开发。百聆(BayLing)以LLaMA为基座模型,探索了以交互式翻译任务为核心进行指令微调的方法,旨在同时完成语言间对齐以及与人类意图对齐,将LLaMA的生成能力和指令跟随能力从英语迁移到其他语言(中文)。在多语言翻译、交互翻译、通用任务、标准化考试的测评中,百聆在中文/英语中均展现出更好的表现。百聆提供了在线的内测版demo,以供大家体验。

1.23 YuLan-Chat

  • 地址:https://github.com/RUC-GSAI/YuLan-Chat

  • 演示在这里插入图片描述

  • 简介:YuLan-Chat是GSAI研究人员开发的基于聊天的大语言模型。它是在LLaMA的基础上微调开发的,具有高质量的英文和中文指令。 YuLan-Chat可以与用户聊天,很好地遵循英文或中文指令,并且可以在量化后部署在GPU(A800-80G或RTX3090)上。

总结

由于博主能力有限,本篇文章中提及的方法,也难免会有疏漏之处,希望您能热心指出其中的错误,以便下次修改时能以一个更完美更严谨的样子,呈现在大家面前。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/1927.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【跟着ChatGPT学深度学习】ChatGPT带我学情感分析

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

Chatgpt报错:The site owner may have set restrictions

Chatgpt报错如下: You do not have access to chat.openai.com. The site owner may have set restrictions that prevent you from accessing the site. 错误码:1020 解决办法: 关闭网站后 换节点!换完节点 打开网址&#xf…

文心一言和chatgpt差在哪里

声明 开头声明,个人并非为了故意羞辱和诋毁某公司而写的本篇博客, 只是想单纯的做技术分析,因为技术的探索上是无止境的,我们可以原谅国内计算机技术的不成熟,也可以理解生活的不容易,每个人都在努力&…

ChatGPT爆火 元宇宙失宠了?

去年年底以来,以AI文字、图片创作为代表的AIGC异军突起,既受到很多大厂的追捧,相继推出相关产品,也再度出现了“AI是否会取代人类”的质疑声音。作为由人工智能研究实验室OpenAI发布的全新聊天机器人模型——ChatGPT,实…

ChatGPT 团队背景(共87人)

上一篇:42岁百度员工被裁,向李彦宏及公司高管发邮件 最近,最火的莫过于ChatGPT了,不到半个月用户破百万,不到3个月用户破亿,成为用时最短、最快破亿的应用。被称为AI史上的重大突破。 就是这样的ChatGPT&am…

程序员如何利用chatGPT提高开发效率

对于编程人员来说了解 ChatGPT 是很有帮助的,因为它是一个自然语言处理模型,可以用于处理各种文本任务,例如生成代码注释、代码自动补全、错误检测和纠正、问题回答等等。通过利用 ChatGPT,程序员可以更快速地生成代码&#xff0c…

ChatGPT 进阶1- 提示工程简介

ChatGPT 是一个基于 OpenAI 的大型语言模型,采用GPT-4(Generative Pre-trained Transformer 4)架构。GPT-4 是继 GPT-3 之后的一个更先进的自然语言处理模型,它在许多任务中表现出更高的性能和能力。 ChatGPT 有很多应用场景&…

关于 ChatGPT-4 你需要知道的一切

自人工智能公司 OpenAI 推出 ChatGPT 以来仅仅四个月,而且——毫不夸大其重要性——永远改变了世界。在短短的 15 周内,它引发了全球就业市场的世界末日预言,扰乱了教育系统,并吸引了从大银行到应用开发商的数百万用户。 但现在它…

解决反代ChatGPT API接口后502 Bad Gateway问题

前言 前几天,写了一篇《宝塔快速反代openai官方的API接口,实现国内直接使用ChatGPT》,直接把我一个闲置的域名反代了api.openai.com,从而实现了国内直接使用ChatGPT的目的,但是有网友给博主反映,我的API反…

港大禁用 ChatGPT 等 AI 工具,网友:“从万众瞩目到千夫所指?”

整理 | 朱珂欣 出品 | CSDN程序人生(ID:coder_life) ChatGPT 横空出世之后,感觉众多职业都面临被 AI 取代的危险,不少人惊呼:感觉我要被分分钟取代了,甚至连李开复都发微博列举了 20 项最容易…

港大全面封杀ChatGPT!AI肆虐高校,作弊丑闻震惊全世界

来源:新智元(ID:AI_era) 编辑:学妹 ChatGPT,已经开始在全世界的高校里肆虐。最近,港大打响了国内AI反击战第一枪。 随着AI生成的文本与人类的写作越来越像,高中和大学的老师们快被疑…

ChatGPT遭港大「封杀」:罪同论文剽窃抄袭,使用须报备过审

衡宇 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT太能写了,论文、作业,哪里不会就帮写哪里。 为此,香港大学明文禁止师生将ChatGPT用于教学用途,违规使用将被判为抄袭。 港大也成为国内首家对ChatGPT进行明文规定的高校。 具体来说…

ChatGPT实现撰写邮件

撰写邮件 电子邮件是日常工作中很常用的工具,在相对正式的场合,一封格式美观、用语典雅的电子邮件正文会起到很好的作用。ChatGPT 可以较好的完成电子邮件的编写和格式美化工作。 下面让我们以产品销售的角度,写一封推销邮件。假定产品名称…

教程 | 太炸裂,使用ChatGPT插件写邮件,效率提升100倍

今天,我们要介绍一款与ChatGPT相关的浏览器插件:ChatGPT Writer。 ChatGPT Writer不同于其他浏览器插件,它的专注点在于能够在所有网站上编写电子邮件和消息。这个工具不仅适用于日常办公,还特别适合需要频繁进行邮件回复的客服岗…

【ChatGPT实战】2.使用ChatGPT自动化操作邮件

邮件营销,相信大家一定不会陌生吧,特别是做跨境电商的用户,那么邮件营销特别常见的。因此,决定给大家写这篇实操文章。 接下来,我将向大家介绍如何使用ChatGPT来自动化处理邮件,让我们不再被无休止的邮件沟…

【已解决】chatgpt报错 access denied

报错截图 一般是节点ip被封的问题! 解决方法 重启魔法!(简单,优先尝试)换节点或者换工具 (推荐美国节点,另外推荐原生节点)清空浏览器缓存,注意如果不行,就清空24小时或…

ChatGPT提示语大全

我的新书《Android App开发入门与实战》已于2020年8月由人民邮电出版社出版,欢迎购买。点击进入详情 ChatGPT提示语:分门别类的提示语大全 这里汇集了丰富的 ChatGPT 提示语、创意写作灵感与实用技巧。让我们帮助您激发无限创意,提升写作效率…

ChatGPT或要推出APP,OpenAI官宣为ChatGPT招募移动端开发工程师

文 | 兔子酱 OpenAI官方招聘页面放出了英雄帖,他们正在为ChatGPT招聘移动端工程师: 传送门: https://openai.com/careers/mobile-engineering-manager-chatgpt 其中,跨iOS和Android的工程主管年薪为20至37万美元,总薪酬还包括慷慨…

ChatGPT突然上线APP!iPhone可用、速度更快,GPT-4用量限制疑似取消

梦晨 明敏 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT,现在有iOS版本了! 就在几个小时前,OpenAI官方突然大放送,官宣ChatGPT正式推出iOS APP。 瞬间冲上苹果商店免费榜第二名,效率榜第一名。 (第一是拼多多…

ChatGPT官方APP上线:速度极快且免费、增加语音识别!

来源:学术头条 北京时间5月19日凌晨,OpenAI官方推出了iOS版ChatGPT。据介绍,iOS版ChatGPT供用户免费使用,并在不同设备(移动端和网页端)上同步聊天历史。同时,它还集成了开源语音识别系统Whispe…