GPT4All
简介：GPT4All
Nomic AI Team 从 Alpaca 获得灵感，使用 GPT-3.5-Turbo OpenAI API 收集了大约 800,000 个提示-响应对，创建了 430,000 个助手式提示和生成训练对，包括代码、对话和叙述。80 万对大约是羊驼的 16 倍。该模型最好的部分是它可以在 CPU 上运行，不需要 GPU。与 Alpaca 一样，它也是一个开源软件，可以帮助个人进行进一步的研究，而无需花费在商业解决方案上。
GPT4All 是如何工作的
它的工作原理类似于羊驼，基于 LLaMA 7B 模型。LLaMA 7B 和最终模型的微调模型在 437,605 个后处理助手式提示上进行了训练。
性能：GPT4All
在自然语言处理中，困惑度用于评估语言模型的质量。它衡量语言模型根据其训练数据看到以前从未遇到过的新单词序列时会有多惊讶。较低的困惑值表示语言模型更擅长预测序列中的下一个单词，因此更准确。Nomic AI 团队声称他们的模型比 Alpaca 具有更低的困惑度。真正的准确性取决于您的提示类型。在某些情况下，Alpaca 可能具有更好的准确性。
内存要求：GPT4All
它可以在具有 8GB RAM 的 CPU 上运行。如果你有一台 4GB RAM 的笔记本电脑，可能是时候升级到至少 8G 了
Python代码：GPT4All
Colab 代码可供您使用。您可以将其用作参考，根据需要进行修改，甚至按原样运行。完全由您决定如何使用代码来最好地满足您的要求。
克隆 Git 存储库
!git clone --recurse-submodules https://github.com/nomic-ai/gpt4all.git
安装所需的包
cd /content/gpt4all
!python -m pip install -r requirements.txtcd transformers
!pip install -e .cd ../peft
!pip install -e .训练
!accelerate launch --dynamo_backend=inductor --num_processes=8 --num_machines=1 --machine_rank=0 --deepspeed_multinode_launcher standard --mixed_precision=bf16 --use_deepspeed --deepspeed_config_file=configs/deepspeed/ds_config.json train.py --config configs/train/finetune.yaml下载 CPU 量化的 gpt4all 模型检查点
cd /content/gpt4all/chat
!wget https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin
运行会话系统
!./gpt4all-lora-quantized-linux-x86
如果您在运行除linux以外的任何其他操作系统的本地计算机上运行它，请使用下面的命令代替：
Windows (PowerShell): ./gpt4all-lora-quantized-win64.exe
Mac (M1): ./gpt4all-lora-quantized-OSX-m1
Mac (Intel): ./gpt4all-lora-quantized-OSX-intel
完整代码
!git clone --recurse-submodules https://github.com/nomic-ai/gpt4all.gitcd /content/gpt4all
!python -m pip install -r requirements.txtcd transformers
!pip install -e .cd ../peft
!pip install -e .!accelerate launch --dynamo_backend=inductor --num_processes=8 --num_machines=1 --machine_rank=0 --deepspeed_multinode_launcher standard --mixed_precision=bf16 --use_deepspeed --deepspeed_config_file=configs/deepspeed/ds_config.json train.py --config configs/train/finetune.yamlcd /content/gpt4all/chat
!wget https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin!./gpt4all-lora-quantized-linux-x86
输出：GPT4All
GPT4All 无法正确回答与编码相关的问题。这只是一个例子，不能据此判断准确性。它可能在其他提示中运行良好，因此模型的准确性取决于您的使用情况。此外，当我在 2 天后再次运行它时，它适用于与编码相关的问题。看来他们进一步完善了模型。
错误调试
Distributed package doesn't have NCCL - 如果您在Mac操作系统上遇到此问题，那是因为您的计算机上未安装 CUDA。
Issues on Windows 10/11 - 一些用户报告说他们在 Windows 平台上遇到了一些奇怪的错误。作为最后的手段，您可以安装适用于 Linux 的 Windows 子系统，它允许您在 Windows 机器上安装 Linux 发行版，然后可以按照上面的代码进行操作。
GPT4All-J
您一定想知道这个模型如何与前一个名称相似，只是后缀为“J”。这是因为这两个模型都来自 Nomic AI 的同一个团队。唯一的区别是它现在是在GPT-J上而不是在 LLaMa 上训练的。在 GPT-J 上训练它的好处是 GPT4All-J 现在是 Apache-2 许可的，这意味着您可以将它用于商业目的，也可以轻松地在您的机器上运行。
下载安装文件
根据您的操作系统下载以下安装程序文件。安装完成后，您需要导航到安装文件夹中的“bin”目录。要启动 GPT4All Chat 应用程序，请执行“bin”文件夹中的“chat”文件。该文件将在 Linux 上命名为“chat”，在 Windows 上命名为“chat.exe”，在 macOS 上命名为“chat.app”
- 视窗
- Linux
- 苹果系统
dolly 2 -- 多莉 2
Databricks 团队基于 EleutherAI 的 Pythia 模型创建了大型语言模型，随后他们在大约 15,000 条记录指令语料库上进行了微调。它遵循 Apache 2 许可，这意味着训练它的模型、训练代码、数据集和模型权重都可以作为开源使用，这样您就可以将它用于商业用途来创建您自己的自定义大型语言模型。
它具有三种尺寸 - 12B、7B 和 3B 参数。
databricks/dolly-v2-12b on pythia-12b
databricks/dolly-v2-7b on pythia-6.9b
databricks/dolly-v2-3b on pythia-2.8b内存要求：多莉 2
对于具有 8 位量化的 7B 模型，它需要一个具有大约 10GB RAM 的 GPU。对于 12B 型号，它至少需要 18GB GPU vRAM。
Python代码：多莉2
from transformers import AutoTokenizer, AutoModelForCausalLM, pipelinebaseModel = "databricks/dolly-v2-12b"
load_8bit = True
tokenizer = AutoTokenizer.from_pretrained("databricks/dolly-v2-12b")
model = AutoModelForCausalLM.from_pretrained(baseModel, load_in_8bit=load_8bit, torch_dtype=torch.float16, device_map="auto")
generator = pipeline(task='text-generation', model=model, tokenizer=tokenizer)print(generator("Python code to remove duplicates from dataframe"))
Vicuna - 骆马
简介：骆马
来自加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员团队开发了这个模型。它使用从 ShareGPT 网站提取的聊天数据集在 LLaMA 上进行了微调。研究人员声称该模型的质量得分超过 OpenAI ChatGPT-4 的 90%。值得注意的是，它的性能几乎与Bard持平。他们使用了羊驼的训练程序，并在多轮对话和长序列两个方面进行了进一步改进。
Python代码：Vicuna
您可以参考这篇文章——Vicuna详细指南来访问 python 代码和 Vicuna 模型的详细描述。
Alpaca GPT-4 Model (羊驼 GPT-4 模型)
简介：羊驼GPT-4
您已经在本文的前一部分了解了 Alpaca。在这里，一些研究人员通过在 GPT-4 数据集上训练来改进原始的羊驼模型。请记住，斯坦福大学研究人员最初的羊驼模型是基于 GPT-3 模型的。这个 GPT-4 模型是在 LLaMA 130 亿 (13B) 参数大小的模型上训练的。
Python代码：羊驼GPT-4
Alpaca GPT-4 模型的 Python 程序在这里解释 - Alpaca GPT-4 详细指南。
Cerebras-GPT(大脑-GPT)
简介：Cerebras-GPT
你们中的一些人可能以前没有听说过Cerebras Systems。他们不像以制造GPU而闻名的NVIDIA那样知名，但他们也是一家专门制造高性能计算系统的科技公司。他们最近发布了开源项目，其中包含七个基于 GPT 的语言模型，参数大小分别为 1.11 亿、2.56 亿、5.9 亿、13 亿、27 亿、67 亿和 130 亿。
这些模型最好的部分是它们是免费提供的，并且可以用于商业目的，因为它符合 Apache 2.0 许可，而 LLaMA 带有“非商业”许可，这意味着它们是免费的但只能用于研究目的。
此外，它们还有 7 种不同尺寸的型号可供选择，这意味着您可以根据硬件配置选择多种型号。如果您的硬件不允许试验大型模型，请选择较小的模型。
内存要求：Cerebras-GPT
它需要具有 12GB RAM 的 GPU 才能运行 1.3B 参数大小的 Cerebras-GPT 模型。
Python 代码：Cerebras-GPT
在下面的程序中，我们使用了由Stochastic IncxTuring团队开发的名为 python 包。它允许开发人员有效地微调不同的大型语言模型。它们还使语法非常易读且易于遵循。
在这里，我们使用微调 Cerebras-GPT 模型Alpaca dataset
可参考此Colab 代码进行测试。在下面的代码中，我们使用 Cerebras-GPT 1.3B 模型
安装 xTuring 库
