ChatGPT开源平替(2)llama

        最近,FacebookResearch 开源了他们最新的大语言模型 LLaMA,训练使用多达14,000 tokens 语料,包含不同大小参数量的模型 7B、13B 、30B、 65B,研究者可以根据自身算力配置进行选择。

        经过测试,(1)在算力要求上,7B的模型,需要19G显存要求,单卡3090可部署。(2)在生成效果上,额...,还行吧。

首先下载模型及代码:

    (1)模型:

        项目里是要求提交申请,然后Facebook官方发送模型下载链接,通过链接下载完整模型文件,才能运行项目,实测在huggingface上去下载拆分后的模型是不能运行的项目的。由于一直没有收到官方邮件提供的下载地址,我在网上找到了各大版本的模型文件下载链接:

7Bipfs://QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
13Bipfs://QmPCfCEERStStjg4kfj3cmCUu1TP7pVQbxdFMwnhpuJtxk
30Bipfs://QmSD8cxm4zvvnD35KKFu8D9VjXAavNoGWemPW1pQ3AF9ZZ
65Bipfs://QmdWH379NQu8XoesA8AFw9nKV2MpGR4KohK7WyugadAKTh

    (2)代码:

        https://github.com/facebookresearch/llama

运行模型:

        由于官方给的例子是写死的,不是一问一答交互形式,我将其改了一下:

# cli.py
import os,time, json,sys
import argparse
from waitress import serve
from typing import Tuple
import torch
from pathlib import Path
import torch.distributed as dist
from fairscale.nn.model_parallel.initialize import initialize_model_parallelfrom llama import ModelArgs, Transformer, Tokenizer, LLaMAdef setup_model_parallel() -> Tuple[int, int]:local_rank = int(os.environ.get("LOCAL_RANK", -1))world_size = int(os.environ.get("WORLD_SIZE", -1))print(f"local:{local_rank},world:{world_size}")dist.init_process_group("nccl")initialize_model_parallel(world_size)torch.cuda.set_device(local_rank)# seed must be the same in all processestorch.manual_seed(1)return local_rank, world_sizedef load(ckpt_dir: str, tokenizer_path: str, local_rank: int, world_size: int) -> LLaMA:start_time = time.time()checkpoints = sorted(Path(ckpt_dir).glob("*.pth"))assert (world_size == len(checkpoints)), f"Loading a checkpoint for MP={len(checkpoints)} but world size is {world_size}"ckpt_path = checkpoints[local_rank]print("Loading")checkpoint = torch.load(ckpt_path, map_location="cpu")with open(Path(ckpt_dir) / "params.json", "r") as f:params = json.loads(f.read())model_args: ModelArgs = ModelArgs(max_seq_len=1024, max_batch_size=8, **params)tokenizer = Tokenizer(model_path=tokenizer_path)model_args.vocab_size = tokenizer.n_wordstorch.set_default_tensor_type(torch.cuda.HalfTensor)model = Transformer(model_args)torch.set_default_tensor_type(torch.FloatTensor)model.load_state_dict(checkpoint, strict=False)generator = LLaMA(model, tokenizer)print(f"Loaded in {time.time() - start_time:.2f} seconds")return generatorif __name__ == "__main__":parser = argparse.ArgumentParser()parser.add_argument("--ckpt_dir")parser.add_argument("--tokenizer_path", type=str)args = parser.parse_args()local_rank, world_size = setup_model_parallel()generator = load(args.ckpt_dir, args.tokenizer_path, local_rank, world_size)print("------------------ Welcome to the llama model  -------------------\n")while True:prompt = input("User: ")if prompt =="cls":breakprint("LLAMA: ", end="")input_text = [prompt]# max_gen_len= input["max_gen_len"]results = generator.generate(input_text, max_gen_len=512, temperature=0.8, top_p=0.95)[0]print(results)"""启动服务:CUDA_VISIBLE_DEVICES=0 torchrun --nproc_per_node 1 cli.py --ckpt_dir $ckpt --tokenizer_path $tokenizer"""

测试结果:

(1)英文交互

b319c2e81d4540ccb5e601bb4e9d1bfb.png

(2)中文交互    

9e16dc6283a561c1db270ef2b8e234e4.png

        明显发现,llama中文交互效果较差,并且在英文生成回复上也没有chatgpt流畅圆滑,可能是由于Facebook为了抢风头,在数据质量和数据范围方面没有做太多工作,或者是因为这只是llama的demo版本,Facebook正在憋大招吧。

        请关注公众号:NLP有品,定期分享NLP干货。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/2974.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT的开源平替,终于来了!

最近这段时间,一个号称全球最大ChatGPT开源平替项目Open Assistant引起了大家的注意。 这不最近还登上了GitHub的Trending热榜。 https://github.com/LAION-AI/Open-Assistant 根据官方的介绍,Open Assistant也是一个对话式的大型语言模型项目&#xff…

追赶ChatGPT的难点与平替

卷友们好,我是rumor。 最近ChatGPT真的太火爆了,让人很难静下心。一方面是对它的能力感到不安,以后各个NLP子任务可能就统一起来了,范式也会变成预训练Prompt,不需要那么多精调模型的算法了。另一方面是对国内复现Chat…

ChatGPT开源平替(1)——ChatGLM

ChatGLM-6B 由清华大学唐杰团队开发的是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB…

ChatGPT 的平替 Claude 使用指南

Claude的独立体验版本姗姗来迟,经过近半个月的等待后,收到了体验邮件,不过之前早已体验过poe和slack的集成版,响应速度上要比ChatGPT快很多。 目前提供的Model有: "claude-v1":我们最大的型号&am…

笔记本就能运行的ChatGPT平替来了,附完整版技术报告

来源:机器之心 本文约4300字,建议阅读8分钟 初步的技术报告简要描述了 GPT4All 的搭建细节。 GPT4All 是基于大量干净的助手数据(包括代码、故事和对话)训练而成的聊天机器人,数据包括~800k 条 GPT-3.5-Tur…

分享一个平替ChatGPT的网站

https://chat.gamejx.cn/go/kl/674566 直接注册就能用 这是界面

chatgpt平替,清华chatglm本地化部署教程(aigc大模型风口,校招找工作必备),包含weiui部署,api部署,对话框部署

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 Chat…

狂追ChatGPT:开源社区的“平替”热潮

目前,不少优质的类ChatGPT模型都只能通过API接入,而一些开源LLM的效果与ChatGPT相比差距不小。不过,近期开源社区开始密集发力了。 其中,Meta的LLaMA模型泄漏是开源“ChatGPT”运动的代表性事件。基于LLaMA模型,开源社…

chatGPT平替:Idea 插件Bito

Idea插件神奇Bito Bito介绍安装使用 Bito介绍 应该是基于openai的模型训练的。重点是免费、免费、免费,重要的事情说3遍。 安装 设置(setting) 选择插件市场输入Bito安装 安装成功后最idea的右边会显示Bito 使用 需要验证账号,输入邮箱会有一个…

支持 Docker 运行的 ChatGPT 平替之 Alpaca-Turbo (羊驼)

Alpaca-Turbo是一个语言模型,可以在本地运行而不需要太多的设置。它是基于LLaMA的alpaca.cpp语言模型的用户友好型Web UI,具有使其与其他实现区别开来的独特功能。目标是提供一个无缝的聊天体验,易于配置和使用,而不会牺牲速度或功…

chatgpt平替,清华chatglm本地化部署

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。因为我的cpu跑不了,在linux服务器端进行部署。前提是conda已经安装并配置好,因为我的已经搞好,就不是…

真正的ChatGPT平替产品:Claude

01 Claude ChatGPT已经流行了很长的时间了,但是ChatGPT 由于种种的限制,我们无法用上,也有很多的平替产品,但是这些平替产品也有很多的问题。 现在 Claude 出来了,没有任何的限制。 Claude 不用魔法,注…

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA

欢迎关注“ 计算机视觉研究院 ” 计算机视觉研究院专栏 作者:Edison_G 扫描二维码 关注我们 Meta 发布的开源系列模型 LLaMA,将在开源社区的共同努力下发挥出极大的价值。 转自《机器之心》 Meta 在上个月末发布了一系列开源大模型 ——LLaMA&#xff08…

ChatGPT的平替来了?一文总结 ChatGPT 的开源平替,你值得拥有

文章目录 【AIGC精选】总结 ChatGPT 的开源平替,你值得拥有1.斯坦福发布 Alpaca 7B,性能匹敌 GPT-3.52.弥补斯坦福 Alpaca 中文短板,中文大模型 BELLE 开源3.国产AI大模型 ChatGLM-6B 开启内测4.中文 Alpaca 模型 Luotuo 开源5. ChatGPT 最强…

IntelliJ IDEA 接入ChatGPT (免费,无需注册)生产力被干爆了!

IntelliJ IDEA 接入ChatGPT 前言 : 今天给大家介绍一款好用的 IntelliJ IDEA ChatGPT 插件 可以帮助我们写代码,以及语言上的处理工作,以及解释代码。让我们的生产力大大提高! 一. ChatGPT-Plus 功能介绍 支持最新idea版本AI询问功能,写好…

不用魔法、使用原生ChatGPT、30秒注册不要绑定任何账号【AskChat.ai】

直接上链接【AskChat.ai】 http://www.askchat.ai?r124478 手机打开不登录可以直接用3次。 AskChat.ai 普通用户的使用规则 AskChat.ai 免费使用的额度 个人使用案例

【关于ChatGPT的30个问题】14、ChatGPT在中国是否被禁用了?/ By 禅与计算机程序设计艺术

14、ChatGPT在中国是否被禁用了?为什么? 目录 14、ChatGPT在中国是否被禁用了?为什么? ChatGPT是否被禁用?

ChatGPT Something went wrong 处理

一、报错提示 Something went wrong. If this issue persists please contact us through our help center at help.openai.com. 二、解决方案 一般是代理节点出现问题 ChatGPT退出登录 关闭代理并重新启动代理 切换其他节点 清除浏览器缓存 重新登录ChatGPT 问题解决&am…

让ChatGPT教你AI绘画|如何将ChatGPT与Midjourney结合使用,赶紧实践起来

转载 近期最火的人工智能应用莫过于ChatGpt了,上架短短3个月就已经有几个亿的用户了。反反复复地体验ChatGpt近一个月,感受就两个字​:牛批​! 简单介绍一下什么是Chatgpt,算了让它自己介绍自己吧 回答的还行吧​&a…

时代背景下的 ChatGPT,到底能帮助开发者做什么呢?

前言 最近脍炙人口的技术 ChatGPT,关注度非常高,网上关于它的文章也一大片,不过很多都是关于体验或者部署的,我们习惯去讨论它的技术、模型、趣味等等,但他能在开发者的工作中带给我们些什么东西呢? 我应…