本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了。

之前由于ChatGpt处处受限,又没法注册的同学们有福了,我们可以在自己电脑上本地化部署一套AI语言模型,且对于电脑配置要求也不是非常高,对它就是RWKV

关于RWKV

RWKV是一个开源且允许商用的大语言模型,灵活性很高且极具发展潜力,它是一种纯 RNN 的架构,能够进行语言建模,目前最大参数规模已经做到了 14B,该模型训练由Stability赞助。本文发布时RWKV在GitHub上已获得7.8k stars,还在迅速增长中。

RWKV官方仓库:https://github.com/BlinkDL/RWKV-LM

RWKV-Runner

开源仓库地址:https://github.com/josStorer/RWKV-Runner
下载地址(RWKV目录):https://pan.baidu.com/s/1wchIUHgne3gncIiLIeKBEQ?pwd=1111

RWKV-Runner是RWKV的管理和启动工具,由大神 国服第一海豹 制作并开源,它旨在降低大语言模型的使用门槛,做到人人可用,提供了全自动化的依赖和模型管理,你只需要直接点击运行,跟随引导,即可完成本地大语言模型的部署,工具本身体积极小,只需要一个exe即可完成一键部署。

此外,RWKV也提供了与OpenAI API完全兼容的接口,这意味着你可以把任意ChatGPT客户端用作RWKV的客户端,实现能力拓展,而不局限于聊天。

项目介绍

部署RWKV

访问 RWKV开源仓库地址

进入 Release 找到最新版1.1.0

在这里插入图片描述
下载 RWKV-Runner_windows_x64.exe 文件
在这里插入图片描述
将执行程序存放到单独目录中,此目录将作为系统根目录,执行启动器后所有的依赖将安装至此
在这里插入图片描述

启动程序,根据自己的PC显卡配置选择语言模型,并点击启动

在这里插入图片描述

程序启动后自动安装Python、Pytouch等依赖,以及所选择的模型语言库,等所所有需要的内容都下载完毕后就可以开始体验了,部署就是如此简单。

主页

在这里插入图片描述

聊天

补全

在这里插入图片描述

配置

在这里插入图片描述

模型管理

在这里插入图片描述

下载管理

在这里插入图片描述

设置

在这里插入图片描述

聊天实例

启动中文模型,由于我的笔记本电脑配置并不是很高,只能启用 GPU-4G-7B-CN 这个模型,当看到 模型状态:运行中 变绿时就可以开始提问了。

我简单提了两个问题,计算机在收到问题后开始疯狂的运算,文字输出并不快,移动鼠标会感觉到电脑卡顿,在经过几分钟的等待后,RWKV给出了完整的回答。

在这里插入图片描述

介绍一下 linux

Linux是一种开源的操作系统,它具有高度的可定制性和灵活性。Linux可以在多种硬件上运行,包括服务器、个人电脑、移动设备等。Linux被广泛用于Web服务器、嵌入式系统、桌面应用程序等领域。

如何学习Linux

学习Linux的最佳方法是通过阅读相关的书籍和文档,以及参加在线课程和培训。此外,还可以参加Linux社区的活动和讨论,与其他Linux用户交 学习Linux的最佳方法是通过实践和经验积累。以下是一些学习Linux的建议:

阅读文档和手册:Linux的用户手册和官方文档非常详细,它们可以帮助你了解Linux的基本概念、系统组件和命令行工具。
安装Linux操作系统:在学习Linux之前,你需要先安装一个Linux操作系统。你可以选择使用Ubuntu、Debian或Fedora等流行的发行版。
编写Shell脚本:Shell脚本是用于自动化任务的脚本文件,它们可以帮助你更高效地管理服务器和网络设置。
参加社区活动:参加Linux社区活动可以帮助你与其他开发人员交流并学习新技能。
持续学习: Linux是一个不断发展的领域,因此保持对新技术和趋势的关注非常重要。通过阅读技术博客、参加线上课程或与其他开发人员交流来保持对最新技术的了解。
总之,学习Linux需要耐心和时间,但通过不断实践和探索,你将获得更深入的了解和更广泛的应用场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/10214.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

提问的艺术 for ChatGPT

原文地址:https://jiangliuhong.top/2023/04/09/normal/chatgpt_ti_wen_fen_xiang/ 《提问的艺术 for ChatGPT》(prompt 技术工程高质量答案完全指南 关于 prompt 技巧的全面指导)这本书是一本全面的指南,介绍了各种Prompt技术的…

ChatGPT 和 Elasticsearch:使用 ChatGPT 处理 Elastic 数据的插件

作者:Baha Azarmi 你可能已经阅读过这篇关于我们将 Elasticsearch 的相关性功能与 OpenAI 问答功能相结合的博文。 该帖子的主要思想是说明如何将 Elastic 与 OpenAI 的 GPT 模型结合使用来构建响应并向用户返回上下文相关的内容。 我们构建的应用程序可以公开一个…

预测“叫停GPT-4后续AI大模型”后续:这是一个囚徒困境

文章目录 前言一、公开信内容二、公开信核心观点和诉求三、个人思考AI安全和伦理囚徒困境 总结 前言 生命未来研究所 (Future of Life Institute) 发表了一封公开信,信件:https://futureoflife.org/open-letter/pause-giant-ai-experiments/&#xff0c…

用python需要什么配置电脑,python需要的电脑配置

学习python编程需要什么配置的电脑 简单的来讲,Python的话普通电脑就可以,机器学习几大基础算法都可以,如果学习深度学习的话,选择一个配置高的台式电脑即可,其他配置留下升级空间;如果选择笔记本的话可以要强劲点的&…

Git - 如何将git修改的文件导出和导入

1.应用场景 主要用于将git修改的文件导出和导入, 帮助提高工作效率。 2.学习/操作 1.文档阅读 来自chatGPT的对话 2.整理输出 2.1 如何将git修改的文件导出来 如果您只是想将 Git 仓库中的文件导出到本地磁盘中,而不需要保留 Git 的历史记录和元数据…

chatgpt赋能python:Python如何导入数据?完整指南

Python如何导入数据?完整指南 在Python编程中,经常需要导入外部数据,而导入数据的过程并不总是简单明了的。本篇文章将会详细介绍如何使用Python导入各种数据类型,例如CSV、Excel、JSON、SQL和HTML等格式的数据。 导入CSV数据 …

chatgpt赋能python:Python文件导入:学习如何在Python中正确导入文件

Python文件导入:学习如何在Python中正确导入文件 如果你想在Python中编写实用的应用程序,你需要学会如何正确导入文件。这是Python编程的非常基础的一步,但它可以使你的编程经验变得更加流畅和高效。在本文中,我们将介绍如何在Py…

如何一步一步构建网站ChatGPT插件

在本文中,我们将一步一步地探索并构建一个名为"AI Prompt Testing"的项目。该项目是一个网站插件,旨在帮助网站生成一个ChatGPT提示测试题,以巩固当前网页的内容。 1、抽象提取 这个网站ChatGPT插件大概的效果,类比的…

ChatGPT 是什么?怎么用?如何提效?怎么赚钱变现?

我花了几天时间系统的研究了 ChatGPT 的原理、应用、实践、以及我交流群里大家的反馈。 总结一句话:要么拥抱 ChatGPT,要么被 ChatGPT 干掉,就这么简单。 ChatGpt 是什么? ChatGPT 是由 OpenAI 开发的,目前可以免费注…

科创板首批9家企业及其招股说明书下载链接

今天(2019-3-22),科创板首批9家企业名单公布,分别为晶晨半导体、睿创微纳、天奈科技、江苏北人、利元亨、宁波容百、和舰芯片、安瀚科技、武汉科前生物。 9份招股书下载链接(仅2019-3-29之前有效) 链接: ht…

2021年科创板股权激励研究报告发布

编者按:科创板于2019年正式开板,开启A股市场注册制,允许同股不同权的公司和未盈利的公司上市,A股迅速扩容。截至2021年6月21日,共有接近300家公司在科创板注册上市。科创板众多上市公司实施股权激励计划,对…

天岳先进登陆科创板:上市首日一度破发,预计全年扣非后利润下滑

1月12日,山东天岳先进科技股份有限公司(下称“天岳先进”,SH:688234)在上交所科创板上市。据了解,天岳先进的发行价为82.79元/股,发行股份数量为约4297.11万股,募资金额为35.58亿元。 按发行价计…

这些科创板的上市公司,你们都了解吗?

之前,科创板的出台,引发了行业激烈反响。随着科创板走入正轨,就在2019年7、8、9三个月内,就有不同类型的科技公司上市在了科创板。 那么,这些科创板的上市公司,你们都了解吗? 点击添加图片描述…

旷视科技在科创板上市发行注册进程恢复,三年研发投入超过26亿元

2022年5月16日,上交所科创板披露的信息显示,根据《科创板首次公开发行股票注册管理办法(试行)》第三十条的相关规定,恢复旷视科技有限公司(下称“旷视科技”)发行注册程序。 这意味着&#xff…

科创板IPO上市条件

科创板IPO上市条件 1、符合中国证监会规定的发行条件; 2、发行后股本总额不低于人民币3千万元; 3、首次公开发行的股份达到公司股份总数的25%以上,公司股本总额超过人民币4亿元的,首次公开发行股份的比例为10%以上;…

科创板将迎做市商机制,做市商到底是什么?

监会近日发布《证券公司科创板股票做市交易业务试点规定(征求意见稿)》,简称《做市规定》,向社会公开征求意见。《做市规定》共十七条,主要包括做市商准入条件、准入程序、做市券源安排、内部管控、风险监测监控、监管…

新点软件登陆科创板:上市首日破发,腾讯、建发股份参与认购

11月17日,国泰新点软件股份有限公司(下称“新点软件”,SH:688232)在上交所科创板上市。上市首日,新点软件便跌破发行价,盘中最低价一度跌至41.02元/股。 与之对的是,新点软件的发行价为48.49元…

康鹏科技将于12月16日上会:曾在纽交所上市,由杨建华家族控股

近日,上海康鹏科技股份有限公司(下称“康鹏科技”)在上海证券交易所递交招股书(上会稿),准备在科创板上市。据贝多财经了解,康鹏科技将于2022年12月16日接受科创板上市委的现场审议。 根据公开信…

赛卓电子冲刺科创板上市:计划募资11亿元,股东包括尚颀资本等

12月28日,赛卓电子科技(上海)股份有限公司(下称“赛卓电子”)在上海证券交易所递交招股书,准备在科创板上市。本次冲刺上市,赛卓电子计划募资11亿元,将用于车规级芯片研发及产业化项…

[创业之路-68]:科创板上市公司符合哪些条件

上交所发布《关于在上交所设立科创板并试点注册制相关情况答记者问》。上交所将认真落实习指示,在证监会的指导下,积极研究制订科创板和注册制试点方案,向市场征求意见并履行报批程序后实施。科创板是独立于现有主板市场的新设板块&#xff0…