本地部署 GPT Academic
- 1. GPT Academic 项目概述
- 2. Github 地址
- 3. 部署 GPT Academic
- 4. 配置 GPT Academic 参数
- 5. 启动 GPT Academic
- 6. 访问 GPT Academic
- 7. New Bing Cookie 的获取方法
- 8. 询问多个GPT模型
1. GPT Academic 项目概述
GPT 学术优化 (GPT Academic),为 GPT/GLM 提供图形交互界面,特别优化论文阅读润色体验,模块化设计支持自定义快捷按钮&函数插件,支持代码块表格显示,Tex 公式双显示,新增 Python 和 C++ 项目剖析&自译解功能,PDF/LaTex 论文翻译&总结功能,支持并行问询多种 LLM 模型,支持清华 chatglm 等本地模型。兼容复旦 MOSS, llama, rwkv, 盘古等。
2. Github 地址
https://github.com/binary-husky/gpt_academic
3. 部署 GPT Academic
(可选)设置 Python 安装默认源,
pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/
创建虚拟环境,
conda create -n gptac_venv python=3.11
conda activate gptac_venv
克隆项目,
git clone https://github.com/binary-husky/gpt_academic.git; cd gpt_academic/
安装依赖,
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
(可选步骤)支持 New Bing
python -m pip install -r request_llm/requirements_newbing.txt
(可选步骤)支持 Slack Claude
python -m pip install -r request_llm/requirements_slackclaude.txt
(可选步骤)支持清华 ChatGLM (体验时发现和 复旦 MOSS 有冲突,2 者只能 2 选 1)
python -m pip install -r request_llm/requirements_chatglm.txt
(可选步骤)支持复旦 MOSS (体验时发现和 复旦 MOSS 有冲突,2 者只能 2 选 1)
python -m pip install -r request_llm/requirements_moss.txt
git clone https://github.com/OpenLMLab/MOSS.git request_llm/moss
(可选步骤)使用 “一键下载arxiv论文并翻译摘要” 功能时需要额外安装的依赖如下,
pip install --upgrade pdfminer beautifulsoup4
4. 配置 GPT Academic 参数
配置 API_KEY 和 OpenAI 的 API_BASE(此项目通过 API_URL_REDIRECT 配置),
vi config_private.py---
API_KEY = "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" (此key无效)
API_URL_REDIRECT = {"https://api.openai.com/v1/chat/completions":"https://<your_api_base_url>/v1/chat/completions"}
---
配置本地LLM模型如ChatGLM的执行方式为 GPU
vi config_private.py---
# 本地LLM模型如ChatGLM的执行方式 CPU/GPU
LOCAL_MODEL_DEVICE = "cuda" # 可选 "cuda" "cpu"
---
配置 New Bing 的 Cookie,Cookie 的获取方法请参考 “New Bing Cookie 的获取方法” 的内容,
vi config_private.pyNEWBING_COOKIES = """<your_new_bing_cookie>
"""
配置 AVAIL_LLM_MODELS,添加 “stack-claude”,
AVAIL_LLM_MODELS = ["gpt-3.5-turbo", "api2d-gpt-3.5-turbo", "gpt-4", "api2d-gpt-4", "chatglm", "moss", "newbing", "stack-claude"]
配置 Slack Claude 的 Token,
SLACK_CLAUDE_BOT_ID = '...'
SLACK_CLAUDE_USER_TOKEN = '...'
5. 启动 GPT Academic
python main.py
启动命令会输出访问 URL,
6. 访问 GPT Academic
使用浏览器打开 http://localhost:40061/?__theme=dark
,默认使用的 gpt-3.5-turbo 模型,问它清华大学在哪?
体验一下 ChatGLM 模型,在页面的右下方,将模型更改为 chatglm,问它清华大学在哪?
体验一下 MOSS 模型,在页面的右下方,将模型更改为 moss,问它清华大学在哪?
体验一下 newbing 模型,在页面的右下方,将模型更改为 newbing,问它清华大学在哪?
体验一下 Slack Claude 模型,在页面的右下方,将模型更改为 slack-claude,问它清华大学在哪?
7. New Bing Cookie 的获取方法
使用 Edge 或者 Chrome 浏览器安装 Cookie-Editor
访问 https://bing.com/new,使用 Cookie-Editor 导出 JSON格式的 Cookie。
8. 询问多个GPT模型
对代码进行微调后,可以同时询问 ChatGPT和ChatGLM和New Bing&Claude。
完结!