使用 GPT-4o 快速实现LLM OS
- 什么是 LLM OS？
- LLM OS 主要有以下5个部分组成：
- LLM OS 开源实现
- 运行 LLM OS 开源实现
什么是 LLM OS？
关于 LLM OS 的最初构想源自@karpathy 在2023年11月11日发布的一条Twitter 动态，这是 LLM OS 概念的最早出处，如下图所示：
LLM OS 主要有以下5个部分组成：
-
第一、 LLM 作为 「CPU」：OpenAI GPT-4 Turbo；
256 核心(即 batch size，数据送入 LLM 的批次大小)
处理器频率 @ 20Hz (tok/s，即吐 token 的速度) -
第二、 上下文窗口大小作为 「RAM」: 128Ktok(GPT-4 Turbo 的水平)；
-
第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具；
-
第四、 外设 I/O：视频、音频；
-
第五、 以太网：浏览器；
-
第六、 软件 1.0 工具：经典计算机，计算器、代码解释器、终端等等；
-
第七、 可与其他 LLM 互联。
LLM OS 开源实现
随着 OpenAI 发布 GPT-4o，语音、视频等多模态的输入和输出，让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现，目前已有 8.6k Stars，Github 地址如下所示：
https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os
LLM OS 的整体架构设计如下图所示：
第一、大语言模型（LLMs）是新兴操作系统的核心进程。
- 这个进程（LLM）可以通过协调其他资源（内存、计算工具）来解决问题。
第二、LLM 操作系统：
- 可以读取/生成文本；
- 关于所有主题的知识都比任何单个人类更丰富；
- 可以浏览互联网；
- 可以使用现有的软件基础设施（计算器、Python、鼠标/键盘）；
- 可以查看和生成图像和视频；
- 可以听和说，并生成音乐；
- 可以使用 System2 进行长时间的思考；
- 可以在特定领域“自我提升；
- 可以针对特定任务进行定制和微调；
- 可以与其他 LLM 进行通信。
运行 LLM OS 开源实现
运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作：
第一步：Create a virtual environment
python3 -m venv ~/.venvs/aienv
source ~/.venvs/aienv/bin/activate
第二步：Install libraries
pip install -r cookbook/llm os/requirements.txt
第三步：Export credentials
- Our initial implementation uses GPT-4, so export your OpenAl APl Key
export OPENAI API KEY=***
- To use Exa for research, export your EXA _API_KEY
export EXA API KEY=xxX
第四步：Run PgVector
We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.
- Run using a helper script
./cookbook/run pgvector.sh
- OR run using the docker run command
docker run -d \
-e POSTGRES DB=ai \
-e POSTGRES USER=ai \
-e POSTGRES PASSWORD=ai \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v pgvolume:/var/lib/postgresql/data \
-p 5532:5432 \
--name pgvector \
phidata/pgvector:16
第五步：Run the LLM OS App
streamlit run cookbook/llm os/app.Py
- Open localhost:8501 to view your LLM OS.
- Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4o
- Ask: What is gpt-4o?
- Web search: Whats happening in france?
- Calculator: Whats 10!
- Enable shell tools and ask: is docker running?
- Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisition
- Enable the Investment Assistant and ask: shall i invest in nvda?
