使用 GPT-4o 快速实现LLM OS

• 什么是 LLM OS？
• • LLM OS 主要有以下5个部分组成：
  • LLM OS 开源实现
  • 运行 LLM OS 开源实现

    什么是 LLM OS？

    关于 LLM OS 的最初构想源自@karpathy 在2023年11月11日发布的一条Twitter 动态，这是 LLM OS 概念的最早出处，如下图所示：

    LLM OS 主要有以下5个部分组成：

    • 第一、 LLM 作为 「CPU」：OpenAI GPT-4 Turbo；

      256 核心(即 batch size，数据送入 LLM 的批次大小)

      处理器频率 @ 20Hz (tok/s，即吐 token 的速度)

    • 第二、 上下文窗口大小作为 「RAM」: 128Ktok(GPT-4 Turbo 的水平)；

    • 第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具；

    • 第四、 外设 I/O：视频、音频；

    • 第五、 以太网：浏览器；

    • 第六、 软件 1.0 工具：经典计算机，计算器、代码解释器、终端等等；

    • 第七、 可与其他 LLM 互联。

      LLM OS 开源实现

      随着 OpenAI 发布 GPT-4o，语音、视频等多模态的输入和输出，让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现，目前已有 8.6k Stars，Github 地址如下所示：

      https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

      LLM OS 的整体架构设计如下图所示：

      第一、大语言模型（LLMs）是新兴操作系统的核心进程。

      • 这个进程（LLM）可以通过协调其他资源（内存、计算工具）来解决问题。

        第二、LLM 操作系统：

        • 可以读取/生成文本；
        • 关于所有主题的知识都比任何单个人类更丰富；
        • 可以浏览互联网；
        • 可以使用现有的软件基础设施（计算器、Python、鼠标/键盘）；
        • 可以查看和生成图像和视频；
        • 可以听和说，并生成音乐；
        • 可以使用 System2 进行长时间的思考；
        • 可以在特定领域“自我提升；
        • 可以针对特定任务进行定制和微调；
        • 可以与其他 LLM 进行通信。

          运行 LLM OS 开源实现

          运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作：

          第一步：Create a virtual environment

          python3 -m venv ~/.venvs/aienv
          source ~/.venvs/aienv/bin/activate
          

          第二步：Install libraries

          pip install -r cookbook/llm os/requirements.txt
          

          第三步：Export credentials

          • Our initial implementation uses GPT-4, so export your OpenAl APl Key

            export OPENAI API KEY=***
            

            • To use Exa for research, export your EXA _API_KEY

              export EXA API KEY=xxX
              

              第四步：Run PgVector

              We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.

              • Run using a helper script

                ./cookbook/run pgvector.sh
                

                • OR run using the docker run command

                  docker run -d \
                  -e POSTGRES DB=ai \
                  -e POSTGRES USER=ai \
                  -e POSTGRES PASSWORD=ai \
                  -e PGDATA=/var/lib/postgresql/data/pgdata \
                  -v pgvolume:/var/lib/postgresql/data \
                  -p 5532:5432 \
                  --name pgvector \
                  phidata/pgvector:16
                  

                  第五步：Run the LLM OS App

                  streamlit run cookbook/llm os/app.Py
                  

                  • Open localhost:8501 to view your LLM OS.
                  • Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4o
                  • Ask: What is gpt-4o?
                  • Web search: Whats happening in france?
                  • Calculator: Whats 10!
                  • Enable shell tools and ask: is docker running?
                  • Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisition
                  • Enable the Investment Assistant and ask: shall i invest in nvda?