做网站用什么软件最好,品牌鞋子排行榜前十名,遵义公司做网站找哪个公司好,无锡装饰网站建设排名使用 GPT-4o 快速实现LLM OS 什么是 LLM OS#xff1f;LLM OS 主要有以下5个部分组成#xff1a; LLM OS 开源实现运行 LLM OS 开源实现 什么是 LLM OS#xff1f;
关于 LLM OS 的最初构想源自karpathy 在2023年11月11日发布的一条Twitter 动态#xff0c;这是 LLM OS 概念… 使用 GPT-4o 快速实现LLM OS 什么是 LLM OSLLM OS 主要有以下5个部分组成 LLM OS 开源实现运行 LLM OS 开源实现 什么是 LLM OS
关于 LLM OS 的最初构想源自karpathy 在2023年11月11日发布的一条Twitter 动态这是 LLM OS 概念的最早出处如下图所示
LLM OS 主要有以下5个部分组成 第一、 LLM 作为 「CPU」OpenAI GPT-4 Turbo 256 核心(即 batch size数据送入 LLM 的批次大小) 处理器频率 20Hz (tok/s即吐 token 的速度) 第二、 上下文窗口大小作为 「RAM」: 128Ktok(GPT-4 Turbo 的水平) 第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具 第四、 外设 I/O视频、音频 第五、 以太网浏览器 第六、 软件 1.0 工具经典计算机计算器、代码解释器、终端等等 第七、 可与其他 LLM 互联。
LLM OS 开源实现
随着 OpenAI 发布 GPT-4o语音、视频等多模态的输入和输出让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现目前已有 8.6k StarsGithub 地址如下所示 https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os
LLM OS 的整体架构设计如下图所示 第一、大语言模型LLMs是新兴操作系统的核心进程。
这个进程LLM可以通过协调其他资源内存、计算工具来解决问题。
第二、LLM 操作系统
可以读取/生成文本关于所有主题的知识都比任何单个人类更丰富可以浏览互联网可以使用现有的软件基础设施计算器、Python、鼠标/键盘可以查看和生成图像和视频可以听和说并生成音乐可以使用 System2 进行长时间的思考可以在特定领域“自我提升可以针对特定任务进行定制和微调可以与其他 LLM 进行通信。
运行 LLM OS 开源实现
运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作
第一步Create a virtual environment
python3 -m venv ~/.venvs/aienv
source ~/.venvs/aienv/bin/activate第二步Install libraries
pip install -r cookbook/llm os/requirements.txt第三步Export credentials
Our initial implementation uses GPT-4, so export your OpenAl APl Key
export OPENAI API KEY***To use Exa for research, export your EXA _API_KEY
export EXA API KEYxxX第四步Run PgVector
We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.
Run using a helper script
./cookbook/run pgvector.shOR run using the docker run command
docker run -d \
-e POSTGRES DBai \
-e POSTGRES USERai \
-e POSTGRES PASSWORDai \
-e PGDATA/var/lib/postgresql/data/pgdata \
-v pgvolume:/var/lib/postgresql/data \
-p 5532:5432 \
--name pgvector \
phidata/pgvector:16第五步Run the LLM OS App
streamlit run cookbook/llm os/app.PyOpen localhost:8501 to view your LLM OS.Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4oAsk: What is gpt-4o?Web search: Whats happening in france?Calculator: Whats 10!Enable shell tools and ask: is docker running?Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisitionEnable the Investment Assistant and ask: shall i invest in nvda?
