网站名称及域名,安徽省交通运输厅网站,宁波网站优化公司推荐,网站建设计划书本文分享在自己的本地电脑部署 llama3.1#xff0c;而且轻松简易#xff0c;快速上手。
这里借助Ollama工具#xff0c;在Linux系统中进行大模型部署~
Llama3.1#xff0c;有三个版本#xff1a;8B、70B、405B Llama 3.1 405B 是第一个公开可用的模型#xff0c;在常识…本文分享在自己的本地电脑部署 llama3.1而且轻松简易快速上手。
这里借助Ollama工具在Linux系统中进行大模型部署~
Llama3.1有三个版本8B、70B、405B Llama 3.1 405B 是第一个公开可用的模型在常识、可操纵性、数学、工具使用和多语言翻译等最先进的能力方面可与顶级 AI 模型相媲美。
8B 和 70B 模型的升级版本支持多种语言上下文长度显著增加至 128K工具使用先进推理能力也更强。
这使得 Meta 的最新模型能够支持高级用例例如长篇文本摘要、多语言对话代理和编码助手。 Meta 还对其许可证进行了修改允许开发人员使用 Llama 模型包括 405B 模型的输出来改进其他模型。 1、安装Ollama
来到官网地址Download Ollama on macOS 执行命令来安装ollamacurl -fsSL https://ollama.com/install.sh | sh
安装位置默认是在 /usr/local/lib/ollama 恭喜Ollama安装成功啦~
启动Ollamaollama serve
然后可以查询一下版本可选ollama -v
或者看一下ollama命令有那些参数可选ollama 2、加载和使用Llama3.1
来到Ollama的模型库 https://ollama.com/library/llama3.1
Llama3.1有三个版本8B、70B、405B 这里可以先选择小的试一试比如8b
输入命令ollama run llama3.1:8b 这里建议能科学上网不然可能需要等待很久很久~ 成功加载llama3.1:8b啦能和它聊天交流
如果想退出聊天按下Ctrl d 3、安装chatbox改善聊天界面
如果使用命令进行聊天感觉不太舒服而且代码也不方便表示
这时我们使用chatbox工具然后加载DeepSeek-R1模型这样可以用一个漂亮的可视化界面聊天啦
chatbox官网地址Chatbox AI官网办公学习的AI好助手全平台AI客户端官方免费下载 点击下载完成后能看到Chatbox-1.9.8-x86_64.AppImage
我们需要给它添加可运行权限
sudo chmod ax Chatbox-1.9.8-x86_64.AppImage
然后双击运行就能打开它啦
然后打开Chatbox进行编辑配置 选择“OLLAMA API”然后选择模型“llama3.1:8b”其他配置默认就好啦 开启聊天啦 4、尝试不同版本的Llama
上面是llama3.1:8b的版本用起来很流畅于是尝试更大参数量的版本70b、405b等
对应的命令
ollama run llama3.1:70b
ollama run llama3.1:405b 相关文章分享
DeepSeek-R1 本地电脑部署 Windows系统 【轻松简易】_windows部署 deepseek r1-CSDN博客
DeepSeek-R1 本地电脑部署 Linux系统 【轻松简易】_14900kflinux-CSDN博客
分享完成~
