python报修网站开发源码,网站移动终端建设,深圳市住宅和建设网站,中小企业信息查询平台官网#x1f49d;#x1f49d;#x1f49d;欢迎来到我的博客#xff0c;很高兴能够在这里和您见面#xff01;希望您在这里可以感受到一份轻松愉快的氛围#xff0c;不仅可以获得有趣的内容和知识#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学… 欢迎来到我的博客很高兴能够在这里和您见面希望您在这里可以感受到一份轻松愉快的氛围不仅可以获得有趣的内容和知识也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂 非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。 ✨✨ 欢迎订阅本专栏 ✨✨ 博客目录 前言1. 本地部署 Llama3.12. 本地安装 LobeChat 可视化 UI 界面3. 在 LobeChat 中添加 Llama3.14. 安装 Cpolar 内网穿透5. 实现公网访问 LobeChat6. 固定 LobeChat 公网地址 前言
本篇文章主要介绍如何在本地安装 Llama3.1以及在本地部署 LobeChat 可视化 UI 界面并且结合 Cpolar 内网穿透实现公网远程使用 Llama3.1。
就在前一阵Meta 宣布推出迄今为止最强大的开源模型——Llama3.1 405BLlama 3.1 是 Meta 最新推出的开源大语言模型支持八种语言。它能够提供通用知识、数学计算、多语言翻译和工具使用能力开放下载并允许开发者定制和微调。
通过 LobeChat 可视化 UI 界面来使用 Llama实现在 web 界面就可以直接来使用那么接下来如何进行操作。 1. 本地部署 Llama3.1
本地电脑硬件要求
Windows3060 以上显卡8G 以上显存16G 内存硬盘空间至少 20G MacM1 或 M2 芯片 16G 内存20G 以上硬盘空间
本篇文章测试环境Windows10 专业版
首先需要安装 Ollama 客户端来进行本地部署 Llama3.1 大模型 下载地址https://ollama.com/download 在下载页面点击 Windows然后点击下载按钮。 下载完成后双击下载的安装程序。 点击 Install 进行安装。 安装完成后双击 ollama 客户端自动打开 Windows Power Shell如果没有自动弹出也可以手动打开 cmd这里打开 cmd 为例
我们在终端中输入ollama它会显示出当前这款 ollama 程序它的使用及安装命令
接下来继续在终端中安装 Llama3.1-8b至少需要 8G 显存
ollama run llama3.1:8b上方显示已安装成功接下来就可以进行使用了比如这里可以在终端中输入问题 我们已经成功的在本地部署了 Llama3.1但是只能在终端中来使用如果能使用 web 界面进行交互使用体验会更好也可以保留之前的聊天记录方便查找和使用下面带大家安装 LobeChat 可视化 UI 界面
2. 本地安装 LobeChat 可视化 UI 界面
Lobe Chat 作为一款开源、现代化设计的聊天应用具有许多令人青睐的特点和功能接下来教大家如何在本地安装 LobeChat。 **官网地址https://lobehub.com/zh
**GitHub 地址https://link.zhihu.com/?targethttps%3A//github.com/lobehub/lobe-chat
本地安装流程
首先从 github 上克隆 lobechat如果没有安装 git 的话进入 git 官网进行下载 windows 版本 https://git-scm.com/downloads 打开命令行从 github 下载项目到本地执行下面的命令
git clone https://github.com/lobehub/lobe-chat.git创建新目录
cd lobe-chat在项目的根目录下执行下面的命令下载依赖。
pnpm install注意没有安装 Node.js 的话点击官网下载链接https://nodejs.org/en/download这里演示版本是v20.12.2 注意如果未安装 pnpm,需要使用下方代码一键安装 pnpm
npm install -g pnpm在项目的根目录下运行 LobeChat可以看到运行成功出现 http://localhost:3010
pnpm dev3. 在 LobeChat 中添加 Llama3.1
可以看到我们已经在本地部署了 LobeChat测试一下是否部署成功打开新的浏览器输入http://localhost:3010
可以看到进入到了 LobeChat 的主界面 点击左上角头像找到设置选择语言模型找到 Ollama开启它并做连通性检查 。 检查通过获取模型列表 回到聊天窗口选择 llama3.1:8b 模型 接下来就可以进行聊天了。 目前我们在本机部署了 LobeHub并且还添加了 Llama3.1 大模型如果想团队协作多人使用或者在异地其他设备使用的话就需要结合 Cpolar 内网穿透实现公网访问免去了复杂得本地部署过程只需要一个公网地址直接就可以进入到 LobeChat 中。
接下来教大家如何安装 Cpolar 并且将 LobeChat 实现公网访问。
4. 安装 Cpolar 内网穿透
下面是安装 cpolar 步骤 Cpolar 官网地址: https://www.cpolar.com 点击进入 cpolar 官网点击免费使用注册一个账号并下载最新版本的 Cpolar 登录成功后点击下载 Cpolar 到本地并安装一路默认安装即可本教程选择下载 Windows 版本。 Cpolar 安装成功后在浏览器上访问 http://localhost:9200使用 cpolar 账号登录,登录后即可看到 Cpolar web 配置界面,结下来在 web 管理界面配置即可。 接下来配置一下 LobeChat 的公网地址
登录后点击左侧仪表盘的隧道管理——创建隧道
创建一个 LobeChat 的公网 http 地址隧道
隧道名称可自定义命名注意不要与已有的隧道名称重复协议选择 http本地地址3010 (本地访问的地址)域名类型免费选择随机域名地区选择 China Top 隧道创建成功后点击左侧的状态——在线隧道列表,查看所生成的公网访问地址有两种访问方式,一种是 http 和 https 使用上面的 Cpolar https 公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 LobeChat 界面,这样一个公网地址且可以远程访问就创建好了,使用了 Cpolar 的公网域名,无需自己购买云服务器,即可到公网访问 LobeChat 了
5. 实现公网访问 LobeChat
我们用刚才 cpolar 生成的公网地址打开一个新的浏览器复制粘贴可以看到进入到了 LobeChat 项目管理界面然后选择 Llama3.1 大模型就可以进行在公网来使用了。 小结
如果我们需要长期进行团队协作的话由于刚才创建的是随机的地址24 小时会发生变化。另外它的网址是由随机字符生成不容易记忆。如果想把域名变成固定的二级子域名并且不想每次都重新创建隧道来访问 LobeChat我们可以选择创建一个固定的 http 地址来解决这个问题。
6. 固定 LobeChat 公网地址
我们接下来为其配置固定的 HTTP 端口地址该地址不会变化方便分享给别人长期查看你的博客而无需每天重复修改服务器地址。 配置固定 http 端口地址需要将 cpolar 升级到专业版套餐或以上。 登录 cpolar 官网点击左侧的预留选择保留二级子域名设置一个二级子域名名称点击保留,保留成功后复制保留的二级子域名名称。 保留成功后复制保留成功的二级子域名的名称 返回登录 Cpolar web UI 管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道点击右侧的编辑 修改隧道信息将保留成功的二级子域名配置到隧道中
域名类型选择二级子域名Sub Domain填写保留成功的二级子域名
点击更新(注意,点击一次更新即可,不需要重复提交) 更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名 最后我们使用固定的公网 https 地址在任何浏览器打开访问可以看到访问 LobeChat 成功了这样一个固定且永久不变的公网地址就设置好了然后选择一下 Llama3.1 大模型就可以。 接下来就可以随时随地进行异地公网来使用 Llama3.1 大模型了把固定的公网地址分享给身边的人方便团队协作同时也大大提高了工作效率自己用的话无需云服务器还可以实现异地其他设备登录以上就是如何在本地安装 Llama3.1 以及在本地部署 LobeChat 可视化界面的全部过程。 觉得有用的话点个赞 呗。 ❤️❤️❤️本人水平有限如有纰漏欢迎各位大佬评论批评指正 如果觉得这篇文对你有帮助的话也请给个点赞、收藏下吧非常感谢! Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧
