网站推广的方法有哪些,域名名称,湖南网站模板建站,自己做网站需要买哪些本地部署大模型
在本地部署大模型有多种方式#xff0c;其中Ollama方式是最简单的#xff0c;但是其也有一定的局限性#xff0c;比如大模型没有其支持的GGUF二进制格式#xff0c;就无法使用Ollama方式部署。 GGUF旨在实现快速加载和保存大语言模型#xff0c;并易于阅读…本地部署大模型
在本地部署大模型有多种方式其中Ollama方式是最简单的但是其也有一定的局限性比如大模型没有其支持的GGUF二进制格式就无法使用Ollama方式部署。 GGUF旨在实现快速加载和保存大语言模型并易于阅读 Ollama 是一个用于部署和运行各种开源大模型的工具。用户通过执行几条命令就能在本地运行开源大模型极大简化了大模型在本地运行类似于Docker。 支持的操作系统 MacOS/Linux/Windows/Docker 第一步安装(MacOS为例)
使用最简单的方式使用brew install ollama安装。
第二步验证(是否安装成功)
在Termial上输入ollama -v 命令如果出现如下图则说明安装成功
其它大模型本地部署框架
GPT4ALL
gpt4all是一个免费使用、本地运行、具有隐私意识的聊天机器人无需 GPU 或互联网。 可以在任意地方运行大模型的框架 A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required. run open-source LLMs anywhere OpenLLM
OpenLLM 是一个用于在生产环境中操作大型语言模型LLM的开放平台。它使开发人员能够轻松地运行任何开源LLM的推理部署到云端或本地并构建强大的AI应用程序。
安装大模型 说明Ollama的运行会受到所使用模型大小的影响。留意个人电脑配置选择合适的模型
运行一个7B70亿参数的模型至少需要8GB的可用内存RAM而运行13B130亿参数的模型需要16GB内存33B330亿参数的模型需要32GB的内存需要考虑提供足够的磁盘空间大模型的文件大小可能比较大建议至少为Ollama和其模型预留50GB磁盘空间。性能较高的CPU可以提供更好的运算速度和效率多核处理器能够更好的处理并行任务选择具有足够的核数的CPUGPUOllama支持纯CPU运行但可以利用GPU进行加速提高模型的运行速度和性能。
第二步执行安装命令
打开 Terminal 执行 ollama run llava:7b 命令 至此成功在本地安装一个llava参数为7B的大模型我们可以使用Spring AI 对接本地的大模型再也不用担心Open AI Key的问题了。
LobeChat是现代化设计的开源 ChatGPT/LLMs 聊天应用与开发框架支持语音合成、多模态、可扩展的插件系统。一键免费拥有你自己的 ChatGPT/Gemini/Claude/Ollama 应用。
LobeChat 支持多种平台的部署我们选择最常用的Docker方式部署
第一步Docker部署 本地已部署跳过该步
Docker在不同平台上简单的安装命令根据自己操作系统进行选择
MacOS brew install dockerCentOS yum install dockerUbuntu apt install docker.io
第二步Docker上部署LobeChat
打开 Terminal 终端执行如下Docker命令仅限使用本地Ollama
docker run -d -p 3210:3210 --name lobe-chat lobehub/lobe-chat 第三步查看界面效果
输入 localhost:3210 界面如下
第四步配置LobeChat
当我们进去界面后点击大脑图标需要配置LobeChat使用的大模型。 然后点击前往设置进入进行设置界面如下图所示
LobeChat支持很多大模型我们选择Ollama点击获取模型列表获取安装在Ollama上的模型我已经安装了四个了模型列表选择上需要的模型然后返回聊天界面然后在点击大脑图标就有刚才配置的模型选择需要使用的大模型。
至此已成功安装了LobeChat界面程序然后测试聊天如下所示 至此我们成功部署了属于自己的ChatGPT。
其它 UI 框架
除 LobeChat UI 框架外还有一些比较优秀的框架具体如下
Open WebUI
Open WebUI 是一个可扩展、功能丰富且用户友好的开源自托管 AI 界面旨在完全离线运行。它支持各种 LLM 运行器包括 Ollama 和 OpenAI 兼容的 API。
Enchanted
Enchanted 是一款专门为 MacOS/iOS/iPadOS 平台开发的应用程序支持 Llama、Mistral、Vicuna、Starling 等多种私人托管模型。该应用致力于在苹果的全生态系统中为用户提供一个未经过滤、安全、保护隐私以及多模态的人工智能体验。
Chatbox
Chatbox 是一个老牌的跨平台开源客户端应用基于 Tauri 开发简洁易用。除了 Ollama 以外他还能够通过 API 提供另外几种流行大模型的支持。
NextJS Ollama LLM UI
NextJS Ollama LLM UI 是一款专为 Ollama 设计的极简主义用户界面。虽然关于本地部署的文档较为有限但总体上安装过程并不复杂。该界面设计简洁美观非常适合追求简约风格的用户。
总结
本篇文章介绍了本地大模型的部署和 LobeChat 界面的部署成功在本地部署属于自己的ChatGPT。上面也只是关键步骤的说明遇到问题多看下官方的安装文档。本文起到抛砖引玉作用。
如何系统的去学习大模型LLM
作为一名热心肠的互联网老兵我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴可以V扫描下方二维码免费领取 一、全套AGI大模型学习路线
AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、AI大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 阶段1AI大模型时代的基础理解
目标了解AI大模型的基本概念、发展历程和核心原理。内容 L1.1 人工智能简述与大模型起源L1.2 大模型与通用人工智能L1.3 GPT模型的发展历程L1.4 模型工程L1.4.1 知识大模型L1.4.2 生产大模型L1.4.3 模型工程方法论L1.4.4 模型工程实践L1.5 GPT应用案例
阶段2AI大模型API应用开发工程
目标掌握AI大模型API的使用和开发以及相关的编程技能。内容 L2.1 API接口L2.1.1 OpenAI API接口L2.1.2 Python接口接入L2.1.3 BOT工具类框架L2.1.4 代码示例L2.2 Prompt框架L2.2.1 什么是PromptL2.2.2 Prompt框架应用现状L2.2.3 基于GPTAS的Prompt框架L2.2.4 Prompt框架与ThoughtL2.2.5 Prompt框架与提示词L2.3 流水线工程L2.3.1 流水线工程的概念L2.3.2 流水线工程的优点L2.3.3 流水线工程的应用L2.4 总结与展望
阶段3AI大模型应用架构实践
目标深入理解AI大模型的应用架构并能够进行私有化部署。内容 L3.1 Agent模型框架L3.1.1 Agent模型框架的设计理念L3.1.2 Agent模型框架的核心组件L3.1.3 Agent模型框架的实现细节L3.2 MetaGPTL3.2.1 MetaGPT的基本概念L3.2.2 MetaGPT的工作原理L3.2.3 MetaGPT的应用场景L3.3 ChatGLML3.3.1 ChatGLM的特点L3.3.2 ChatGLM的开发环境L3.3.3 ChatGLM的使用示例L3.4 LLAMAL3.4.1 LLAMA的特点L3.4.2 LLAMA的开发环境L3.4.3 LLAMA的使用示例L3.5 其他大模型介绍
阶段4AI大模型私有化部署
目标掌握多种AI大模型的私有化部署包括多模态和特定领域模型。内容 L4.1 模型私有化部署概述L4.2 模型私有化部署的关键技术L4.3 模型私有化部署的实施步骤L4.4 模型私有化部署的应用场景
学习计划
阶段11-2个月建立AI大模型的基础知识体系。阶段22-3个月专注于API应用开发能力的提升。阶段33-4个月深入实践AI大模型的应用架构和私有化部署。阶段44-5个月专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
有需要的小伙伴可以Vx扫描下方二维码免费领取
