如何建设cpa影视网站,营销网站制作要素,南昌it培训机构,免费公众号编辑模板【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈人工智能与大模型应用 ⌋ ⌋ ⌋ 人工智能#xff08;AI#xff09;通过算法模拟人类智能#xff0c;利用机器学习、深度学习等技术驱动医疗、金融等领域的智能化。大模型是千亿参数的深度神经网络#xff08;如ChatGPT… 【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈人工智能与大模型应用 ⌋ ⌋ ⌋ 人工智能AI通过算法模拟人类智能利用机器学习、深度学习等技术驱动医疗、金融等领域的智能化。大模型是千亿参数的深度神经网络如ChatGPT经海量数据训练后能完成文本生成、图像创作等复杂任务显著提升效率但面临算力消耗、数据偏见等挑战。当前正加速与教育、科研融合未来需平衡技术创新与伦理风险推动可持续发展。 文章目录 前言一、为什么需要本地部署大模型二、DeepSeek R1简介DeepSeek-R1 ModelsDeepSeek-R1-Distill Models 三、在本地计算机部署DeepSeek R1一安装Ollama二下载DeepSeek R1三运行DeepSeek R1四安装Python五安装Microsoft Visual C Build Tools六使用Open WebUI增强交互体验七每次使用大模型的步骤八取消Ollama的开机自动启动 小结 前言 2025年1月中国春节期间DeepSeek爆火称为全球最炙手可热的大模型。DeepSeek一路 “狂飙”在美国科技界和美股市场掀起惊涛骇浪1月27日美国三大股指开盘即暴跌英伟达、微软、谷歌母公司Alphabet、Meta等美国主要科技股均遭遇股市地震其中英伟达跌近17%单日市值蒸发约6000亿美元创美股最高纪录。
这里以DeepSeek为例介绍在自己本地计算机上部署大模型的方法。操作过程中遇到很多错误借助于豆包大模型把每个错误都解决了顺利完成了安装过程。我的笔记本电脑是Windows10操作系统。实际上只要电脑具有8GB内存和30GB可用磁盘空间即可安装最小版本的DeepSeek R1大模型。
特别强调在自己本地计算机上部署DeepSeek R1大模型不需要读者具备任何计算机基础知识也不需要掌握任何编程知识只要会使用Windows操作系统就可以按照本文给出的步骤一步步执行就可以顺利完成所有操作。
一、为什么需要本地部署大模型
一般而言DeepSeek、文心一言、豆包、Kimi等在线的大模型功能非常强大完全可以很好满足我们的需求。所以大多数情况下我们不需要在本地部署大模型。但是当我们需要保护个人数据隐私时也可以考虑在本地部署大模型。
和直接使用在线大模型豆包、Kimi等相比在本地部署大模型具有以下优势
数据隐私与安全性。第一数据本地存储所有数据运算和存储均在本地完成不会上传至云端有效避免了数据在传输和云端存储过程中可能带来的隐私泄露风险。第二完全掌控数据用户可以完全掌控数据的使用和存储确保数据不被未经授权的访问或用于其他目的。第三隐私保护机制支持访问权限控制进一步增强数据安全性。定制化与灵活性。第一自定义知识库训练用户可以根据自己的需求对模型进行自定义知识库训练进一步提升模型在特定领域的性能。第二灵活调整模型参数根据业务需求灵活调整模型参数和功能满足不同场景下的个性化需求。第三开源灵活性开源模型一般都允许用户无限制地进行微调或将其集成到自己的项目中。离线与高效使用。第一离线访问本地部署后无需依赖网络连接适合旅行或网络不稳定的场景随时随地可用。第二避免服务器繁忙再也不用担心“服务器繁忙”的问题提升使用体验。成本与资源优化。第一成本可控长期使用比云服务更经济尤其适合高频调用场景。第二硬件友好对硬件资源要求较低可在较少GPU或高级CPU集群上运行资源效率显著。避免使用限制。本地部署避免了可能出现的使用限制不受未来商业化影响可永久免费使用。通过本地部署开源大模型用户不仅能够享受强大的AI功能还能在数据隐私、定制化需求和使用成本等方面获得显著优势。
二、DeepSeek R1简介
首先需要说明的是大模型的训练过程需要耗费大量的计算资源比如投入上亿元构建计算机集群去训练大模型训练成本比较昂贵个人是无法承担的。但是训练得到的大模型部署到计算机上就不需要那么高的计算资源要求。但是即使如此在DeepSeek出现之前很多市场上的大模型产品都是“贵族”模型“段位”很高通常需要依赖高端的硬件配置大量的GPU普通个人计算机一般很难运行大模型。2025年1月20日我国杭州深度求索公司的DeepSeek R1大模型正式发布它是一个基于深度学习的推荐系统模型通常用于处理推荐任务如商品推荐、内容推荐等。
Deepseek R1的发布标志着大模型产品的“平民”时代已经到来它大大降低了对计算机硬件的要求可以部署在普通的个人计算机上甚至部署在手机等便携式设备中。Deepseek采用了较为简洁高效的模型架构去除了一些不必要的复杂结构和计算在保证模型性能的基础上降低了对计算资源的需求使模型在本地计算机上运行更加轻松。通过先进的量化压缩技术Deepseek将模型的参数进行压缩存储和计算大大减少了模型所需的存储空间和计算量。2025年1月30日微软公司宣布支持在Win11电脑本地运行DeepSeek R1大模型。
DeepSeek R1对硬件资源比较友好对不同硬件配置有良好的适应性能根据用户计算机硬件配置选择合适的模型版本。入门级设备拥有4GB 存和核显就能运行1.5BBillion十亿大模型参数的数量版本进阶设备8GB内存搭配4GB显存就能驾驭7B版本高性能设备则可选择32B版本。而且DeepSeek R1支持低配置电脑即使是没有独立显卡的低配置电脑只要有足够的空余硬盘空间如部署最大的6710亿参数的大模型需要至少1TB的空余空间也能完成部署。
DeepSeek R1可以满足用户的数据隐私需求本地部署能将所有数据运算都限制在本地数据不会上传至云端可有效避免数据传输和存储在云端可能带来的隐私泄露风险满足用户对数据安全和隐私保护的要求。DeepSeek R1还可以满足定制需求用户可以根据自己的需求对模型进行自定义知识库训练进一步提升模型在特定领域的性能。
我们介绍了我们的第一代推理模型DeepSeek-R1-zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习RL训练的模型没有监督微调SFT作为初步步骤在推理方面表现出卓越的性能。有了强化学习DeepSeek-R1-Zero自然就出现了许多强大而有趣的推理行为。然而DeepSeek-R1-Zero遇到了诸如无休止的重复、可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能引入了DeepSeek-R1它在强化学习之前包含了冷启动数据。DeepSeek-R1在数学、代码和推理任务方面的性能可与OpenAI-o1媲美。为了支持研究社区目前开源了DeepSeek-R1-ZeroDeepSeek-R1以及基于Llama和Qwen的DeepSeek-R1提炼的六个密集模型。DeepSeek-R1-Distill-Qwen-32B在各种基准测试中优于OpenAI-o1-mini为密集模型实现了新的最先进的结果。 图1 AI模型在多项任务中的表现对比 DeepSeek以开源的特性和极低的成本在数学、编程、自然语言推理等任务上表现出色性能不亚于美国顶级AI模型。特别是DeepSeek-R1通过创新性运用强化学习技术以极少量标注数据实现了推理能力的跨越式提升。在数学、编程、语言理解等核心能力上完美比肩OpenAI-o1。这一系列创新成果不仅得到了行业的广泛认可也让世界看到了中国AI技术的崛起之势。
DeepSeek-R1 Models Model#Total Params#Activated ParamsContext LengthDownloadDeepSeek-R1-Zero671B37B128K HuggingFaceDeepSeek-R1671B37B128K HuggingFace
DeepSeek-R1- zero和DeepSeek-R1是基于DeepSeek-V3-Base训练的。关于模型架构的更多细节请参考DeepSeek-V3存储库。
DeepSeek-R1-Distill Models ModelBase ModelDownloadDeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B HuggingFaceDeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7B HuggingFaceDeepSeek-R1-Distill-Llama-8BLlama-3.1-8B HuggingFaceDeepSeek-R1-Distill-Qwen-14BQwen2.5-14B HuggingFaceDeepSeek-R1-Distill-Qwen-32BQwen2.5-32B HuggingFaceDeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct HuggingFace
DeepSeek-R1-Distill模型基于开源模型进行微调使用DeepSeek-R1生成的样本。稍微改变了它们的配置和标记器。
三、在本地计算机部署DeepSeek R1
本节将详细介绍如何通过Ollama和Open WebUI在本地计算机环境中部署DeepSeek R1大模型。本地计算机至少需要8GB内存和30GB剩余磁盘空间。
一安装Ollama
Ollama是一个开源的本地化大模型部署工具旨在简化大型语言模型LLM的安装、运行和管理。它支持多种模型架构并提供与OpenAI兼容的API接口适合开发者和企业快速搭建私有化AI服务。
访问Ollama官网https://ollama.com/ 点击“Download”如图2所示根据操作系统Windows、macOS或Linux下载自己操作系统对应的安装包如图3所示比如Windows用户可以点击“Windows”图标然后点击“Download for Windows”下载安装包。需要注意的是对于Windows系统这里仅支持Windows10及其以上版本。 图2 Ollama官网下载 图3 下载Windows版本Ollama 下载完成以后双击安装包文件“OllamaSetup.exe”完成安装。安装完成后在Windows系统中输入快捷键Win R再在弹出的对话框中输入“cmd”并回车打开cmd命令行工具窗口输入以下命令验证是否安装成功
ollama --version如果显示Ollama版本号说明安装成功如图4所示。 图4 Ollama安装成功 二下载DeepSeek R1
Ollama已经在第一时间支持DeepSeek R1模型下载地址是https://ollama.com/library/deepseek-r1。 请根据自己的显存选择对应的模型建议选择参数较少、体积最小的1.5B版本如果计算机的配置较高也可以选择参数较大的版本这里的B是英文Billion十亿表示参数模型的参数规模1.5B表示大模型的参数量是15亿。 图5 下载DeepSeek R1 当然我们可以不用到这个下载地址手动下载只需要在cmd命令行窗口中执行如下命令就可以自动下载DeepSeek R1大模型
ollama run deepseek-r1:1.5b该命令会自动下载并加载模型下载时间取决于网络速度和模型大小。注意如果在下载过程中出现长时间停滞不动可以敲击几次回车键。下载完成后可以使用以下命令查看模型信息
ollama list该命令会列出本地已下载的模型及其状态。
三运行DeepSeek R1
可以在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型
ollama run deepseek-r1:1.5b启动后模型会进入交互模式用户可以直接输入问题并获取回答。在交互模式下可以测试DeepSeek R1的多种功能如图6所示例如
智能客服输入常见问题如“如何学习人工智能”。内容创作输入“请为我撰写一篇介绍沙县小吃的宣传文案”。编程辅助输入“用Python绘制一个柱状图”。教育辅助输入“解释牛顿第二定律”。 图6 测试DeepSeek R1的功能 cmd窗口关闭以后DeepSeek R1大模型就停止运行了。下次再次使用时需要再次在cmd窗口中执行如下命令启动DeepSeek R1大模型
ollama run deepseek-r1:1.5b这种以命令行的方式与大模型进行对话显然不太友好因此下面介绍如何通过浏览器来与大模型进行对话这里就需要安装Open WebUI由于Open WebUI依赖于Python环境因此在安装Open WebUI之前需要首先安装Python环境注意只是需要安装Python环境并不需要学习Python语言读者可以完全不会Python语言大模型的安装和使用过程完全不会用到Python语言。如果读者没有使用浏览器与大模型对话的需求可以不用学习下面的安装步骤。
四安装Python
Python发音[ˈpaɪθən]是1989年由荷兰人吉多·范罗苏姆Guido van Rossum发明的一种面向对象的解释型高级编程语言。Python的第一个公开发行版于1991年发行在2004年以后Python的使用率呈线性增长并获得“2021年TIOBE最佳年度语言”称号这是Python第5次被评为“TIOBE最佳年度语言”它也是获奖次数最多的编程语言。发展到今天Python已经成为最受欢迎的程序设计语言之一。
Python可以用于多种平台包括Windows、Linux和MacOS等。这里使用的Python版本是3.12.2该版本于2024年2月6日发布不要安装最新的3.13版本。请到Python官方网站下载官网下载地址与自己计算机操作系统匹配的安装包比如64位Windows操作系统可以下载python-3.12.2-amd64.exe。运行安装包开始安装在安装过程中要注意选中“Add python.exe to PATH”复选框如图7所示这样可以在安装过程中自动配置PATH环境变量避免了手动配置的烦琐过程。 图7 下载Python安装包 然后点击“Customize installation”继续安装在选择安装路径时可以自定义安装路径比如设置为“C:\python312”并在“Advanced Options”下方选中“Install Python 3.12 for all users”如图8所示。 图8 安装Python 3.12 安装完成以后需要检测是否安装成功。可以打开Windows操作系统的cmd命令界面然后执行如下命令打开Python解释器
cd C:\python312
python如果出现图9所示信息则说明Python已经安装成功。 图9 Python 3.12安装成功 五安装Microsoft Visual C Build Tools
备注对于不同的计算机环境本步骤可能不是必须的读者可以先跳到第6步继续操作如果在下面的第6步遇到报错信息说“缺少Microsoft Visual C Build Tools”可以再回到本步骤安装Microsoft Visual C Build Tools然后再执行第6步的安装。
在安装Open WebUI之前在有些计算机上可能还需要安装Microsoft Visual C Build Tools否则安装Open WebUI过程会报错。可以到如下网址下载该工具安装包vs_BuildTools.exehttps://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/
下载完成以后双击安装包文件vs_BuildTools.exe进行安装在弹出的安装界面中如图10所示在界面左上角的“桌面应用和移动应用”下方选中“使用C的桌面开发”然后点击界面右下角的“安装”按钮完成安装。 图10 安装Microsoft Visual C Build Tools 六使用Open WebUI增强交互体验
只要是支持Ollama的WebUI都可以如Dify、AnythingLLM等。这里使用比较简单而且也是与Ollama结合比较紧密的Open WebUI。
可以在cmd命令行窗口中执行如下命令安装Open WebUI这里使用国内清华大学的安装源镜像这样可以加快安装速度
pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple注意如果在下载和安装过程中出现长时间停滞不动可以敲击几次回车键。
可以执行如下命令启动Open WebUI服务
open-webui serve注意如果启动以后看到下面界面如图11所示说明还没有启动成功需要继续等待。可以敲击几次回车。 图11 启动Open WebUI 在继续等待过程中可能屏幕上会出现一些错误信息里面会包含如下内容
requests.exceptions.ConnectTimeout: (MaxRetryError(HTTPSConnectionPool(hosthuggingface.co, port443)这个错误信息说明启动过程连接Hugging Face Hub失败。Hugging Face Hub网站在国外所以经常会连接失败所以导致open-webui启动过程始终停止不动。
直到出现下面屏幕信息以后如图12所示才说明启动成功了。 图12 Open WebUI启动成功 启动后在浏览器中访问http://localhost:8080/即可进入Open WebUI界面。如果网页显示“拒绝连接”无法访问Open WebUI界面一般是由于你的计算机开启了Windows防火墙可以点击“开始”菜单按钮在弹出的界面中在顶部的搜索框中输入“安全中心”如图13所示打开“Windows安全中心”点击左侧的“防火墙和网络保护”在右侧的“域网络”中关闭防火墙。 图13 关闭防火墙 Open WebUI支持中文界面可以在设置中调整语言默认是你的Windows系统当前正在使用的语言。首先需要注册一个管理员账号如图14所示然后就可以开始使用了。 图14 注册管理员账号 在Open WebUI界面中选择已下载的DeepSeek R1模型即可开始对话测试。如图15所示可以在对话框中输入“请介绍如何学习人工智能”然后回车页面就会给出DeepSeek R1的回答结果如图16所示。 图15 开启对话 图16 对话结果 七每次使用大模型的步骤
当我们本次使用完大模型时只需要关闭各个cmd命令行窗口大模型就停止运行了。下次要再次使用时还是按照一样的步骤进行操作
1. 启动大模型 新建一个cmd命令行窗口在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型
ollama run deepseek-r1:1.5b2. 启动Open WebUI
再新建一个cmd命令行窗口在cmd命令行窗口中执行如下命令启动Open WebUI服务
open-webui serve3. 在浏览器中访问大模型
在浏览器中访问http://localhost:8080/即可进入Open WebUI界面开始使用大模型。
八取消Ollama的开机自动启动
前面步骤已经完成了DeepSeek R1大模型的部署但是你会发现每次计算机关机以后再次启动计算机时Ollama会开机自动启动导致占用计算机系统资源。当我们平时不使用DeepSeek R1时为了让Ollama不占用计算机系统资源我们需要禁止Ollama开机自动启动。
在Windows10系统中输入快捷键Win R再在弹出的对话框中输入“msconfig”并回车进入如图17所示系统设置界面点击“启动”选项卡在这个选项卡中点击“打开任务管理器”进入如图18所示的任务管理器界面在界面中找到“ollama.exe”把鼠标指针放到“已启动”上面单击鼠标右键在弹出的菜单中点击“禁用”然后关闭任务管理器界面。经过这样设置以后Ollama以后就不会开机自动启动了。 图17 进入系统配置界面 图18 禁用ollama.exe 下次在使用DeepSeek时仍然采用之前介绍的方法在cmd命令行窗口中执行如下命令启动DeepSeek R1大模型
ollama run deepseek-r1:1.5b小结
本文详细介绍了如何在本地计算机上部署DeepSeek R1大模型主要针对普通用户和开发者提供了一个简便的安装流程并强调了本地部署大模型的优势。首先介绍了为什么需要本地部署大模型包括数据隐私与安全、定制化与灵活性、离线使用、高效性、成本可控等多方面的优势。相比于在线大模型本地部署能够有效保护用户的隐私数据避免信息泄露并允许用户根据实际需求对模型进行定制和调整提升使用体验。
接着介绍了DeepSeek R1大模型的基本概念及其发布背景。DeepSeek R1是一个具有高效、低资源消耗特性的推荐系统模型其优化了对计算资源的要求使得普通的个人计算机也能承载其运行。特别是DeepSeek R1支持不同硬件配置的设备适配不同规模的用户需求。这一创新使得大规模AI模型的使用不再局限于高端硬件环境普通用户也能在本地计算机上运行。
本文核心部分详细讲解了通过Ollama和Open WebUI等工具进行DeepSeek R1部署的步骤。从安装Ollama开始用户只需按照简单的命令行操作便能轻松完成模型的下载与运行。而对于更复杂的需求如通过浏览器与模型进行互动用户可以安装Python环境并结合Open WebUI实现更友好的操作界面。这一部分的讲解深入浅出即便没有编程经验的用户也能轻松上手按照步骤完成安装与配置。
此外还提到一些可能遇到的问题及其解决方案确保用户在遇到问题时能够找到对应的解决方法。例如针对下载过程中可能的停滞提供了按回车键的操作提示对于启动失败的情况也给出了详细的排查步骤。通过这些细致的提示有效降低了用户操作的复杂度和失败率。
总结来说本文为普通用户提供了一个清晰、易懂的指南帮助他们在本地计算机上部署并运行DeepSeek R1大模型。它不仅展示了如何通过简单的工具和命令实现AI技术的本地化使用也进一步说明了大模型应用的普及和便利性。通过这篇文章用户可以充分理解并享受到本地部署大模型带来的数据安全、定制化、离线使用等多方面的优势促进了AI技术的民主化。 欢迎 点赞 | 收藏⭐ | 评论✍ | 关注
