access 网站后台,layui做网站,有没有电脑做兼职的网站,页面设计实训报告0 概述
Ollama是一个能在本机运行大语言模型的软件#xff0c;它提供命令行和API的交互方式#xff0c;对于需要考虑数据隐私的情景#xff0c;可以方便的使用Ollama部署大语言模型#xff0c;并在此基础上开发RAG等应用#xff0c;而无需调用OpenAI等开放API。Ollama基本…0 概述
Ollama是一个能在本机运行大语言模型的软件它提供命令行和API的交互方式对于需要考虑数据隐私的情景可以方便的使用Ollama部署大语言模型并在此基础上开发RAG等应用而无需调用OpenAI等开放API。Ollama基本上已经建立了比较完善的生态除了在系统中使用命令行、API等方式交互Langchain、Dify等开发框架也都支持Ollama另外也有非常多GUI客户端可以使用像在iPhone、iPad等移动端设备上也可以通过仅仅修改一个地址就能拥有属于自己的“ChatGPT”。
1 入门
1.1 下载安装
从官方网站https://ollama.com/直接下载安装即可
1.2 常用环境变量
1.2.1 OLLAMA_MODELS
模型下载目录
macOS下指定此目录此目录中会下载文件但在~/.ollama/models下也会下载文件
1.2.2 OLLAMA_HOST
Ollama监听网络地址默认监听回环地址
export OLLAMA_HOST0.0.0.0# or指定监听端口export OLLAMA_HOST0.0.0.0:80801.3 模型库
从官方网站可以查找支持的模型https://ollama.com/library
1.4 其他可用模型
ollama run roger/minicpm2 基本使用
2.1 下载模型
可以设置环境变量OLLAMA_MODELS来指定模型下载位置此步非必须因为大语言模型一般都比较大如果需要指定下载路径可以设置环境变量 注意修改下方的地址为自己电脑中的地址 export OLLAMA_MODELS/Volumes/SHAERGE/Appdata/Ollama下载模型
ollama pull gemma:2b查看模型信息
ollama show --modelfile gemma:2b# Modelfile generated by ollama show
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM gemma:2bFROM /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12
TEMPLATE start_of_turnuser
{{ if .System }} end_of_turn
start_of_turnmodel
end_of_turnPARAMETER repeat_penalty 1
PARAMETER stop start_of_turn
PARAMETER stop end_of_turn2.2 导出模型
记住上面的模型路径拷贝到一个新的文件模型格式为gguf例如 注意修改下方的地址为自己电脑中的地址 cp /Users/luogang/.ollama/models/blobs/sha256-c1864a5eb19305c40519da12cc543519e48a0697ecd30e15d5ac228644957d12 /Users/luogang/Downloads/gemma/gemma_2b.gguf2.3 创建模型
创建一个Modelfile文件最简形式如下
From /Users/luogang/Downloads/gemma/gemma_2b.gguf完整形式如下 使用如下命令创建Ollama模型
可以设置环境变量OLLAMA_MODELS来指定模型下载位置 注意修改上面的地址为自己电脑中的地址 ollama create mygemma:2b -f Modelfile然后使用
ollama run mygemma:2b可以正常使用 2.4 运行
如果指定的模型没有下载运行时会先下载
ollama run qwen:1.8b使用效果如下实际生成token的速度非常快 2.5 列出已下载模型
ollama list2.6 启动服务
macOS下
在macOS上点击Ollama图标运行程序后就已经启动服务了默认监听在11434端口
不过要注意从点击Ollama图标的方式运行的方式没有办法设置环境变量虽然在https://github.com/ollama/ollama/issues/703此处有人给出了解决方案 launchctl setenv OLLAMA_HOST 0.0.0.0:8080但经过尝试并不生效
Linux下
ollama serve在Linux下安装成功后会默认安装为一个服务系统启动后相当于自动执行了ollama serve此时可以修改systemd启动单元/etc/systemd/system/ollama.service 注意将下方Environment中的相关路径替换为自己的路径 [Unit]
DescriptionOllama ServiceA
fternetwork-online.target[Service]
ExecStart/usr/local/bin/ollama serve
Userollama
Groupollama
Restartalways
RestartSec3
EnvironmentPATH/home/luogang/.autojump/bin:/opt/anaconda3/bin:/opt/anaconda3/condabin:/home/luogang/.autojump/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda-11.8/bin:/usr/local/cuda-11.8/bin
EnvironmentOLLAMA_HOST0.0.0.0[Install]
WantedBydefault.targetEnvironmentOLLAMA_HOST0.0.0.0这一行是新增的编辑完成保存后执行如下命令
如果启动状态检查没有报错说明启动成功再次使用如下命令检查环境变量是否生效
netstat -an | grep 114342.7 REST API
更多API可以参考此处https://www.postman.com/postman-student-programs/workspace/ollama-api/collection/21521806-f48dc31a-a9f1-4dad-9082-fd07f5cd2fda
2.7.1 列出模型
curl http://localhost:11434/api/tags2.7.2 查看模型信息 2.7.3 生成
stream参数非必填默认为true下同 2.7.4 对话 2.7.5 Embedding 3 以服务的方式关联前端GUI使用
3.1 Echanted
在Ollama启动后双击运行或者ollama serve方式启动Echanted不需要做任何修改直接可以运行
3.1.1 macOS 3.1.2 iPadOS
iPadOS下支持Ollama的软件比较多比如Enchanted、OpenCat等Enchanted完全免费下面以此为例。
点击左上角的按钮展开侧边栏然后在最底下的Settings需要在设置中的OLLAMA下输入Ollama服务地址比如http://192.168.31.26:11434 要注意这个地址需要iPad能够访问到也就意味着Ollama服务启动时需要监听0.0.0.0 3.2 Open WebUI
直接使用Docker启动
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main登录后需要注册填写个人信息进行注册即可
进入界面后在界面顶端可以直接选择已经下载的模型
如何学习大模型
现在社会上大模型越来越普及了已经有很多人都想往这里面扎但是却找不到适合的方法去学习。
作为一名资深码农初入大模型时也吃了很多亏踩了无数坑。现在我想把我的经验和知识分享给你们帮助你们学习AI大模型能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习等录播视频免费分享出来需要的小伙伴可以扫取。 一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。 二、AI大模型视频教程 三、AI大模型各大学习书籍 四、AI大模型各大场景实战案例 五、结束语
学习AI大模型是当前科技发展的趋势它不仅能够为我们提供更多的机会和挑战还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型我们可以深入了解深度学习、神经网络等核心概念并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时掌握AI大模型还能够为我们的职业发展增添竞争力成为未来技术领域的领导者。
再者学习AI大模型也能为我们自己创造更多的价值提供更多的岗位以及副业创收让自己的生活更上一层楼。
因此学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
