主流的网站开发技术,医院网站建设选哪家,中企动力邮箱官网,网站服务器怎么迁移7 月 18 日#xff0c;Meta 发布了 Llama#xff0c;大语言模型 Llama 1 的进阶版#xff0c;可以自由免费用于研究和商业#xff0c;支持私有化部署。 所以本期 Star History 的主题是#xff1a;帮助你快速把 Llama 2 在自己机器上跑起来的开源工具#xff0c;无论你的…7 月 18 日Meta 发布了 Llama大语言模型 Llama 1 的进阶版可以自由免费用于研究和商业支持私有化部署。 所以本期 Star History 的主题是帮助你快速把 Llama 2 在自己机器上跑起来的开源工具无论你的机器是什么 Llama Llama 本身是个开源的基础大语言模型 (LLM)由网上公开可获取到的数据训练完成。它于今年 2 月正式开源五个月之后就发布了新一代版本Llama 2。 相比原版Llama 2 在 2 万亿个标记上进行了训练上下文长度翻了一倍有 3 种不同大小的参数7B, 13B 和 70B参数的区别在于你希望使用更小、更快速的还是准确性更高的模型 llama.cpp llama.cpp 是在 Meta 官方公告里提到的社区在 Llama 上实现的成果之一用 C 重写了 Llama 的推理代码通过一些优化和量化权重颠覆了我们的认知它可以在普通硬件上本地快速运行大型 LLM比如可以
在 Google Pixel5 上以 1 token/s 的速度运行 7B 参数模型。在 M2 Macbook Pro 上以 16 token/s 运行 7B 参数模型。在 4GB RAM 的 Raspberry Pi 上运行 7B 模型速度 0.1 token/s。
这个项目是如此成功以至于作者 Georgi Gerganov 把自己的 side project 正式成立为了一家初创公司 ggml.ai (这是个用于机器学习的张量库llama.cpp 和 whisper.cpp 的背后都用着它) Ollama Ollama 为运行、创建和分享大型语言模型比如 Llama 2而设计现支持 macOS 系统Windows 和 Linux 用户暂时需要自己通过源码编译。下好 Ollama 后运行 ollama run llama2 就可以在你的 Mac 上用 Llama 2 了。 Ollama 的作者之前在 Docker 工作过开源语言模型的兴起让他觉得大型语言模型也需要类似的东西所以就有了为预先编译好的包而用户可以自己调节一些参数。
MLC LLM MLC LLM 旨在让你能在任何设备上开发、优化和部署 AI 模型。任何语言模型都可以在各种硬件后端和本地应用程序上原生部署支持的设备包括各种移动端平板端电脑端和 Web 浏览器无需服务器支持你也可以进一步优化模型性能以适应自己的使用场景。 MLC Chat 已经在苹果应用市场上线了现支持 Llama-2-7b 模型好奇的小编立刻试用了一下很简单好用就是手机容易发烫。题外话感觉 Llama 2 还有很大增长空间呀 LlamaGPT LlamaGPT 实力证明了 AI 浪潮依然强劲五天前才开源GitHub 现在已经有 6.6K 星星了。 它是个自托管的聊天机器人体验类似 ChatGPT不会将任何数据传输到外部设备目前三种 Llama 的模型都已经支持上了背后也用到了之前提到的 llama.cpp。所以和前的几个工具相比的话LlamaGPT 是一个更完整的应用程序包含了 UI也不需要手动设置任何内容、优化参数这应该是最适合非技术人员用上 Llama 2 的方法了。 最后 作为开源、免费、可商用的大语言模型Llama 把我们和 AI 的距离又拉近了一些虽然相比一些收费模型Llama 还是差了一点意思但是就像 Meta 在新闻通稿里提到的「我们经历了开源带来的好处比如 React 和 PyTorch 这些已经成为整个技术行业常用基础设施。我们相信公开分享大型语言模型将支持有益且更安全地生成 AI 技术的发展。」相信有了社区的力量Llama 和周边生态会越来越棒
最后的最后当然还有很多其他方式用上 Llama 2比如通过 Homebrew 下载Poe等等等等更多可以参考以下
https://simonwillison.net/2023/Aug/1/llama-2-mac/https://huggingface.co/blog/llama2https://replicate.com/blog/run-llama-locally 你可以访问官网免费注册云账号立即体验 Bytebase。
