郑州郑州网站建设河南做网站公司,.net 手机网站开发,室内装饰设计师证书,跨境电商创业新手怎么做本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程#xff0c;针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导#xff0c;简化开源大模型的部署、使用和应用流程#xff0c;让更多的普通学生、研究者…本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导简化开源大模型的部署、使用和应用流程让更多的普通学生、研究者更好地使用开源大模型帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括 基于 Linux 平台的开源 LLM 环境配置指南针对不同模型要求提供不同的详细环境配置步骤 针对国内外主流开源 LLM 的部署使用教程包括 LLaMA、ChatGLM、InternLM 等 开源 LLM 的部署应用指导包括命令行调用、在线 Demo 部署、LangChain 框架集成等 开源 LLM 的全量微调、高效微调方法包括分布式全量微调、LoRA、ptuning 等。
什么是大模型 大模型LLM狭义上指基于深度学习算法进行训练的自然语言处理NLP模型主要应用于自然语言理解和生成等领域广义上还包括机器视觉CV大模型、多模态大模型和科学计算大模型等。 百模大战正值火热开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM国外如 LLaMA、Alpaca国内如 ChatGLM、BaiChuan、InternLM书生·浦语等。开源 LLM 支持用户本地部署、私域微调每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。 然而当前普通学生和用户想要使用这些大模型需要具备一定的技术能力才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM想要快速掌握一个开源 LLM 的应用方法是一项比较有挑战的任务。 本项目旨在首先基于核心贡献者的经验实现国内外主流开源 LLM 的部署、使用与微调教程在实现主流 LLM 的相关部分之后我们希望充分聚集共创者一起丰富这个开源 LLM 的世界打造更多、更全面特色 LLM 的教程。星火点点汇聚成海。 项目受众 本项目适合以下学习者 想要使用或体验 LLM但无条件获得或使用相关 API 希望长期、低成本、大量应用 LLM 对开源 LLM 感兴趣想要亲自上手开源 LLM NLP 在学希望进一步学习 LLM 希望结合开源 LLM打造领域特色的私域 LLM 以及最广大、最普通的学生群体。
项目规划及进展
本项目拟围绕开源 LLM 应用全流程组织包括环境配置及使用、部署应用、微调等每个部分覆盖主流及特点开源 LLM
项目地址
https://github.com/datawhalechina/self-llm?tabreadme-ov-file
已支持模型 Llama3_1-8B-Instruct Llama3_1-8B-Instruct FastApi 部署调用 Llama3_1-8B-Instruct langchain 接入 Llama3_1-8B-Instruct WebDemo 部署 Llama3_1-8B-Instruct Lora 微调 Gemma-2-9b-it Gemma-2-9b-it FastApi 部署调用 Gemma-2-9b-it langchain 接入 Gemma-2-9b-it WebDemo 部署 Gemma-2-9b-it Peft Lora 微调 Yuan2.0 Yuan2.0-2B FastApi 部署调用 Yuan2.0-2B Langchain 接入 Yuan2.0-2B WebDemo部署 Yuan2.0-2B vLLM部署调用 Yuan2.0-2B Lora微调 Yuan2.0-M32 Yuan2.0-M32 FastApi 部署调用 Yuan2.0-M32 Langchain 接入 Yuan2.0-M32 WebDemo部署 DeepSeek-Coder-V2 DeepSeek-Coder-V2-Lite-Instruct FastApi 部署调用 DeepSeek-Coder-V2-Lite-Instruct langchain 接入 DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署 DeepSeek-Coder-V2-Lite-Instruct Lora 微调 哔哩哔哩 Index-1.9B Index-1.9B-Chat FastApi 部署调用 Index-1.9B-Chat langchain 接入 Index-1.9B-Chat WebDemo 部署 Index-1.9B-Chat Lora 微调 Qwen2 Qwen2-7B-Instruct FastApi 部署调用 Qwen2-7B-Instruct langchain 接入 Qwen2-7B-Instruct WebDemo 部署 Qwen2-7B-Instruct vLLM 部署调用 Qwen2-7B-Instruct Lora 微调 GLM-4 GLM-4-9B-chat FastApi 部署调用 GLM-4-9B-chat langchain 接入 GLM-4-9B-chat WebDemo 部署 GLM-4-9B-chat vLLM 部署 GLM-4-9B-chat Lora 微调 Qwen 1.5 Qwen1.5-7B-chat FastApi 部署调用 Qwen1.5-7B-chat langchain 接入 Qwen1.5-7B-chat WebDemo 部署 Qwen1.5-7B-chat Lora 微调 Qwen1.5-72B-chat-GPTQ-Int4 部署环境 Qwen1.5-MoE-chat Transformers 部署调用 Qwen1.5-7B-chat vLLM推理部署 Qwen1.5-7B-chat Lora 微调 接入SwanLab实验管理平台 谷歌-Gemma gemma-2b-it FastApi 部署调用 gemma-2b-it langchain 接入 gemma-2b-it WebDemo 部署 gemma-2b-it Peft Lora 微调 phi-3 Phi-3-mini-4k-instruct FastApi 部署调用 Phi-3-mini-4k-instruct langchain 接入 Phi-3-mini-4k-instruct WebDemo 部署 Phi-3-mini-4k-instruct Lora 微调 CharacterGLM-6B CharacterGLM-6B Transformers 部署调用 CharacterGLM-6B FastApi 部署调用 CharacterGLM-6B webdemo 部署 CharacterGLM-6B Lora 微调 LLaMA3-8B-Instruct LLaMA3-8B-Instruct FastApi 部署调用 LLaMA3-8B-Instruct langchain 接入 LLaMA3-8B-Instruct WebDemo 部署 LLaMA3-8B-Instruct Lora 微调 XVERSE-7B-Chat XVERSE-7B-Chat transformers 部署调用 XVERSE-7B-Chat FastApi 部署调用 XVERSE-7B-Chat langchain 接入 XVERSE-7B-Chat WebDemo 部署 XVERSE-7B-Chat Lora 微调 TransNormerLLM TransNormerLLM-7B-Chat FastApi 部署调用 TransNormerLLM-7B-Chat langchain 接入 TransNormerLLM-7B-Chat WebDemo 部署 TransNormerLLM-7B-Chat Lora 微调 BlueLM Vivo 蓝心大模型 BlueLM-7B-Chat FatApi 部署调用 BlueLM-7B-Chat langchain 接入 BlueLM-7B-Chat WebDemo 部署 BlueLM-7B-Chat Lora 微调 InternLM2 InternLM2-7B-chat FastApi 部署调用 InternLM2-7B-chat langchain 接入 InternLM2-7B-chat WebDemo 部署 InternLM2-7B-chat Xtuner Qlora 微调 DeepSeek 深度求索 DeepSeek-7B-chat FastApi 部署调用 DeepSeek-7B-chat langchain 接入 DeepSeek-7B-chat WebDemo DeepSeek-7B-chat Lora 微调 DeepSeek-7B-chat 4bits量化 Qlora 微调 DeepSeek-MoE-16b-chat Transformers 部署调用 DeepSeek-MoE-16b-chat FastApi 部署调用 DeepSeek-coder-6.7b finetune colab Deepseek-coder-6.7b webdemo colab MiniCPM MiniCPM-2B-chat transformers 部署调用 MiniCPM-2B-chat FastApi 部署调用 MiniCPM-2B-chat langchain 接入 MiniCPM-2B-chat webdemo 部署 MiniCPM-2B-chat Lora Full 微调 官方友情链接面壁小钢炮MiniCPM教程 Qwen-Audio Qwen-Audio FastApi 部署调用 Qwen-Audio WebDemo
通用环境配置 pip、conda 换源 AutoDL 开放端口 模型下载 hugging face hugging face modelscope git-lfs Openxlab Issue PR Issue 提交 PR 提交 fork更新
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
AI大模型学习路线汇总 大模型学习路线图整体分为7个大的阶段全套教程文末领取哈
第一阶段 从大模型系统设计入手讲解大模型的主要方法
第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用
第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统
第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统
第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型
第六阶段 以SD多模态大模型为主搭建了文生图小程序案例
第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。
大模型实战案例 光学理论是没用的要学会跟着一起做要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。
大模型视频和PDF合集 观看零基础学习书籍和视频看书籍和视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。
学会后的收获 • 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力
• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求
• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握
• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。
获取方式
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】 文章知识点与官方知识档案匹配可进一步学习相关知识
