建设网站如入什么费,微信导航wordpress,域名解析查询,php搭建一个简单的网站LLMs之Llama-3#xff1a;Llama-3.3的简介、安装和使用方法、案例应用之详细攻略 目录
相关文章
LLMs之LLaMA#xff1a;LLaMA的简介、安装和使用方法、案例应用之详细攻略
LLMs之LLaMA-2#xff1a;LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途…LLMs之Llama-3Llama-3.3的简介、安装和使用方法、案例应用之详细攻略 目录
相关文章
LLMs之LLaMALLaMA的简介、安装和使用方法、案例应用之详细攻略
LLMs之LLaMA-2LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之Llama-3Llama 3的简介、安装和使用方法、案例应用之详细攻略
LLMs之llama3-from-scratchllama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之Llama-3.1Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
MLM之Llama-3Llama 3.2的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama-3Llama-3.3的简介、安装和使用方法、案例应用之详细攻略
Llama-3.3的简介
1、Meta Llama 3.3 的模型信息
2、特点
3、基准测试
4、伦理考量和局限性
Llama-3.3的安装和使用方法
1、安装
2、使用方法
使用llama
工具使用 (Tool use with transformers)
使用bitsandbytes
3、责任与安全
Llama 3.3的案例应用 相关文章
LLMs之LLaMALLaMA的简介、安装和使用方法、案例应用之详细攻略
LLMs之LLaMALLaMA的简介、安装和使用方法、案例应用之详细攻略_chinese_calendar每年手动更新-CSDN博客 LLMs之LLaMA-2LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_llama2-CSDN博客 LLMs之Llama-3Llama 3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3Llama 3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客 LLMs之llama3-from-scratchllama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
https://yunyaniu.blog.csdn.net/article/details/139078566 LLMs之Llama-3.1Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3.1Llama 3.1的简介、安装和使用方法、案例应用之详细攻略-CSDN博客 MLM之Llama-3Llama 3.2的简介、安装和使用方法、案例应用之详细攻略
MLM之Llama-3Llama 3.2的简介、安装和使用方法、案例应用之详细攻略_llama 3.2安装教程-CSDN博客 LLMs之Llama-3Llama-3.3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama-3Llama-3.3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客 Llama-3.3的简介
2024年12月6日Meta发布Llama 3.3是一个70B参数的多语言大型语言模型(LLM)经过预训练和指令微调支持多种语言的文本输入和输出在常见行业基准测试中优于许多开源和闭源聊天模型。经过精心设计在多个基准测试中表现出色并具有明确的许可协议和反馈机制。
Meta Llama 3.3是一个强大的多语言大型语言模型在多个基准测试中表现出色。它具有广泛的应用前景但同时也存在一些伦理和安全方面的挑战。Meta 采取了多项措施来确保模型的安全性和负责任的使用包括采用三管齐下的安全策略、进行全面的红队测试、提供多种工具和资源以及积极参与开源社区。开发人员在使用Llama 3.3时需要遵守许可协议注意其使用范围和局限性并进行必要的安全测试和微调以确保其应用的安全性和可靠性。 模型的开放性、包容性和有用性是其核心价值观但同时也需要持续关注和改进以最大限度地减少潜在风险。
总而言之Llama 3.3 70B 模型是一个高性能、低成本、多语言、注重安全性的生成式 AI 模型在教育、软件开发和企业应用等多个领域具有广泛的应用前景。
HuggingFacehttps://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
官网https://www.llama.com/docs/overview/
GitHubllama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models · GitHub 1、Meta Llama 3.3 的模型信息 模型架构基于优化的Transformer架构的自回归语言模型微调版本使用监督微调(SFT)和基于人类反馈的强化学习(RLHF)来对齐人类对有用性和安全性的偏好。 训练数据使用了公开可用的在线数据混合集包含超过15万亿个token。截止日期为2023年12月。支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。模型使用了分组查询注意力(GQA)以提高推理的可扩展性。 模型发布日期70B指令微调版本2024年12月6日。这是一个基于离线数据集训练的静态模型未来版本将随着社区反馈改进模型安全性而发布。 许可证采用自定义商业许可证——Llama 3.3社区许可协议 (https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)。 2、特点
Llama 3.3适用于多种语言的商业和研究用途。指令微调的纯文本模型适用于类似助手的聊天而预训练模型可以适应各种自然语言生成任务。Llama 3.3模型还支持利用其模型的输出改进其他模型包括合成数据生成和蒸馏。Llama 3.3社区许可证允许这些用例。 微调数据采用多方面的方法收集数据结合来自供应商的人工生成数据和合成数据以减轻潜在的安全风险。 强大的性能成本更低Llama 3.3 70B 模型的性能与 Meta Llama 405B 模型相似但成本更低使高质量的生成式 AI 能够惠及更广泛的受众。 改进的输出能够生成逐步推理和准确的 JSON 响应以满足结构化数据需求。 扩展的语言支持支持八种主要语言包括英语、法语、印地语和泰语等具有多语言能力。 增强的编码能力涵盖更多编程语言改进错误处理并提供详细的代码反馈。 任务感知工具使用更智能的工具调用尊重预定义参数并避免不必要的调用。 新功能本版本引入了新功能包括更长的上下文窗口、多语言输入和输出以及开发人员与第三方工具的集成。 评估对Llama模型进行了常见用例和特定功能的评估。常见用例评估衡量了大多数常用应用程序包括聊天机器人、编码助手、工具调用系统的安全风险。 红队测试进行了反复的红队测试目的是通过对抗性提示发现风险并利用这些经验来改进基准测试和安全微调数据集。 注重责任Meta 的安全协议确保模型不仅强大而且符合道德 AI 标准。内置安全防护措施例如 Llama Guard 3 和 Prompt Guard可防止滥用。 开源合作Meta积极参与开放联盟包括AI联盟、人工智能合作组织和MLCommons积极为安全标准化和透明度做出贡献。 社区资源提供了一套资源包括输出报告机制和漏洞赏金计划以在社区的帮助下不断改进Llama技术。 其他语言支持Llama 3.3已在比8种支持语言更广泛的语言集合上进行了预训练。开发者可以对Llama 3.3模型进行微调以支持这8种语言之外的语言前提是他们遵守Llama 3.3社区许可证和《可接受使用政策》在这种情况下开发者有责任确保在其他语言中使用Llama 3.3的方式安全可靠。 3、基准测试
指令微调模型列出了Llama 3.3与之前模型在多个基准测试上的结果比较包括MMLU、Steerability、Reasoning、Code、Math和Multilingual等方面。 4、伦理考量和局限性 核心价值观Llama 3.3的核心价值观是开放性、包容性和有用性。 潜在风险Llama 3.3是一项新技术与任何新技术一样其使用也存在风险。迄今为止进行的测试并未涵盖所有场景模型在某些情况下可能会产生不准确、有偏差或其他令人反感的回应。 开发人员责任在部署任何Llama 3.3模型应用程序之前开发人员应进行针对其特定模型应用程序的安全测试和微调。 Llama-3.3的安装和使用方法
1、安装 使用Transformers提供了使用Transformers库 (版本4.45.0) 进行对话式推理的代码示例包括使用pipeline和Auto类以及generate()函数。 训练因素使用自定义训练库、Meta的定制GPU集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。 训练能耗在H100-80GBTDP为700W类型的硬件上使用了累计3930万GPU小时的计算量。表格中列出了训练时间、训练功耗、基于位置的温室气体排放量和基于市场的温室气体排放量。 训练数据预训练数据来自公开来源约15万亿个token。微调数据包括公开可用的指令数据集以及超过2500万个合成生成的示例。预训练数据的截止日期为2023年12月。 2、使用方法
提供了使用Llama 3.3模型的不同方法包括使用流行的深度学习库Transformers和bitsandbytes进行高效的推理和内存优化以及使用原始llama代码库的方法。
使用llama
建议遵循代码库中的说明。提供了使用huggingface-cli下载原始检查点的命令示例。
import transformers
import torchmodel_id meta-llama/Llama-3.3-70B-Instructpipeline transformers.pipeline(text-generation,modelmodel_id,model_kwargs{torch_dtype: torch.bfloat16},device_mapauto,
)messages [{role: system, content: You are a pirate chatbot who always responds in pirate speak!},{role: user, content: Who are you?},
]outputs pipeline(messages,max_new_tokens256,
)
print(outputs[0][generated_text][-1])工具使用 (Tool use with transformers)
支持多种工具使用格式并提供了使用Transformers的聊天模板进行工具调用的示例包括定义工具、创建聊天和应用聊天模板以及处理模型生成的工具调用和结果。
# First, define a tool
def get_current_temperature(location: str) - float:Get the current temperature at a location.Args:location: The location to get the temperature for, in the format City, CountryReturns:The current temperature at the specified location in the specified units, as a float.return 22. # A real function should probably actually get the temperature!# Next, create a chat and apply the chat template
messages [{role: system, content: You are a bot that responds to weather queries.},{role: user, content: Hey, whats the temperature in Paris right now?}
]inputs tokenizer.apply_chat_template(messages, tools[get_current_temperature], add_generation_promptTrue)你可以像平常一样从这个输入生成文本。如果模型生成了一个工具调用你应该像这样将其添加到聊天中
tool_call {name: get_current_temperature, arguments: {location: Paris, France}}
messages.append({role: assistant, tool_calls: [{type: function, function: tool_call}]})然后调用该工具并将结果附加到其中就像这样
messages.append({role: tool, name: get_current_temperature, content: 22.0})在此之后您可以再次生成()让模型在聊天中使用工具的结果。请注意这只是对工具调用非常简要的介绍——如需了解更多信息请参阅LLaMA提示格式文档和Transformers工具使用文档。 使用bitsandbytes
可以使用bitsandbytes和Transformers库对模型进行8位和4位量化以优化内存使用。提供了相应的代码示例。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizermodel_id meta-llama/Llama-3.3-70B-Instruct
quantization_config BitsAndBytesConfig(load_in_8bitTrue)quantized_model AutoModelForCausalLM.from_pretrained(model_id, device_mapauto, torch_dtypetorch.bfloat16, quantization_configquantization_config)tokenizer AutoTokenizer.from_pretrained(model_id)
input_text What are we having for dinner?
input_ids tokenizer(input_text, return_tensorspt).to(cuda)output quantized_model.generate(**input_ids, max_new_tokens10)print(tokenizer.decode(output[0], skip_special_tokensTrue))3、责任与安全 负责任的发布方法采用了三管齐下的策略来管理信任和安全风险使开发人员能够为其目标受众和Llama支持的用例部署有用、安全和灵活的体验保护开发人员免受试图利用Llama功能造成潜在危害的恶意用户的攻击为社区提供保护以帮助防止滥用我们的模型。 负责任的部署Llama是一个基础技术设计用于各种用例。Meta的Llama模型的负责任部署示例可以在其社区故事网页上找到。 Llama 3.3指令微调安全微调的主要目标是为研究界提供一个宝贵的资源用于研究安全微调的稳健性并为开发人员提供一个随时可用、安全且强大的模型用于各种应用程序以减少开发人员部署安全AI系统的工作量。 Llama 3.3的案例应用
持续更新中…… 教育领域为学生和教育工作者提供多语言 AI 助手。 软件开发领域通过准确的代码辅助来提高生产力。 企业应用简化客户支持、数据分析和内容生成。
