做网站如何买量,织梦网站选空间,快站教程,怎么做网站推广毫州Code repo: https://github.com/SakanaAI/self-adaptive-llms 摘要
自适应大型语言模型#xff08;LLMs#xff09;旨在解决传统微调方法的挑战#xff0c;这些方法通常计算密集且难以处理多样化的任务。本文介绍了Transformer#xff08;Transformer-Squared#xff09;… Code repo: https://github.com/SakanaAI/self-adaptive-llms 摘要
自适应大型语言模型LLMs旨在解决传统微调方法的挑战这些方法通常计算密集且难以处理多样化的任务。本文介绍了Transformer²Transformer-Squared一种新颖的自适应框架通过在推理时选择性地调整权重矩阵的单个奇异分量来实时适应未见过的任务。Transformer²在参数数量较少且效率更高的情况下持续优于LoRA等常用方法。此外Transformer²在不同LLM架构和模态包括视觉语言任务中表现出色代表了自适应LLMs的重大进步。
引言
自适应LLMs代表了人工智能的重大进步提供了一个框架使模型能够实时调整以适应不同的任务和动态环境。传统的LLM训练方法试图在一次广泛的训练会话中优化模型的多种能力这在实践中难以实现。相比之下自适应模型提供了一种更灵活和高效的方法允许模型根据手头的任务动态修改其行为。
相关工作
自适应LLMs定义为一组LLMs或一个独立的LLM能够响应其操作环境或内部状态的变化而评估和修改其行为。低秩适应如LoRA通过引入小的可训练低秩矩阵来实现任务特定的更新。SVD用于LLM微调使用SVD来近似原始权重矩阵以提高效率。
方法 Transformer²
Transformer²的构建包括两个主要步骤 奇异值微调SVF通过RL学习紧凑且可组合的专家向量基于基础模型权重的SVD。 自适应策略在推理时动态组合SVF训练的专家向量提供三种不同的自适应策略 提示工程构建新的“适应”提示直接询问LLM分类输入提示。分类专家使用专门的系统处理任务识别。少样本适应通过线性插值在K个学习到的SVF向量之间进行加权组合。
实验
实验评估了Transformer²在多个任务和模型上的表现
SVF性能在GSM8K、MBPP-Pro和ARC-Easy任务上SVF提供了显著且一致的性能提升。自适应性能在未见过的任务如MATH、Humaneval、ARC-Challenge上Transformer²的自适应策略展示了改进。 结论
本文介绍了Transformer²提供了一个实现自适应LLMs的新蓝图。通过SVF和三种自适应策略Transformer²展示了在提高模型适应性和任务特定性能方面的优势。未来的工作可以集中在模型合并和高效适应技术上以实现更强大的自适应LLMs。
