检察门户网站建设情况,网站引导页作用,沈阳网络推广公司,上海建设官方网站文章目录 关于 StreamingLLM使用关于 StreamingLLM
Efficient Streaming Language Models with Attention Sinks GitHub : https://github.com/mit-han-lab/streaming-llm论文：https://arxiv.org/abs/2309.17453在流媒体应用程序（如多轮对话）中 部署大型语言模型（LLM）是迫… 文章目录 关于 StreamingLLM使用 关于 StreamingLLM
Efficient Streaming Language Models with Attention Sinks
GitHub : https://github.com/mit-han-lab/streaming-llm论文：https://arxiv.org/abs/2309.17453在流媒体应用程序（如多轮对话）中 部署大型语言模型（LLM）是迫切需要的，但这带来了两个主要挑战。 首先，在解码阶段，缓存先前 tokens’ Key and Value（KV）会消耗大量内存。 其次，流行的LLM不能推广到 比训练序列长度更长的文本。
Window attention，只缓存最新的KV，是一种自然的方法——但我们表明，当文本长度超过缓存大小时，它会失败。 我们观察到一个有趣的现象，即注意力下沉，即保持初始 tokens 的KV，将在很大程度上恢复窗口注意力的表现。
在本文中，我们首先证明了 attention sink 的出现是由于对作为“sink”的初始标记的
