网站建设专业网站设计公司物格网,南宁企业网络推广,广州制作外贸网站,广东省做网站的公司前段时间#xff0c;来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且#xff0c;它能以非常少的参数量胜过以更大参数量运行的 MLP。
KAN的发布#xff0c;引起了AI社区大量的关注与讨论#xff0c;同时…前段时间来自 MIT 等机构的研究者提出了一种非常有潜力的替代方法 ——KAN。该方法在准确性和可解释性方面表现优于 MLP。而且它能以非常少的参数量胜过以更大参数量运行的 MLP。
KAN的发布引起了AI社区大量的关注与讨论同时也伴随很大的争议。 而此类研究又有了新的进展。
最近来自新加坡国立大学的研究者提出了 Kolmogorov–Arnold TransformerKAT用 Kolmogorov-Arnold NetworkKAN层取代 MLP 层以增强模型的表达能力和性能。 论文标题Kolmogorov–Arnold Transformer 论文地址https://arxiv.org/pdf/2409.10594 项目地址https://github.com/Adamdad/kat
KAN 原论文第一作者 Ziming Liu 也转发点赞了这项新研究。 将 KAN 集成到 Transformer 中并不是一件容易的事尤其是在扩展时。具体来说该研究确定了三个关键挑战
(C1) 基函数。KAN 中使用的标准 B 样条B-spline函数并未针对现代硬件上的并行计算进行优化导致推理速度较慢。
(C2) 参数和计算效率低下。KAN 需要每个输入输出对都有特定的函数这使得计算量非常大。
(C3) 权重初始化。由于具有可学习的激活函数KAN 中的权重初始化特别具有挑战性这对于实现深度神经网络的收敛至关重要。
为了克服上述挑战研究团队提出了三个关键解决方案
(S1) 有理基础。该研究用有理函数替换 B 样条函数以提高与现代 GPU 的兼容性。通过在 CUDA 中实现这一点该研究实现了更快的计算。
(S2) Group KAN。通过一组神经元共享激活权重以在不影响性能的情况下减少计算负载。
(S3) Variance-preserving 初始化。该研究仔细初始化激活权重以确保跨层保持激活方差。
结合解决方案 S1-S3该研究提出了一种新的 KAN 变体称为 Group-Rational KAN (GR-KAN)以取代 Transformer 中的 MLP。
实验结果表明GR-KAN 计算效率高、易于实现并且可以无缝集成到视觉 transformerViT中取代 MLP 层以实现卓越的性能。此外该研究的设计允许 KAT 从 ViT 模型加载预训练权重并继续训练以获得更好的结果。
该研究在一系列视觉任务中实证验证了 KAT包括图像识别、目标检测和语义分割。结果表明KAT 的性能优于传统的基于 MLP 的 transformer在计算量相当的情况下实现了增强的性能。 如图 1 所示KAT-B 在 ImageNet-1K 上实现了 82.3% 的准确率超过相同大小的 ViT 模型 3.1%。当使用 ViT 的预训练权重进行初始化时准确率进一步提高到 82.7%。
不过也有网友质疑道「自从有论文比较了具有相同参数大小的 MLP 模型和 KAN 模型的性能后我就对 KAN 持怀疑态度。可解释性似乎是唯一得到巨大提升的东西。」 对此论文作者回应道「的确原始 KAN 在可解释性上做得很好但不保证性能和效率。我们所做的就是修复这些 bug 并进行扩展。」 还有网友表示这篇论文和其他人的想法一样就是用 KAN 取代了 MLP并质疑为什么作者在尝试一些已经很成熟和类似的东西难道是在炒作 KAN对此 论文作者 Xingyi Yang 解释道事实确实如此但不是炒作根据实验简单地进行这种替换是行不通的他们在努力将这个简单的想法变成可能的事情。 Kolmogorov–Arnold Transformer KAT
作者表示标准的 KAN 面临三大挑战限制了其在大型深度神经网络中的应用。
它们分别是基函数的选择、冗余参数及其计算、初始化问题。这些设计选择使得原始版本的 KAN 是资源密集型的难以应用于大规模模型。
本文对这些缺陷设计加以改进以更好地适应现代 Transformer从而允许用 KAN 替换 MLP 层。
源码地址及其详细讲解免费
https://space.bilibili.com/51422950?spm_id_from333.1007.0.0
