网站开发女生可以做吗,网络推广哪家好,电子商务平台运营是做什么的,wordpress连接数据库不成功Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Neurips 24
推荐指数#xff1a; #paper/⭐⭐⭐#
摘要
我们的研究结果表明#xff0c;由于GNN中的超参数设置次优#xff0c;之前报道的GT的优越性可能被夸大了。值得注意的是#xff…Classic GNNs are Strong Baselines: Reassessing GNNs for Node Classification
Neurips 24
推荐指数 #paper/⭐⭐⭐#
摘要
我们的研究结果表明由于GNN中的超参数设置次优之前报道的GT的优越性可能被夸大了。值得注意的是通过轻微的超参数调整这些经典GNN模型就实现了最先进的性能在所检查的18个不同数据集中的17个数据集中与最近的GT相匹配甚至超过了。
贡献
通过适当的超参数调整经典GNN可以在具有多达数百万个节点的同配图和异配图的节点分类中实现极具竞争力的性能。值得注意的是经典GNN的表现优于最先进的GT在18个数据集中的17个数据集上排名第一。这表明之前声称的GT相对于GNN的优势可能被夸大了可能是由于GNN评估中的超参数配置次优。我们的消融研究对用于节点分类的GNN超参数有价值的见解。我们证明了1normalization对于大规模图至关重要;2Dropout始终被证明是有益的;3残差链接可以显着提高性能尤其是在异亲图上;4异配图上的GNN往往在更深的层中表现得更好
GNN训练的关键参数
Normalization
具体的是一般有Layer Normalization 和bath normalization两种 $$\boldsymbol{h}_v^l\sigma(\mathrm{Norm}(\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac{1}{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l)).$$
Dropout $$\boldsymbol{h}_v^l\mathrm{Dropout}(\sigma(\mathrm{Norm}(\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac1{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l))).$$
Residual Connections残差连接)
残差网络可以明显的增加GNN的性能通过将输入层和输出层链接到一起 $$\boldsymbol{h}_v^l\mathrm{Dropout}(\sigma(\mathrm{Norm}(\boldsymbol{h}_v^{l-1}\boldsymbol{W}_r^l\sum_{u\in\mathcal{N}(v)\cup\{v\}}\frac1{\sqrt{\hat{d}_u\hat{d}_v}}\boldsymbol{h}_u^{l-1}\boldsymbol{W}^l)))$$
网络深度
虽然DeepGCN和DeeperGCN等之前的研究主张使用最多56层和112层的深度GNN但我们的研究结果表明可以通过2-10层的GNN架构来实现相当的性能。
观测结果结论
对同配图的观察表2。经典GNN仅对超参数进行轻微调整在同配图的节点分类任务中具有高度竞争力在许多情况下往往优于最先进图transformer。
对异配图的观察表3。我们的实验显着增强了之前报道的异性图上经典GNN的最佳结果超越了为此类图量身定制的专业GNN模型甚至超越了领先的图Transformer架构。这一进步不仅支持而且强化了先前文章中的发现即传统GNN是异配图的有力竞争者挑战了它们主要适合同配图结构的普遍假设。
在roman-empire方面GCN的表现增长了17.58%。有趣的是我们发现改善主要源于残差连接我们的消融研究将对残余连接进行进一步分析
对大图上的观察表4。我们的实现显着增强了之前报告的经典GNN结果在某些情况下准确性出现了两位数的提高。它在这些大型Graph数据集无论是同配还是异配中取得了最好的结果并且性能优于最先进的图transformer。这表明消息传递对于学习大图上的节点表示仍然非常有效
总而言之基本GNN可以在大规模图形上实现最著名的结果这表明当前的Graph transformer尚未解决过度平滑和长距离依赖性等GNN问题。
消融
观察1normalizationBN或LN对于大规模图形上的节点分类很重要但在小图形上不太重要。
normalization在大图中始终至关重要去掉会导致GraphSAGE和GAT对ogbn蛋白的准确性分别降低4.79%和4.69%。我们认为这是因为大图显示了更广泛的节点特征从而导致整个图表中的数据分布不同。normalization有助于在训练期间标准化这些特征确保更稳定的分布。
观察2人们一致认为Dropout对于节点分类至关重要。
观察3残差连接可以显着提高特定数据集的性能对异配图的影响比对同配图的影响更明显。
观察4与同配图相比更深的网络通常会导致异性图的性能提高更大。
我们的研究对基础GNN模型在节点分类任务中的功效进行了彻底的重新评估。通过广泛的实证分析我们证明这些经典GNN模型可以达到或超过GT在各种图数据集上的性能挑战GT在节点分类任务中的明显优势。此外我们全面的消融研究还深入了解了各种GNN配置如何影响性能。我们希望我们的研究结果能够促进图机器学习研究中更严格的实证评估
总结
本文中使用的残差公式类似于 h v l h v l − 1 F ( h v l − 1 ) h_v^lh_v^{l-1}F(h_v^{l-1}) hvlhvl−1F(hvl−1)。其思想是将第i层输出和第i-1层的输入联系在一起
个人觉得其与雪花假设等有相似之处 $$\begin{equation} h_v^l \begin{cases} F(h_v^{l-1}) \text{if } v l, \\ h_v^{l-1} \text{if } v \geq l. \end{cases} \end{equation}$$
其思路是在第l层后使用Identity函数。
其思想都是认为在某种情况下原始特征已经和聚合的特征一样重要了。本文直接将原始特征和聚合特征相加雪花假设是在聚合特征到某种情况下后对此节点停止特征传播。哪种更有效可能在现在的手头的工作做完之后做消融
