网站备案图标,灯饰网站建设哪家便宜,安庆网站开发人员,视觉设计网站有哪些What’s Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders 碎碎念#xff1a;一篇论文看四天#xff0c;效率也没谁了(捂脸) 看一点忘一点#xff0c;虽然在本子上有记录#xff0c;但还是忘#xff0c;下次看一点在博客上记一点启发 本来很…What’s Behind the Mask: Understanding Masked Graph Modeling for Graph Autoencoders 碎碎念一篇论文看四天效率也没谁了(捂脸) 看一点忘一点虽然在本子上有记录但还是忘下次看一点在博客上记一点启发 本来很不理解计算机专业为啥还要做实验(以前觉得实验式生物化学物理那种)其实从这篇论文中可以看到从实验结果得出来了很多结论而且实验结果也进一步论证了作者的推理 一定要看附录附录有时候也有很有用的信息 MaskGAE主要是在理论上分析了为什么设计这样的架构并且把生成式学习和对比式学习以互信息的视角统一了起来即都是最大化互信息(公式推的没看明白只能借助gpt大致理解一下如果有不对的麻烦大家批评指正) 对比学习是最大化正样本对的互信息生成式学习是最大化相邻节点子图的互信息让模型能够学习到相邻节点间的相似性使得节点的表征能够更好地反映图的局部结构 还从互信息的角度提出了子图重叠问题导师邻居节点信息一致性会掩盖细粒度的差异文中提到边信息的冗余对下游任务影响较小所以掩盖边让编码器学习到节点信息提出了边掩码和路径掩码路径掩码是连续掩码一条路(采用随机游走策略)使其更好学习到全局信息又提出了结构解码器和度解码器度解码器相当于是对结构解码器的一个约束限制模型过度依赖单一重构任务通过度数来补充结构性信息可以借鉴负边指的节点之间没有连接正边指的节点之间有连接而且本文提出encoder获得的节点嵌入是把每一层编码器的输出进行拼接得到的嵌入流程图 可以借鉴 本文中的评估策略可以借鉴而且那个早停方法防止训练时间过长也挺有意思的在链接预测任务中提到预训练和下游任务都是进行预测所以减少了这两个之间的差异性所以结果较好在节点分类任务中看到GAE在此任务中比对比学习差很多说明GAE的泛化能力不行而且实验结果也表明路径掩码更好掩码策略使得在训练时只是未被掩码的参与训练故如果是大规模图也会表现很好在稀疏图上没有稠密图上表现出色感觉可以是一个研究方向GCN作为encoder编码器比其他GNN模型表现更好
