About coatnet

[ShiveryMoon]

感觉博主对coatnet的实现在很多地方有问题（也吐槽一下coatnet这篇论文很多细节都没说清楚）
我觉得最重要的一个概念是文章作者所说的relative attention。文章本身也没聊这个概念，不过它在这个概念的基础上折腾了一下卷积和自注意力的权重公式。最最关键的是，作者是通过引入全局静态卷积核来融合卷积与transformer的（说得更简单一点就是，人论文里模型的图中写的是Rel-Attention，而不是普通的Attention）。说实话这个全局静态卷积核我是没有在博主你的实现里看到。
另外，我好像也没看到任何残差连接，x = out + x呢。。
抱歉，大晚上脑子有点晕，很多表述不是很妥，不过我觉得我想说的核心问题还是表达出来了