如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。
“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。
ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。
再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。
这也是孟繁岐最早与付院长讨论的内容之一。
这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。
这章没有结束,请点击下一页继续阅读!
在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。
不得不说这是一个天文数字。要知道即便是Nature Cell Science三大世界级顶刊常客,着名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。
当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。
很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。
但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。
大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。
学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。
恺明凭借几篇代表作奠定自己历史地位后,就总有个别人