第14章 万事俱备

第14章 万事俱备 (第2/2页)

更深的网络特别难以训练，因此原本直到14年，谷歌和牛津才分别把这个深度推进到22层和19层。
　　
　　而ResNet的思想，彻底从根本上解决了网络变深就没法顺利训练的问题。它让50，100，150，甚至1000层网络的训练成为可能。
　　
　　“从去年的8，到今年的100+层，甚至1000层也可以训练。在2013年的视角来看，这一剂猛药应该够劲了。”
　　
　　不仅是深度上取得了开创性的突破，ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构，单模型达到了4.6%左右。
　　
　　如果综合几个不同方式训练的ResNet，平均他们的输出再去预测的话，其TOP-5错误率甚至低至3.7%。
　　
　　“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中，该数据集中的标签其实有不小的比例是错误的，越贴近百分之百的准确率反而越有一些荒诞的感觉。
　　
　　ResNet的Res指residual，正经点说是残差，说得明白一些是一种短路或者是跳跃链接。
　　
　　再说的浅显一点，假设原本的操作为f(x)，ResNet就是把计算过程从f(x)改为f(x)+x。
　　
　　这也是孟繁岐最早与付院长讨论的内容之一。
　　
　　这种不带任何参数的支路链接，直接把操作前的内容加到操作后的内容上，是深度网络突然能够在上千层的深度下收敛的秘密所在。
　　
　　在此之后的几乎所有AI文章，都很难绕得开这个思路。恺明本人单就这一篇文章，就在六七年的时间内收获了十五六万的文章引用。
　　
　　不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客，著名华国美国双料科学院士抽出一个来，至今为止所有文章的总引用数量加在一起五万多都算是多的了。
　　
　　当然了，单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。
　　
　　很多基本学科曲高和寡，看得人少写得人也少。引用自然就上不去。
　　
　　但就AI这个实用性实验性比较强的学科来说，内部去对比的话，引用的多少含金量还是相当之高的。
　　
　　大家只会用代码投票，有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术，则会被一直引用下去。
　　
　　学术界一直有这样的说法，搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。
　　
　　恺明凭借几篇代表作奠定自己历史地位后，就总有个别人喜欢说什么“ResNet的思想早就有人提过了”，“几十年前的东西不算什么新东西”，“这篇文章也就是流量大罢了，和流量明星是一样的”。
　　
　　酸味都要溢出屏幕了。
　　
　　孟繁岐不是没读过一些理论类的文章，但他个人觉得新时代的AI，P话谁都会说，代码写出来才是本事。你说几十年前就有的东西，怎么不写一个ResNet突破人类水准呢？
　　
　　ResNet的核心代码难写吗？不难的。
　　
　　基于阿里克斯的框架，只需几个小时的时间，他就可以基本复现出ResNet论文中的所有结构。
　　
　　弱小和无知不是生存的障碍，傲慢才是。