14年仍在人工智能技术崛起的早期,主要是由阿里克斯在模型参数量上的创举和孟繁岐的残差网络敲开了深度的大门,完成了两次性能飞跃。
从而实现了对传统办法的性能碾压态势,迫使许多领域在1-2年内不得不转型采用人工智能方法。
因为性能实在差太多了,不换根本行不通。
孟繁岐的好友唐璜当年在读研的时候,导师就迟迟不肯转移重心到深度学习上面,认为该系列方法缺乏理论,不如传统办法优雅。
传统办法逻辑严谨,证明优美,是不少老学究的心头好。
结果拖到17年左右,文章都发不出去了,性能不够啊。
投出去经常都是直接被拒稿,说你这个办法效果太差,没有价值。
硬着头皮挺了一年,实在是挺不下去了,没办法,人还是要吃饭的嘛...
打不过就只能加入,老教授牙一咬心一横,管他什么理论不理论,我也来搞一个人工智能模型跑一跑。
一埋头,也加入了AI大军。
不过那是几年之后了,此时的大家还是比较在意理论的。比如席尔瓦和戴密斯,就很在意孟繁岐重参数化的数学形式。
一是因为时间早,许多人心里还是放不下传统理论,看到什么现象和提升,都想把它解释清楚解释明白。
对深度网络的[黑盒]属性,大肆抨击。
二也怪孟繁岐,在提出残差网络的时候,参考鄂维南的想法,拉上了韩辞给了世界一个太过合理的理论解释。
残差网络就是数值分析中的迭代办法,这个解释多优雅呀。
原本时间线恺明提出残差网络的时候,更多地还是从工业和实验的角度上去讨论。
至于理论原理....那就是未解之谜了。
不过,只要性能够好,这些都不是什么问题。
只能够提升一点性能,大家会质疑你,为什么解释不清楚。
而若是能够把性能拉满,大家就会质疑自己,为什么想不明白。
更何况,当时孟繁岐借韩辞之口,将鄂维南院士为残差网络所做的理论解释公之于众,一时间传为美谈。
很多学者都觉得,好哇,人工智能这个黑盒终于有救啦!
与动力系统构建了桥梁,那可以解释的地方就太多了。
F(x)+ x的形式,一句欧拉前向形式,就给予了完美的解释。
优雅,太优雅了。
不过优雅却也只是一时的,众人很快回过味来。