柳州网站建设之从技术到科学，中国AI向何处去？

部分观点：

1、AI时代序幕刚拉开，AI目前还处于初级阶段，犹如法拉第刚刚发现了交流电，还未能从技术上升为科学。

2、以深度学习为代表的AI研究这几年取得了诸多令人赞叹的进步，但部分也是运气的结果，其真正原理迄今无人知晓。

3、在遇到瓶颈后，深度学习有三个可能突破方向：深度学习的根本理解、自监督学习和小样本学习、知识与数据的有机融合。

4、AI在当下**的机会：用AI解决科学重要难题（AI for Science）。

引言

如果从达特茅斯会议起算，AI已经走过65年历程，尤其是近些年深度学习兴起后，AI迎来了空前未有的繁荣。不过，最近两年中国AI热潮似乎有所回落，在理论突破和落地应用上都遇到了挑战，外界不乏批评质疑的声音，甚至连一些AI从业者也有些沮丧。

从90年代到美国卡耐基梅隆大学读博开始，我有幸成为一名AI研究者，见证了这个领域的一些起伏。通过这篇文章，我将试图通过个人视角回顾AI的发展，审视我们当下所处的历史阶段，以及探索AI的未来究竟在哪里。

金榕-达摩院副院长 原密歇根州立大学终身教授

一   AI的历史阶段：手工作坊

虽然有人把当下归为第三波甚至是第四波AI浪潮，乐观地认为AI时代已经到来，但我的看法要谨慎一些：AI无疑具有巨大潜力，但就目前我们的能力，AI尚处于比较初级的阶段，是技术而非科学。这不仅是中国AI的问题，也是全球AI共同面临的难题。

这几年深度学习的快速发展，极大改变了AI行业的面貌，让AI成为公众日常使用的技术，甚至还出现了一些令公众惊奇的AI应用案例，让人误以为科幻电影即将变成现实。但实际上，技术发展需要长期积累，目前只是AI的初级阶段，AI时代才刚开始。

如果将AI时代和电气时代类比，今天我们的AI技术还是法拉第时代的电。法拉第通过发现电磁感应现象，从而研制出人类**台交流电发电机原型，不可谓不伟大。法拉第这批先行者，实践经验丰富，通过大量观察和反复实验，手工做出了各种新产品，但他们只是拉开了电气时代的序幕。电气时代的真正大发展，很大程度上受益于电磁场理论的提出。麦克斯维尔把实践的经验变成科学的理论，提出和证明了具有跨时代意义的麦克斯维尔方程。

如果人们对电磁的理解停留在法拉第的层次，电气革命是不可能发生的。试想一下，如果刮风下雨打雷甚至连温度变化都会导致断电，电怎么可能变成一个普惠性的产品，怎么可能变成社会基础设施？又怎么可能出现各种各样的电气产品、电子产品、通讯产品，彻底改变我们的生活方式？

这也是AI目前面临的问题，局限于特定的场景、特定的数据。AI模型一旦走出实验室，受到现实世界的干扰和挑战就时常失效，鲁棒性不够；一旦换一个场景，我们就需要重新深度定制算法进行适配，费时费力，难以规模化推广，泛化能力较为有限。

这是因为今天的AI很大程度上是基于经验。AI工程师就像当年的法拉第，能够做出一些AI产品，但都是知其然，不知其所以然，还未能掌握其中的核心原理。

那为何AI迄今未能成为一门科学？

答案是，技术发展之缓慢远超我们的想象。回顾90年代至今这二十多年来，我们看到的更多是AI应用工程上的快速进步，核心技术和核心问题的突破相对有限。一些技术看起来是这几年兴起的，实际上早已存在。

以自动驾驶为例，美国卡耐基梅隆大学的研究人员进行的Alvinn项目，在80年代末已经开始用神经网络来实现自动驾驶，1995年成功自东向西穿越美国，历时7天，行驶近3000英里。在下棋方面，1992年IBM研究人员开发的TD-Gammon，和AlphaZero相似，能够自我学习和强化，达到了双陆棋领域的大师水平。

不过，由于数据和算力的限制，这些研究只是点状发生，没有形成规模，自然也没有引起大众的广泛讨论。今天由于商业的普及、算力的增强、数据的方便获取、应用门槛的降低，AI开始触手可及。

但核心思想并没有根本性的变化。我们都是试图用有限样本来实现函数近似从而描述这个世界，有一个input，再有一个output，我们把AI的学习过程想象成一个函数的近似过程，包括我们的整个算法及训练过程，如梯度下降、梯度回传等。

同样的，核心问题也没有得到有效解决。90年代学界就在问的核心问题，迄今都未得到回答，他们都和神经网络、深度学习密切相关。比如非凸函数的优化问题，它得到的解很可能是局部**解，并非全局**，训练时可能都无法收敛，有限数据还会带来泛化不足的问题。我们会不会被这个解带偏了，忽视了更多的可能性？

二   深度学习：大繁荣后遭遇发展瓶颈

毋庸讳言，以深度学习为代表的AI研究这几年取得了诸多令人赞叹的进步，比如在复杂网络的训练方面，产生了两个特别成功的网络结构，CNN和transformer。基于深度学习，AI研究者在语音、语义、视觉等各个领域都实现了快速的发展，解决了诸多现实难题，实现了巨大的社会价值。

但回过头来看深度学习的发展，不得不感慨AI从业者非常幸运。

首先是随机梯度下降（SGD），极大推动了深度学习的发展。随机梯度下降其实是一个很简单的方法，具有较大局限性，在优化里面属于收敛较慢的方法，但它偏偏在深度网络中表现很好，而且还是出奇的好。为什么会这么好？迄今研究者都没有完美的答案。类似这样难以理解的好运气还包括残差网络、知识蒸馏、Batch Normalization、Warmup、Label Smoothing、Gradient Clip、Layer Scaling…尤其是有些还具有超强的泛化能力，能用在多个场景中。

再者，在机器学习里，研究者一直在警惕过拟合（overfitting）的问题。当参数特别多时，一条曲线能够把所有的点都拟合得特别好，它大概率存在问题，但在深度学习里面这似乎不再成为一个问题…虽然有很多研究者对此进行了探讨，但目前还有没有明确答案。更加令人惊讶的是，我们即使给数据一个随机的标签，它也可以完美拟合（请见下图红色曲线），最后得出拟合误差为0。如果按照标准理论来说，这意味着这个模型没有任何偏差（bias），能帮我们解释任何结果。请想想看，任何东西都能解释的模型，真的可靠吗，包治百病的良药可信吗？

来源：阿里技术