**AI的三大支柱：神经网络、大数据与GPU计算的崛起之路**

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

在普林斯顿攻读计算机科学研究生的第一个学期，我选修了COS 402课程：人工智能。在学期接近尾声时，有一节课讨论了神经网络。这是在2008年秋季，那堂课和教材都给我留下了深刻印象，似乎神经网络已经变成了一个“无人问津”的领域。

神经网络在20世纪80年代末和90年代初取得了一些令人瞩目的成果，但后来进展停滞。到2008年，许多研究人员已经转向了支持向量机等更具数学美感的方法。

当时我并不知道，就在我听课的同一栋计算机科学大楼里，普林斯顿的一个团队正在开展一个即将颠覆这一传统观点的项目。该团队由李飞飞教授领导，他们的目标并不是改进神经网络，事实上，他们几乎没有考虑神经网络，而是致力于创建一个远大于以往的图像数据集：1400万张图像，每张都标注了约2.2万个类别之一。

李飞飞教授在她的回忆录《我所见的世界》中讲述了ImageNet的故事。她在2007年开展该项目时，面临了很多朋友和同事的质疑。

“我认为你这个想法走得太远了，”一位导师在2007年对她说，“关键是要跟随领域的发展，而不是超前太多。”

不仅仅是因为创建如此庞大的数据集在后勤上是个巨大挑战，人们还怀疑当时的机器学习算法是否能从如此大量的图像中获益。

“ImageNet之前，人们根本不相信数据的价值，”李在计算机历史博物馆的采访中说道，“当时所有人都在研究完全不同的AI范式，数据量极少。”

尽管有负面反馈，李飞飞坚持了两年多，这不仅消耗了她的研究预算，也考验了她研究生团队的耐心。2009年她在斯坦福大学开始新工作时，带着ImageNet项目和几个学生一起搬到了加州。

ImageNet在2009年发布后的头几年并未受到广泛关注。然而在2012年，多伦多大学的一支团队使用ImageNet训练了一个神经网络，在图像识别方面取得了前所未有的表现。这个被称为AlexNet的突破性AI模型开启了延续至今的深度学习浪潮。

AlexNet的成功离不开ImageNet数据集，同时也得益于英伟达的CUDA平台，使GPU得以用于非图形应用。当英伟达在2006年发布CUDA时，许多人对此持怀疑态度。

因此，过去12年间的AI热潮得益于三位坚持不懈的先驱。第一位是杰弗里·辛顿，多伦多大学的计算机科学家，他几十年来推广神经网络，尽管几乎普遍受到了质疑。第二位是英伟达的CEO黄仁勋，他早在创立GPU之初就意识到GPU不仅仅适用于图形处理。第三位是李飞飞，她创建了一个看似荒谬的巨型图像数据集，最终成为神经网络在GPU上成功应用的关键要素。

辛顿和他的同事们在1986年发表了一篇具有里程碑意义的论文，描述了反向传播技术，使得训练深层神经网络成为可能。他们从网络的最后一层开始，逐层反向传播梯度，从而逐步调整每一层的参数。这一创新重新激发了对神经网络的兴趣。

与此同时，黄仁勋则在1999年发明了GPU，大大提高了平行计算能力。英伟达在2006年推出CUDA平台，尽管起初反响平平，但最终为深度学习的崛起奠定了基础。2009年，辛顿的团队首次利用CUDA平台训练神经网络，使神经网络的训练速度提升了数百倍。

李飞飞通过ImageNet项目提供了神经网络所需的大规模数据。她在斯坦福大学的头几年，尽管遭遇了项目初期的冷淡反响，但通过ImageNet挑战赛吸引了广泛关注。2012年，多伦多大学团队的AlexNet模型在ImageNet比赛中遥遥领先，引发了计算机视觉领域的震动。该模型由数千万个参数组成，其表现证明了深层神经网络的潜力。

AI界迅速意识到AlexNet的重要性。辛顿的团队成立了一家公司，并在几个月后被谷歌以4400万美元收购，辛顿成为谷歌AI团队的一员。而Nvidia的GPU则成为训练神经网络的行业标准。到2012年，Nvidia的市场估值不到100亿美元，如今，Nvidia已经成为世界上最有价值的公司之一，市值超过3万亿美元。

正如李飞飞在9月一次采访中所言，现代AI的三大支柱——神经网络、大数据（ImageNet）和GPU计算——在那个时刻首次交汇。如今，主流AI实验室认为，训练超大规模模型和海量数据集是推动AI进步的关键。这似乎符合AlexNet的经验教训，但我们也要小心，不要让这些经验变成不可撼动的教条。