AI+光学｜从碳基智能到硅基智能，再到光基智能：人类的感知变革

一、从贝尔实验室100周年谈起

2025年是贝尔实验室成立的第100周年。在这100年间,贝尔实验室里诞生了晶体管、激光器、太阳能电池、发光二极管、数字交换机、通信卫星、电子数字计算机、蜂窝移动通信设备、长途电视传送、仿真语言、有声电影、立体声录音,以及通信网等许多重大发明,共获得两万五千多项专利。图1是位于美国新泽西州莫瑞山的贝尔实验室中心,图2为人工智能2024年诺贝尔物理学奖和2018年图灵奖。

图1. 贝尔实验室中心

图2. 人工智能:2024年诺贝尔物理学奖和2018年图灵奖

1、简要贡献

贝尔实验室的贡献数不胜数,其中包括了11个诺贝尔奖和5个图灵奖。2024年诺贝尔物理学奖得主约翰·霍普菲尔德的神经网络主要工作是在贝尔实验室完成的。而约书亚·本吉奥和杨乐昆2018年获得的图灵奖的贡献,也主要是在贝尔实验室完成的。

贝尔实验室的成果,大大促进了人类文明的进程。如果一定要简化到极致的话,笔者认为“贝尔实验室奠定了数字世界的基础”,这自然也是硅基世界和硅基智能的基础。

图3. 数字信号VS模拟信号

图4. 数字世界中的模拟人

模拟的数字世界的基础是对连续的现实世界的离散化采样,而采样的基础有两个:1) 工程实现的硬件基础,三极管的发明;2) 理论基础,也就是现在大家熟知又不易理解的香农采样定理为基础的数字信号处理技术。这两项基础性的发明都是出自贝尔实验室。

图5. 从现实世界到数字世界

图6. 从三极管到硅基智能

上述贡献极大的促进了从三极管到集成电路到整个半导体,以及GPU,从而到硅基智能的进化。

2、简要历史

1925年,当时AT&T总裁华特·基佛德收购了西方电子公司的研究部门,成立了一个叫做“贝尔电话实验室公司”的独立实体。1984年以后,按照美国政府分拆AT&T的协议,从贝尔实验室中分割成立了Bellcore。Bellcore为拆分后的一系列小贝尔公司统一提供研究开发的服务。

1996年,贝尔实验室以及AT&T的设备制造部门脱离AT&T,成为朗讯科技。AT&T保留了少数研究人员成立其研究机构:AT&T实验室。2006年,朗讯与阿尔卡特合并为阿尔卡特-朗讯,贝尔实验室归阿尔卡特-朗讯。2016年,诺基亚完成对阿尔卡特-朗讯的收购。贝尔实验室归属于诺基亚,并更为现名。

图7. 贝尔实验室在新不伦瑞克的新家

贝尔实验室的工作可以大致分为三个类别:基础研究、系统工程和应用开发。在基础研究方面,主要从事电信技术的基础理论研究,包括数学、物理学、材料科学、行为科学和程式设计理论。系统工程主要研究构成电信网络的高度复杂系统。开发部门是贝尔实验室最大的部门,负责设计构成贝尔系统电信网络的设备和软件。

在AT&T时期,贝尔实验室的研发经费主要来自美国民众缴纳电话费的附加税,所以美国人不需花很多钱就可取得贝尔实验室的专利技术授权,分享贝尔实验室的研究成果。贝尔实验室的重要研究成果主要集中在上个世纪,主要包括:

• 1933年,卡尔·央斯基通过研究长途通讯中的静电噪声发现银河中心一直在持续发射无线电波,基于此研究建立了射电天文学。 • 1947年,贝尔实验室发明晶体管。参与这项研究的约翰·巴丁、威廉·肖克利和沃尔特·布拉顿于1956年获诺贝尔物理学奖。这项发明奠定了硅基智能的硬件基础。 • 克劳德·香农于1948年发表论文《通信的数学理论》,奠定现代通信理论的基础。他的成果部分是基于奈奎斯特和哈特利先前在贝尔实验室的成果。 • 1964年阿诺·彭齐亚斯和罗伯特·威尔逊发现宇宙微波背景辐射,并因此获得1978年诺贝尔物理学奖。 • 1969年乔治·埃尔伍德·史密斯和威拉德·博伊尔共同发明电荷耦合元件。两人因而获得2009年诺贝尔物理学奖。 • 贝尔实验室也是UNIX操作系统和C语言的发源地。C语言是由丹尼斯·里奇和肯·汤普逊在1970年代早期所开发。1983年,比雅尼·斯特劳斯特鲁普为扩展C语言而开发出C++语言。UNIX操作系统是里奇和汤普森在的贝尔实验室工作期间,于1969年开始着手开发的。 • 1987年,英格丽·多贝西发现如何构建紧密支持的离散正交小波。

3、拥抱变化!无论好坏

21世纪之后,贝尔实验室逐渐失去了往日的辉煌。20世纪90年代以后,AT&T公司本有两次大的发展机遇,第一次是2000年前后的网络革命,第二次是90年代中期延续至今的无线通信时代。作为最早投入大量人力物力研发“随时可以带在身边的电话”的贝尔实验室,因错误地预判这种电话的市场有限而出售了一系列相关技术的专利权。

当世界范围内的无线通讯迅猛发展起来后,AT&T公司才不得不在1994年出巨资114亿美元购买麦克考移动电话公司开始无线电话业务。对垄断企业的政府规制更引发了实验室经济来源的不稳定,贝尔实验室原本按照产业链部署创新链,注重基础与前瞻研究,打乱了自身的节奏,2008年以后完全放弃擅长的基础物理研究,并将有限的资源投向网络、高速电子、无线电、纳米技术、软件等,追随市场热点,反而适得其反。

如今我们也将看到贝尔实验室恢复往日荣光的努力与尝试,贝尔实验室总部将从默里山迁至新不伦瑞克,离开自己呆了80多年的故乡,寻找新的机遇。新的贝尔实验室总部将占据新泽西州健康+生命科学交流中心(HELIX)的整个二期工程。

NJEDA首席执行官蒂姆·沙利文表示:“在创新领域,可能没有比贝尔实验室更具标志性的名字了,诺基亚决定在新泽西州创新生态系统的中心建立贝尔实验室故事的下一章,这是一个非常好的消息”。

4、来谈谈视觉

图8. 数据和神经网络是视觉模型的基础

成像技术是计算机视觉的眼睛。贝尔实验室的威拉德·博伊尔和乔治·史密斯发明了电荷耦合器件(CCD)。这种微型传感器能够将光信号转化为电子信号,彻底改变了摄影、天文学和医学影像技术的发展。他们的发明让人类得以以前所未有的清晰度观察宇宙与生命,二人也因此获得了2009年的诺贝尔物理学奖。

超分辨荧光显微镜这一重要成像技术的发明是由在贝尔实验室的埃里克·本茨格提出。这一技术使科学家可以在分子层面观察生物的变化过程,为生命科学开辟了全新视野。本茨格因此获得了2014年的诺贝尔化学奖,他的研究成果帮助人类以微观视角探索生命的奥秘。视频压缩也是计算机视觉技术中的重要组成部分。许多计算机视觉应用依赖大规模的视频数据集来训练模型,像自动驾驶汽车采集的路面状况视频集。高效的视频压缩技术,如MPEG和MP4等,使海量训练素材得以低成本存储,也便于跨网络传输到数据中心用于模型训练,这项工作也是笔者所在部门在90年代的主要贡献。上述技术为目前视觉大模型奠定了采集数据的基础。硅基硬件和神经网络组成了计算机视觉的“大脑”。卷积神经网络在图像分类方面表现出色,通过卷积操作来捕捉图像中的局部特征,从而实现高精度的分类,如AlexNet、VGGNet、ResNet等经典模型在ImageNet等大规模数据集上的分类准确率不断提高。在大模型领域,随着最新的神经网络框架,如注意力机制和Mamba,和卷积神经网络的结合,产生了基于计算计视觉的“文生图”以及“图生文技术”,如ChatGPT和SORA。

二、人工智能的发展史

图9. 人工智能大事记

人工智能是一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学。它是计算机科学的一个分支,企图了解智能的实质,并生产出能以人类智能相似的方式做出反应的智能机器。其核心是机器学习算法,通过让机器从大量的数据中学习和提取模式,具备自我学习的能力,从而能够像人类一样进行思考、学习、理解、适应新环境并执行复杂的任务,如感知、推理、与环境交互、解决问题,甚至发挥创造力等。人工智能包括机器学习、自然语言处理技术、图像处理技术、人机交互技术等技术体系。

1、人工智能的诞生以及第一、二次爆发

人工智能启发于1950年所提出的图灵测试。该测试的流程是,一名测试者写下自己的问题,随后将问题以纯文本的形式(如计算机屏幕和键盘)发送给另一个房间中的一个人与一台机器。测试者根据他们的回答来判断哪一个是真人,哪一个是机器。所有参与测试的人或机器都会被分开。这个测试旨在探究机器能否模拟出与人类相似或无法区分的智能。

1956年8月,在美国汉诺斯小镇宁静的达特茅斯学院中,约翰·麦卡锡、马文·闵斯基、克劳德·香农、艾伦·纽厄尔以及赫伯特·西蒙等科学家正聚在一起,讨论着一个具有开创性的议题:如何用机器来模仿人类学习以及其他方面的智能?会议足足开了两个月的时间,虽然大家没有达成普遍的共识,但是却为会议讨论的内容起了一个名字:人工智能。因此,1956年也就成为了人工智能元年。

人工智能概念提出后,相继取得了一批令人瞩目的研究成果,如机器定理等。直至1960年以后人工智能发展进入了第一个高潮。1961年,由通用汽车公司研发的世界上第一个通用智能手臂问世。1968年首台人工智能机器Shakey诞生。它装备了电视摄像机、三角测距仪、碰撞传感器、驱动电机以及编码器,并通过无线通讯系统由二台计算机控制,可以进行简单的自主导航。

图10. 从人工智能诞生到第二次寒冬

然而由于人工智能的产品在当时难以达到商用的标准,1974年人工智能迎来了一次寒冬(不能用阶段)。专家系统的出现改变了这一问题。专家系统让机器模拟人类专家的知识和经验解决特定领域的问题,实现了人工智能从理论研究走向实际应用、从一般推理策略探讨转向运用专门知识的重大突破。专家系统在医疗、化学、地质等领域取得成功,推动人工智能走入应用发展的新时期。由于网络技术特别是互联网技术的发展,加速了人工智能的创新研究,促使人工智能技术进一步走向实用化。

1980年,卡内基梅隆大学为数字设备公司设计了一套名为XCON的专家系统。这是一种,采用人工智能程序的系统,可以简单的理解为“知识库+推理机”的组合,XCON是一套具有完整专业知识和经验的计算机智能系统。同年,在日本开发的wabot2机器人可以与人沟通,并阅读乐谱演奏电子琴。直到1987年人们还是仅在小部分领域使用了人工智能产品,未能解决普适性的问题。人工智能的发展引来了第二次寒冬(不好用阶段)。

虽然存在资金匮乏,研究者们依然没有放弃对人工智能的探索,1997年国际商业机器公司(简称IBM)深蓝超级计算机战胜了国际象棋世界冠军卡斯帕罗夫。2006年深度学习的概念被提出,2008年IBM提出“智慧地球”的概念。

2、普适应用爆发期

2011年以来随着大数据、云计算、互联网、物联网等信息技术的发展,泛在感知数据和图形处理器等计算平台推动以深度神经网络为代表的人工智能技术飞速发展,大幅跨越了科学与应用之间的“技术鸿沟”,诸如图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术,实现了从“不能用、不好用”到“可以用”的技术突破,迎来爆发式增长的新阶段。其中具有代表性的事件是2011年问答计算机系统IBM Watson参加美国最受欢迎的智力问答节目《危险边缘》战胜了最高奖金得主和连胜纪录保持者两位人类冠军。

2014年以后,人们的日常生活中,人工智能从“可以用”阶段进入到了“很好用”阶段,迎来了第三个爆发期。随着2018年约书亚·本吉奥、杰弗里·辛顿和杨乐昆三位深度学习之父获得计算机领域的最高奖项-图灵奖,研究者们对人工智能涌现出了前所未有的研究热情。人工智能顶会如ICML、NIPS以及ICLR的投稿量近年来也是爆炸式的增长,由原来的每个会议几百到1000篇左右的投稿量,来到了近年来8000到20000篇。出现了许多如标志性的事件证明了人工智能在类人思考方面能够达到人类大师水平,甚至超过人类的。例如,2016年3月,由谷歌旗下DeepMind公司戴密斯·哈萨比斯领衔的团队开发阿尔法围棋(AlphaGo)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜。

图11. 人工智能的第三次爆发

2021年由DeepMind团队创的AlphaFold能够将得到的氨基酸序列,使用机器学习的方式来预测这些氨基酸如何相互作用和折叠,对最终的蛋白质形状做出非常准确的猜测。大语言模型构造了能够与人思考聊天的机器人,最具代表性的成果是2022年11月30日OpenAI通过GPT-3.5系列大型语音模型微调而成的全新对话式AI模型ChatGPT正式发布。2024年2月15日,OpenAI正式对外发布“世界模拟器”Sora,它可以根据用户的文本提示创建最长60秒的逼真视频,对于需要创作视频的艺术家、电影制片人或学生带来无限可能。标志着人工智能在理解真实世界场景并与之互动的能力方面实现飞跃。我国在大语言模型领域也有了相关突破,如2024年抖音发布的豆包大语言模型和幻方量化发布的deepseek-v3大语言模型。

3、未来我们需要更多数据–超越人类

在过去几年,人工智能在围棋、电子游戏等领域超过了人类专家水平。这离不开海量数据对人工智能体的训练。未来人工智能将在更多的领域,如汽车驾驶、工业制造等,超过人类的专家水平。碳基智能也就是人类也需要数据的采集和训练。人类对数据的采集,主要来自于自己的五觉,也就是视觉、听觉、触觉、嗅觉和味觉,然后基于这5觉对采集到的多模态数据进行思考,最终做出决策。这个过程是碳基智能繁荣的基础。这五觉中应用最广泛的就是视觉。未来人工智能发展的落脚点还是以计算机视觉采集或生成为引导的海量的多模态数据。

图12. 大模型中的多模态数据

现在人工智能收集视觉信息(也就是RGB图像和视频)的基础是传感器,也就是CCD相机,它能够收集人类眼睛所能收集到的信息。我们合理的想到,超越人类的视觉所收集到的信息也是人工智能超越人类的关键因素。例如,装备高光谱相机、热成像相机的机器人,能够在相应场景看到人类所看不到的信息从而在短时间内做出超越人类水平的决策。下面让我们回顾机器视觉发展史。

三、机器视觉的起源与四次变革

1、机器视觉的起源

机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉技术包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术。

机器视觉的历史可以追溯到20世纪50年代,当时科学家们开始尝试使用计算机来解析图像。1959年,Russell和他的同学研制了一台可以把图片转化为被二进制机器所理解的灰度值的仪器——这是第一台数字图像扫描仪,他的出现使处理数字图像开始成为可能。1966年,麻省理工学院的马文·闵斯基让他的学生尝试通过连接相机和电脑,让计算机描述它所看到的,这标志着机器视觉作为一个科学领域的正式诞生。

20世纪70年代,机器视觉开始出现课程和明确的理论体系,麻省理工学院人工智能实验室:MIT-CSAIL正式开设机器视觉的相关课程。

2、已经发生的三次变革

机器视觉的发展主要经历了三个阶段:第一代机器视觉(1959-2000)主要是以图像采集为主,通过摄像头采集到的图像信息以存储设备为媒介,理论上可以永久的保存在我们的电脑或手机当中。相对于实体照片,存储设备中的图像信息不容易受到外界侵蚀。例如,变色、毁坏等。图13(a)为存储图像的工具;图13(b)展现了存储图像的数字化信息。

(a)存储图像工具

(b)存储图像的数字化信息

图13. 图像存储

基于互联网传输的第二代机器视觉(2001-2010),让我们能够有效的对收集到的图像或视频数据进行分享。通过聊天软件或者一些网络平台,我们能够仅仅通过几秒钟就将采集到的视觉数据分享给家人朋友或者是陌生人。

图14. 图像分享

第三代机器视觉主要是结合人工智能对采集到的视觉数据进行挖掘和分类。自2011年人工智能领域的崛起,深度神经网络被广泛的应用于机器视觉。第三代机器视觉(2011-2020)在各行各业有着广泛的应用。在工业制造领域,基于人工智能的机器视觉系统用于产品质量检测。

它能够以极高的精度和速度识别产品表面的瑕疵、尺寸偏差等问题,比如:电子元件的焊点质量把控,相比传统人工检测,大大提升了效率与准确性,确保了不良品不会流入下一工序,保障产品整体质量。物流行业也借助人工智能机器视觉实现自动化分拣。智能摄像头可以快速识别包裹的形状、大小、标签等信息,进而指挥机械臂精准抓取并分类,适应电商高峰期海量包裹处理的需求,降低人力成本,提高分拣效率。无人驾驶更是离不开第三代机器视觉助力,车载摄像头收集道路、交通标识、车辆行人等视觉信息,人工智能算法像一位“智慧司机”实时决策,实现了控制车速、转向等,让出行更安全高效,推动未来交通变革。

图15. 人工智能挖掘图像信息

3、前景-未来的第四次变革

第三代机器视觉主要依赖于“感、存、算”一体的成像系统,但是这种高度集成的系统引发了延迟过长的问题,且并不能适用于所有场景。例如,在无人车上并不需要16个每秒钟采集50帧的高清摄像头来实现自动驾驶,但是目前无人车在安装成像系统的时候并没有太多选择。换言之,这种“感、存、算”一体的成像系统并不满足无人驾驶、无人机等新兴的巨大应用市场。

图16. 光学和人工智能的结合

结合人工智能的大发展,机器视觉将在2021年至2030年引发智能视觉的第四代革命,以采集信息为目的,而非以像素个数为目标,以应用为驱动,以解决问题为导向,将计算成像和人工智能充分融合,图17展现了第四代计算视觉是计算成像和人工智能深度融合获取和使用的是更高维的信息,而不仅仅是像素。基于第四代计算成像开发软硬结合的闭环智能感知系统将大幅度改善我们生活中的方方面面。

图17. 第四代机器视觉的应用

面对第四次机器视觉的变革,硅基智能存在着其固有的瓶颈。

第一、随着电路集成度的不断提高,电子所产生的热量也会迅速增加,串扰、功耗、噪声和时延问题将越来越严重,从而使器件无法正常工作。

第二、晶体管越来越紧凑,消耗的能量也会急剧上升;电子具有静止质量,之间具有库仑力作用,因此电子的运动和电信号十分容易受到电磁场的干扰。

第三、虽然微电子技术的进步为片上晶体管数量的增加铺平了道路,但是芯片生产变的十分昂贵,而对更快、更低能耗、更低成本的芯片的需求却从未减少。

然而光计算和第四次机器视觉的变革可以说是天作之合。

光计算“指的是基于光子学原理”,通过光信号来执行计算任务的一种技术。与电子相比,光子具有许多独特的性质:光子无静止质量,光子之间无相互作用力、也几乎没有干扰;光的不同波长可用于多路同时通讯,在几十赫兹的调制频率下,光子仍然可以获得稳定的调制和信息传递,而电信号则面临着高频下的辐射损耗问题;此外,光信号不受电磁场干扰,保密性强。

更为独特的是,利用一些特定光学结构,光子可以在零能耗下进行一些数学运算。比如,一束光通过一个透镜后,就可以直接实现傅里叶变换,而整个过程都是在无源情况下完成的,能耗为零;再比如,利用马赫-曾德尔干涉仪结构,我们可以直接构造出一个二维矩阵,整个过程也是无源的,能耗依然为零。在这过程中,傅立叶变换/二维矩阵的生成都是以光速实现,即当光通过此结构后,计算过程便已完成。

因此,利用光子可以实现超高速、低能耗甚至零能耗计算,进而突破传统微电子芯片在性能和成本上的瓶颈。

四、光基智能:一切回归到光

在硅基智能发展的同时,光基智能也在一步步的崛起。光基智能可以理解为基于光计算或者光子芯片的人工智能。早在1969年,美国的贝尔实验室就已经提出了集成光学的概念,近年来随着技术的发展,包括硅、氮化硅、磷化铟、III-V族化合物、铌酸锂、聚合物等多种材料体系已被用于研发单片集成或混合集成的光子芯片。

图18. 光计算芯片

光子学与电子学的混合集成一直是提高光子芯片中光电子集成器件的速度和带宽的关键,可通过多种方法实现Tbps或更高的信息传输速率。美国英特尔公司于2006年宣布,该公司与美国加州大学圣芭芭拉分校的研究人员已成功研发出了世界上首个采用标准硅工艺制造的电力混合硅激光器,这标志着用于未来计算机和数据中心的低成本、高带宽硅光子学设备产业化的障碍之一被解决。

图19. 光基智能

随着相关技术的发展,光子芯片正一步步的走向成熟。2016年,来自以色列的研究团队通过在波导内添加刻槽结构引入额外相位,补偿不同模式间的传输相位差,实现了集成化的模式转换器。2017年,美国哥伦比亚大学的学者利用集成了梯度超表面的超构波导实现了氮化硅波导的非对称传播。2020年,美国宾夕法尼亚州立大学的研究团队通过将超表面制作硅波导上,实现了具有平面外光束偏转和聚焦功能的片上集成光器件。同年,来自中国清华大学和美国麻省理工学院的研究团队利用超构波导平台,实现了多功能的集成化波导耦合器、波长与偏振解复用器、片上涡旋光束发射器等集成光器件设计。2024年4月Science期刊发表了清华团队首创AI光芯片架构,实现了160 TOPS/W 通用智能计算,能效达到了H100的1000倍。

可以预见到,由光基智能引导的再一次的人工智能变革将突破高现阶段硅基智能所遇到的瓶颈。基于光基智能,我们可以训练出“远超人类现阶段水平”的智能体。文中部分图片来自网络,如有侵权请联系删除。

(通讯员:袁鑫、黄天意、刘星)