MIT 科技评论 - 本周热榜 2024年07月08日
浙大团队提出人工神经视觉类脑硬件方案,能高速感知和识别图像
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

浙江大学李林军研究员团队首次提出一种新型人工神经视觉硬件方案,通过等离激元光电晶体管阵列模拟人眼脑视觉系统,实现高速、低能耗的智能图像识别。该方案基于光电协同作用,实现了彩色图像信息的感知、预处理以及识别。研究人员利用侧栅电极调制,扩大了器件动态范围,使图像预处理功能进一步提升。该技术有望应用于自动驾驶领域和视频流处理方面,为机器视觉提供了一个有趣的方案。

🤔 该研究团队首次提出一种新型人工神经视觉硬件方案,利用等离激元光电晶体管阵列模拟人眼脑视觉系统,实现了彩色图像信息的感知、预处理以及识别。该方案基于光电协同作用,利用侧栅电极调制,扩大了器件动态范围,使图像预处理功能进一步提升。

🚀 该技术在自动驾驶领域和视频流处理方面表现出应用潜力。在自动驾驶领域,该技术可以用于实时场景的获取、判断和分析。在视频流处理方面,该技术可以用于快速地对视频信息的内容进行识别和判断。

💡 该研究的创新性在于,实现了对人眼脑视觉系统整个信息处理过程的模仿,能够对彩色信息进行预测和识别,而此前研究基本仅为对灰度信息的感知。研究人员利用银光栅的等离激元和氧化铟锡波导模式,在红绿蓝三个波段实现强耦合,进而可以让光生电子高效地转移到浮栅材料,实现彩色光到电流的快速、高效转换。

💡 该技术在机器视觉方面表现出优势,具体表现为:大动态范围(180dB)、高速(500ns)和低能耗每峰值(2.4×10−17J)。

💡 研究人员计划继续在工艺方面深入探索,以突破限制实现非易失性光电晶体管,从而实现更低的计算功耗。另外,还有一些可继续提升的方面,例如,目前对图像的处理方面相对来说比较简单。研究人员正在探索能够进行微小像元、大规模制作等离激元晶体管阵列的方法,以实现对复杂图像实时信息的获取和内容识别。

💡 在材料创新方面,将关联电子相变材料用于制造类脑计算的器件,有望发现更广阔的方向,目前类脑计算领域在该方向的研究还相对较少,未来可能有更多有意思的发现。

近年来,由于类脑计算在自动驾驶和人工智能等领域表现出应用潜力,因而获得了广泛的关注和研究。

现阶段,该方向的目标主要是减少功耗和加快对图像和感知的处理速度,以及提高识别准确度。

等离激元是一种被广泛研究的光电效应,其热电子的转移速度非常快,不仅可以把光聚在很小的单元,还能够实现很高的光电转换效率。

基于光电硬件对人眼脑视觉系统的模拟,近期,浙江大学李林军研究员团队首次提出一种新型人工神经视觉硬件方案,兼具人眼视网膜的预处理功能和视觉神经细胞的图像识别功能。

具体来说,研究人员在高效的等离子光电晶体管阵列作用下,基于光电协同作用,让彩色图像信息的感知、预处理以及识别成为可能。

图丨浙江大学团队所提出的人工神经视觉类脑硬件方案效果图(来源:李林军)

并且,利用侧栅电极调制,扩大了器件动态范围,使图像预处理功能进一步提升。从结果来看,通过训练网络并调节电压的方式,实现了高速、低能耗的智能图像识别。

该技术在以下两方面表现出应用潜力:

一方面,有望应用于自动驾驶领域,对实时场景进行获取、判断和分析;另一方面,在对视频流处理方面,有可能让机器通过该技术快速地对视频信息的内容进行识别和判断。

图丨等离激元光电晶体管阵列组成人工神经网络模拟人眼脑视觉系统(来源:Nature Communications)

审稿人对该论文评价称:“作者创造的等离激元光电晶体管阵列展现了极高动态范围、快速响应和显著的低能耗。”另一位审稿人则认为,该研究为人工视觉系统提供了一个有趣的方案。

日前,相关论文以《基于等离激元增强二维材料神经网络的高性能人工视觉获取和识别》(High performance artificial visual perception and recognition with a plasmon-enhanced 2D material neural network)为题发表在 Nature Communications[1]。

浙江大学博士研究生张天是第一作者,浙江大学李林军研究员担任通讯作者。

图丨相关论文(来源:Nature Communications)

此外,该研究的创新性还体现在,实现了对人眼脑视觉系统整个信息处理过程的模仿,因而能够对彩色信息进行预测和识别,而此前研究基本仅为对灰度信息的感知。

在以往的研究中,如果想用相机实现对彩色信息进行识别,需要红绿蓝三基色进行独立感知单元。

也有研究通过发展跨波段感应的低维材料进行探索,但由于响应度相差过大,因此材料的选择性有限,并且无法实现高速处理。

(来源:Nature Communications)

受人类视觉系统的结构和功能启发,该课题组利用银光栅的等离激元和氧化铟锡波导模式,在红绿蓝三个波段实现强耦合,进而可以让光生电子高效地转移到浮栅材料,实现彩色光到电流的快速、高效转换。

在该研究中,根据研究人员在概念验证设备上的综合性能显示,该技术在机器视觉方面表现出优势。具体表现为:大动态范围(180dB)、高速(500ns)和低能耗每峰值(2.4×10−17J)。

图丨李林军(来源:李林军)

李林军小组的研究方向为二维半导体材料光电探测、磁光存储以及智能计算。他表示:“和传统技术相比,我们新方法的功耗更低。在理想浮栅器件中,即便将电压撤走,也会继续保持低功耗的状态,即所谓的非易失性。”

在本次研究中,由于绝缘层的氧化铝薄膜存在漏电等问题,该器件未能表现出非易失状态。

因此,在下一阶段的研究中,研究人员计划继续在工艺方面深入探索,以突破限制实现非易失性光电晶体管,从而实现更低的计算功耗。

另外,还有一些可继续提升的方面,例如,目前对图像的处理方面相对来说比较简单。

研究人员正在探索能够进行微小像元、大规模制作等离激元晶体管阵列的方法,以实现对复杂图像实时信息的获取和内容识别。

李林军说道:“在材料创新方面,将关联电子相变材料用于制造类脑计算的器件,有望发现更广阔的方向,目前类脑计算领域在该方向的研究还相对较少,未来可能有更多有意思的发现。”

参考资料:

1.Tian Zhang, Xin Guo, Pan Wang, Xinyi Fan, Zichen Wang, Yan Tong, Decheng Wang, Limin Tong, Linjun Li*, High performance artificial perception and recognition with a plasmon-enhanced 2D material neural network, Nature Communications 15,2471(2024). https://www.nature.com/articles/s41467-024-46867-8.

运营/排版:何晨龙

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

类脑计算 等离激元 光电晶体管 机器视觉 人工智能
相关文章