无论你是否是专业摄影师，在日常生活中也许都会举起手机或相机记录珍贵的瞬间。而在计算机视觉领域，通过相机或其他成像技术得到的图像是下游的各类视觉算法必要的输入与基础。从17世纪前的暗箱（camera obscura）、1839年的银版摄影（Daguerreotype，用水银蒸汽对曝光的银盐涂面进行显影）到我们熟悉的胶卷摄影和数码相机，作为捕获光的技术，相机已经经历了数百年的快速发展与变革。
基于 CCD 或 CMOS 图像传感器的数码相机继承了传统胶片相机的曝光成像原理，光线经由镜头汇聚到数字传感器上，基于光电反应将光信号转化为正比于光强的数字信号，经过一系列的操作与转化得到一帧与人眼感知相近的图像。这一类基于帧的相机的成像主要依靠光强在固定时间间隔内的累积，存在一定的局限性——由于成像以帧作为间隔，较难处理物体高速运动带来的运动模糊；由于传统的图像传感器单次存储的电子数量是有限的（欠曝和过曝现象），直接得到的图像动态范围有限。
针对传统帧相机的局限性，神经形态相机（neuromorphic camera）通过学习人类视觉系统低冗余、低功耗、高动态及鲁棒性强的优势，借鉴人类视觉的结构和机理提出了新的信号输出与成像方式。具体地说，主要基于模拟视网膜外周（主要感知运动功能）或视网膜中央凹（fovea centralis，高分辨率高敏锐度视觉区域[3]）的如下两类视觉采样模型[1,2]：
差分型视觉采样模型与事件相机（event-based camera，见图2）：通常传感器的光强与电压为对数关系。当单个像素的位置感知光强变化带来的电压相对变化超过一个阈值
图2. 左：Prophesee 事件相机[4]｜右：事件相机成像原理示意图[2]
积分型视觉采样模型与脉冲相机（spike-based camera，见图3）：对于单个像素位置，光感受器将光信号转化为点信号，当积分器在光照强度
图3. 左：脉冲相机[5]｜右：脉冲相机成像原理示意图[2]
相较于传统帧相机，上述神经形态相机具有高时间分辨率与低延迟，事件相机可以实现微秒的每个像素之间独立异步的输出，而脉冲相机可以得到 40000Hz 的脉冲平面输出，都远高于传统帧相机的帧率。由于事件相机采用光强-电压的对数转换，可以获得高于传统相机的动态范围。此外由于上述成像特点，得到的信号不会重复记录静态区域，降低了数据冗余度的同时带来了较低的功耗。
图4. 事件相机辅助的图片/视频增强任务[8]
（第2行以拍摄旋转扇叶为例，展示不同任务下事件辅助图像/视频增强算法的输入示意图）
在实际应用中，借助神经形态相机感知场景高速移动物体的能力，能够提升机器人捕获高速物体的能力[6]。此外，神经形态相机在空间分辨率与成像质量上还有提升空间，可与传统相机成像相结合，用于下游一系列底层与高层视觉任务，如图像/视频增强（包含视频重建、高帧率/高动态范围重建、去模糊、超分辨率等，见图4）[7,8]、三维重建[9]、目标检测[10]、动态追踪与运动估计[11]等。可以参考其他网络资源了解更多神经形态相机相关应用[12]。
[1] 李家宁，田永鸿. 神经形态视觉传感器的研究进展及应用综述[J]. 计算机学报，2021, 44(6): 1258-1286.
[2] 施柏鑫. 计算摄像学, 成像模型理论与深度学习实践[M]. 北京: 机械工业出版社, 2024.
[3] https://en.wikipedia.org/wiki/Fovea_centralis.
[4] By Auledas, CC BY 4.0, https://commons.wikimedia.org/w/index.php?curid=149386066.
[5] https://spikesee.com/product.html.
[6] B. Forrai, T. Miki, D. Gehrig, M. Hutter and D. Scaramuzza, "Event-based Agile Object Catching with a Quadrupedal Robot," In Proc. of International Conference on Robotics and Automation (ICRA), 2023.
[7] Y. Yang, J. Han, J. Liang, I. Sato and B. Shi, "Learning Event Guided High Dynamic Range Video Reconstruction," In Proc. of Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
[8] P. Duan, B. Li, Y. Yang, H. Lou, M. Teng, Y. Ma and B. Shi, "EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset," arXiv, vol. abs/2312.08220, 2023.
[9] B. Yu, J. Ren, J. Han, F. Wang, J. Liang and B. Shi, "EventPS: Real-Time Photometric Stereo Using an Event Camera," In Proc. of Conference on Computer Vision and Pattern Recognition (CVPR), 2024.
[10] Y. Peng, H. Li, Y. Zhang, X. Sun and F. Wu, "Scene Adaptive Sparse Transformer for Event-based Object Detection," In Proc. of Conference on Computer Vision and Pattern Recognition (CVPR), 2024.
[11] S. Zhu, Z. Tang, M. Yang, E. Learned-Miller, and D. Kim. "Event Camera-based Visual Odometry for Dynamic Motion Tracking of a Legged Robot Using Adaptive Time Surface," In Proc. of International Conference on Intelligent Robots and Systems (IROS), 2023.
[12] https://github.com/uzh-rpg/event-based_vision_resources.
