Sci. Adv.：面向智能化视觉的钙钛矿类视网膜图像传感器（2025）

摘要

摘要图
本研究提出了一种基于钙钛矿的类视网膜图像传感器，核心为4096像素传感器阵列，集成超灵敏、自适应成像与实时边缘处理功能。传感器实现了增强对比度达620%的弱光成像，配合一维特征提取算法，有效将原始视觉场景解析为空间时间编码信息，支持智能决策能力。此类视觉系统可赋予外骨骼机器人实时视觉处理与环境响应能力，未来在自动化设备及机器人应用中具有广阔前景。

关键词

  • 类视网膜系统 (Retinomorphic systems)
  • 钙钛矿 (Perovskites)
  • 图像传感器 (Image sensors)
  • 自适应成像 (Adaptive imaging)
  • 嵌入式智能 (Embodied intelligence)

研究背景

类视网膜计算系统旨在模仿生物视觉，整合成像、感知与决策功能，是下一代智能机器人核心组件。现有传感器在灵敏度与集成能力上存在局限，难以满足实时处理需求。钙钛矿材料因其强光吸收、可调响应性及制备简单，成为构建大规模类视网膜系统的理想选择。通过开发基于钙钛矿的光子器件，本研究探索了实现自主智能视觉的新方法。

创新点

  • 提出了基于钙钛矿传感器的类视网膜硬件系统，具备4096像素的大规模集成能力。
  • 实现了自适应成像与一维特征提取算法，显著提高图像对比度与信息提取效率。
  • 开发了高灵敏度、可重构光响应的器件，为智能视觉决策提供支持。
  • 展示了系统在嵌入式智能视觉与机器人应用中的巨大潜力。

研究内容

本研究开发了一种基于钙钛矿的类视网膜硬件系统，通过集成具有宽波段吸收及可调光响应特性的钙钛矿图像传感器，实现了4096像素的大规模传感器阵列。系统通过电场诱导离子迁移实现光响应的可逆调节，在弱光条件下成像对比度提升达620%。设计并验证了一维特征提取算法，将原始图像分解为紧凑编码的时空信息，并结合神经网络实现目标识别与实时决策。此外，系统在边缘处理与复杂场景中的视觉任务中展现了优异性能，为自动化设备提供了全新技术路径。

图1
图 1 | 生物视觉系统和钙钛矿视网膜计算系统。

(A) 生物视觉系统的自适应感知示意图，通过光感受器、水平细胞、双极细胞、无长突细胞和神经节细胞的层级结构实现。
(B) 基于4096像素\(\mathrm{1T\text{-}1PD}\)钙钛矿视网膜传感器阵列、微控制器单元（MCU）和现场可编程门阵列（FPGA）的视网膜计算系统的原理图和工作原理。

图2
图 2 | 4096像素钙钛矿视网膜传感器阵列及其可重构光检测特性。

(A) 电路布局和\(\mathrm{64\times64}\) \(\mathrm{a\text{-}Si}\) TFT面板的照片。
(B) PEDOT:PSS/\(\mathrm{FA_{0.8}Cs_{0.2}Pb_{0.5}Sn_{0.5}I_{3}}\)涂覆的TFT面板图像。
(C) 全结构\(\mathrm{1T\text{-}1PD}\)视网膜传感器阵列。
(D) 可弯曲的印刷电缆绑定样品图像。
(E) LDR（动态范围）和单独\(\mathrm{FA_{0.8}Cs_{0.2}Pb_{0.5}Sn_{0.5}I_{3}}\)光探测器在标准\(\mathrm{AM\ 1.5G}\)照明下的光伏特性。
(F) 单独\(\mathrm{FA_{0.8}Cs_{0.2}Pb_{0.5}Sn_{0.5}I_{3}}\)光探测器和视网膜传感器阵列\(\mathrm{1T\text{-}1PD}\)像素在\(\mathrm{8\ mW/cm^{2}}\)单色光照明下的宽带、线性和可逆光响应重构特性。

图3
图 3 | 4096像素钙钛矿视网膜传感器阵列的自适应图像感知性能。

(A) 视网膜传感器阵列中所有像素的暗电流和(B)光电流分布。
(C) 不同白光强度下的平均值、变化量、像素间均匀性、光暗比。
(D) 不同光强下记录的像素电流分布。
(E) 在\(\mathrm{0.20\ mW/cm^{2}}\)白光照明下，使用商用读取电路对手写数字“2023”和金属回形针进行图像感知。
(F) 在\(\mathrm{0.01\ mW/cm^{2}}\)白光照明下，对手写数字“2023”的自适应感知前后对比。
(G) 在可见光至近红外单色光照明下，遮挡前后的手写数字“2023”的图像感知。

图4
图 4 | 基于钙钛矿视网膜传感器的视网膜计算硬件系统实现。

(A) FOPR-Net用于通过钙钛矿视网膜传感器进行瞬时ODFE操作以及通过基于FPGA的全连接神经网络进行目标识别。
(B) 训练好的1D突触权重向量。(C) 对应的光响应性向量。
(D) 混淆矩阵。
(E) 进化的识别精度。
(F) MNIST手写数字数据库的模拟识别结果。
(G) 基于钙钛矿视网膜传感器阵列的视网膜计算硬件系统的完整原型架构及照片。
(H) 由钙钛矿视网膜传感器阵列获取的手写数字“4”的图像和识别结果。

图5
图 5 | 用于外骨骼机器人运动控制的智能视觉系统。

(A) 配备视网膜计算系统的外骨骼机器人示意图，可协助盲人和行动障碍患者安全通过交通路口。
(B) 运动方案（左）、数据库示例（中）和FO-RNN（右），根据闪烁计时器的倒计时数字监测外骨骼机器人的运动状态。
(C) 在一天中不同时间段内，为外骨骼机器人在不同阶段通过交通路口做出决策的准确性（左）和总体混淆矩阵（右）。

结论与展望

本研究构建了集成超灵敏图像传感与智能计算的钙钛矿类视网膜硬件系统。实验验证了系统在弱光成像、自适应视觉处理及目标识别中的优异表现。未来，研究将聚焦于像素缩小与柔性基底集成，进一步提升分辨率与设备适用性，推动其在自动驾驶及智能机器人等领域的应用。

论文直达

原文标题：Perovskite retinomorphic image sensor for embodied intelligent vision

Sci. Adv. 2025, 11, eads2834.

点击以下链接阅读原文：

原论文链接 >>>