传统的计算机和传感系统中传感、存储、计算模块相互分离，这种硬件分离的架构模式使得大量数据在各硬件模块之间相互传输，造成了严重的时间延迟、能耗升高等问题。这一问题随着大数据和物联网时代的来临显得尤为严峻。另外，传统传感系统一般仅具有单一信号感知能力，无法全方位的对目标进行全面认知，容易引起错误判断。相比之下，人类感官系统兼具传感系统和计算机的功能，不仅可以同时感知视觉、听觉、触觉、嗅觉、味觉等多种信号，且集存储、计算功能于一体，能够快速、高效感知目标的全方位信息并做出正确判断和反应，为新型传感系统的设计提供了灵感，催生了多模态传感内计算的提出。研发集多模态感存算功能于一体的类脑计算系统，其关键在于开发具有多模态感知能力的神经形态器件。
近日，我院郑立梅教授团队设计了一种结构简单且易制备的光电突触器件[In2O3·SnO2/Nb:SrTiO3 (ITO/NSTO) 氧化物异质结]，单个器件具备对电、光多模态信号的感知与存储功能。进一步以此器件阵列为核心构建了用于情绪识别的多模态传感内计算系统以及用于实时监测动态车辆信息的神经形态视觉系统。该研究以“Multimodal In-Sensor Computing Implemented by Easily-Fabricated Oxide-Heterojunction Optoelectronic Synapses”为题发表在《Advanced Functional Materials》期刊上，我院为第一研究单位。该研究得到了国家自然科学基金、国家重点研发计划、山东省自然科学基金等项目支持。
论文连接：https://doi.org/10.1002/adfm.202409045
