单像素探测器压缩感知助力高光谱视频成像

A compressive hyperspectral video imaging system using a single-pixel detector

本期导读

高分辨率、高光谱成像可以捕获场景的空间、光谱和时间信息，在目标探测、物体识别、材料分析、成分检测等任务中发挥重要作用。值得注意地，基于低压缩率的编码方法记录高维数据时会占用大量传输带宽和存储空间，给手机、无人机等资源受限系统带来巨大压力。如何在保留信息的前提下最大限度减少采样数据量、提升压缩比是高光谱视频成像中的关键问题。
鉴于此，来自北理工、谷歌和莱斯大学的研究人员实现了基于单像素光电探测器的高光谱视频成像系统，具有优异压缩比和吞吐量。利用四维高光谱视频的高度可压缩性，设计了空间-光谱联合编码将场景编码为具有时间相关性且高度压缩的测量值；采用基于四维空间信号稀疏度模型及深度学习的重建方法，获得了64个光谱带，每秒超过4帧，压缩比900×的高质量图像。相关研究成果于近期发表于顶刊《Nature Communications》上。

技术路线

技术实现上，该单像素成像系统的光学设计如图1a所示。数字微镜器件（DMD）左侧的二维空间图案对图像进行空间调制，衍射光栅将光信号进行光谱扩散。每次测量可表示为图1b所示的线性方程组，一帧高光谱视频的空间调制相当于左乘行向量，光谱调制相当于右乘列向量，其值存放在体素矩阵中。利用压缩感知理论，用稀疏矩阵对体素矩阵左乘得到的数据即为单像素成像中的测量数据，用于重构原始信号。

图1. 单像素成像系统的硬件设计与传感方案示意

从单像素成像的测量数据重建高光谱视频的过程分为两个阶段，如图2a所示。首先，从包含互补图案的原始测量中重建相同空间分辨率的灰度视频并提取光流；然后，在重建的灰度视频帧之间用光流和原始测量四维全变分正则化高光谱视频恢复。此外，利用空间STOne图的排序可以使得同一组测量数据实现多分辨率重建，嵌入的低分辨率图案用于恢复高光谱视频的低分版本（图2b）。

图2. 光流辅助四维全变分正则化高光谱视频重构过程示意

    采用空间-光谱联合调制方案和光流辅助四维全变分重构方法实验重建的结果如图3所示。实验场景（图3a）由一个旋转的彩色滤光轮与一个分辨率图上的打印文本组成。实验从184,000个单像素测量数据中重构出大小为128×128、64个光谱带的157帧高光谱视频。图3展示从重建的灰度视频帧中提取16帧并转换RGB图像。

图3. 单像素成像实验优化算法重建结果

基于深度学习的重建方法（图4）上，首先，基于长短期记忆（LSTM）网络模型利用5个相邻帧之间的时间相关性，从压缩感知中重建灰度视频；其次，基于残差连接的卷积神经网络（CNN）从空间-光谱联合压缩测量及第一阶段的灰度视频中恢复高光谱帧。

图4 高光谱视频重构的深度学习方法示意图

图5显示了每个压缩比转换为RGB图像的重构高光谱视频中的4帧以及相应彩色图像。可以看到，随着压缩比的提高，重建精度有一定下降。

图5 利用深度学习方法在单像素实验实验数据上测试重建结果

简单小结：该研究利用四维高光谱数据固有冗余，设计了基于联合压缩编码和解码重建算法的单像素成像系统，在低带宽下实现高通量高光谱视频记录。需要注意地是，当前成像系统重构的光谱图像画幅分辨率和细节重现效果还有待进一步提升。该系统具有优异的压缩比指标，有望为手机、无人机、卫星和行星探测器等带宽和存储受限系统数据传输减轻负担，亦可拓展到非可见光频段成像。

论文信息：
Xu, Y., Lu, L., Saragadam, V. et al. A compressive hyperspectral video imaging system using a single-pixel detector. Nat Commun 15（2024）.

技术详见：
https://doi.org/10.1038/s41467-024-45856-1