用户名:  密码:   
网站首页即时通讯活动公告最新消息科技前沿学人动向两岸三地人在海外历届活动关于我们联系我们申请加入
栏目导航 — 美国华裔教授专家网科技动向科技前沿
关键字  范围   
 
感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)
作者:XYB, EYP IntelligentOptics | 2024/3/3 14:12:33 | 浏览:307 | 评论:0

单像素探测器压缩感知助力高光谱视频成像

A compressive hyperspectral video imaging system using a single-pixel detector

本期导读


高分辨率、高光谱成像可以捕获场景的空间、光谱和时间信息,在目标探测、物体识别、材料分析、成分检测等任务中发挥重要作用。值得注意地,基于低压缩率的编码方法记录高维数据时会占用大量传输带宽和存储空间,给手机、无人机等资源受限系统带来巨大压力。如何在保留信息的前提下最大限度减少采样数据量、提升压缩比是高光谱视频成像中的关键问题。
鉴于此,来自北理工、谷歌和莱斯大学的研究人员实现了基于单像素光电探测器的高光谱视频成像系统,具有优异压缩比和吞吐量。利用四维高光谱视频的高度可压缩性,设计了空间-光谱联合编码将场景编码为具有时间相关性且高度压缩的测量值;采用基于四维空间信号稀疏度模型及深度学习的重建方法,获得了64个光谱带,每秒超过4帧,压缩比900×的高质量图像。相关研究成果于近期发表于顶刊《Nature Communications》上。

技术路线

技术实现上,该单像素成像系统的光学设计如图1a所示。数字微镜器件(DMD)左侧的二维空间图案对图像进行空间调制,衍射光栅将光信号进行光谱扩散。每次测量可表示为图1b所示的线性方程组,一帧高光谱视频的空间调制相当于左乘行向量,光谱调制相当于右乘列向量,其值存放在体素矩阵中。利用压缩感知理论,用稀疏矩阵对体素矩阵左乘得到的数据即为单像素成像中的测量数据,用于重构原始信号。

感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)

图1. 单像素成像系统的硬件设计与传感方案示意


从单像素成像的测量数据重建高光谱视频的过程分为两个阶段,如图2a所示。首先,从包含互补图案的原始测量中重建相同空间分辨率的灰度视频并提取光流;然后,在重建的灰度视频帧之间用光流和原始测量四维全变分正则化高光谱视频恢复。此外,利用空间STOne图的排序可以使得同一组测量数据实现多分辨率重建,嵌入的低分辨率图案用于恢复高光谱视频的低分版本(图2b)。

感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)

图2. 光流辅助四维全变分正则化高光谱视频重构过程示意


    采用空间-光谱联合调制方案和光流辅助四维全变分重构方法实验重建的结果如图3所示。实验场景(图3a)由一个旋转的彩色滤光轮与一个分辨率图上的打印文本组成。实验从184,000个单像素测量数据中重构出大小为128×128、64个光谱带的157帧高光谱视频。图3展示从重建的灰度视频帧中提取16帧并转换RGB图像。

感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)

图3. 单像素成像实验优化算法重建结果


基于深度学习的重建方法(图4)上,首先,基于长短期记忆(LSTM)网络模型利用5个相邻帧之间的时间相关性,从压缩感知中重建灰度视频;其次,基于残差连接的卷积神经网络(CNN)从空间-光谱联合压缩测量及第一阶段的灰度视频中恢复高光谱帧。

感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)

图4 高光谱视频重构的深度学习方法示意图


图5显示了每个压缩比转换为RGB图像的重构高光谱视频中的4帧以及相应彩色图像。可以看到,随着压缩比的提高,重建精度有一定下降。

感知专题 | 单像素探测器压缩感知助力高光谱视频成像(Nature Comms.)

图5 利用深度学习方法在单像素实验实验数据上测试重建结果


简单小结:该研究利用四维高光谱数据固有冗余,设计了基于联合压缩编码和解码重建算法的单像素成像系统,在低带宽下实现高通量高光谱视频记录。需要注意地是,当前成像系统重构的光谱图像画幅分辨率和细节重现效果还有待进一步提升。该系统具有优异的压缩比指标,有望为手机、无人机、卫星和行星探测器等带宽和存储受限系统数据传输减轻负担,亦可拓展到非可见光频段成像。


论文信息:
Xu, Y., Lu, L., Saragadam, V. et al. A compressive hyperspectral video imaging system using a single-pixel detector. Nat Commun 15(2024).

技术详见:
https://doi.org/10.1038/s41467-024-45856-1


相关栏目:『科技前沿
Agent调研--19类Agent框架对比 2024-04-11 [15]
在宇宙中,发现了本不应存在的巨型结构 2024-04-10 [28]
冰的奇妙世界:超过20种形态的探索之旅 | 科到了 2024-04-10 [32]
暗能量本质的第一个真正线索? 2024-04-07 [65]
Vision Pro,又立功了 2024-04-06 [65]
9个神级应用!新电脑这么设置,性能直接起飞 2024-04-06 [54]
普林斯顿首个「开源」AI程序员登场!爆改GPT-4,93秒修bug 2024-04-04 [79]
未来决定过去?在这种情况下居然是真的! 2024-04-01 [139]
突破性进展!科学家解开宇宙奥秘,三体问题迎来历史性突破! 2024-04-01 [138]
今天起,ChatGPT无需注册就能用了! 2024-04-02 [76]
相关栏目更多文章
最新图文:
:《2019全球肿瘤趋势报告》 :阿尔茨海默病预防与干预核心讯息图解 :引力波天文台或有助搜寻暗物质粒子 :Sail Through the Mist - SoCal Innovation Forum 2019(10/5) 游天龙:《唐人街》是如何炼成的:UCLA社会学教授周敏的学术之路 :“为什么海外华人那么爱国,但是让他回国却不愿意?...“ :学术出版巨头Elsevier 彻查433名审稿人“强迫引用”黑幕 :中国336个国家重点实验室布局
更多最新图文
更多《即时通讯》>>
 
打印本文章
 
您的名字:
电子邮件:
留言内容:
注意: 留言内容不要超过4000字,否则会被截断。
未 审 核:  是
  
关于我们联系我们申请加入后台管理设为主页加入收藏
美国华裔教授专家网版权所有,谢绝拷贝。如欲选登或发表,请与美国华裔教授专家网联系。
Copyright © 2024 ScholarsUpdate.com. All Rights Reserved.