最近一种基于视觉Transformer改进的U-Net来检测多光谱卫星图像中甲烷排放的深度学习方法登上了Nature子刊。与传统方法相比，该方法可以识别更小的甲烷羽流，显著提高检测能力。

这类Transformer与U-Net结合的策略是一种创新的深度学习方法，它利用了U-Net能够保留高分辨率特征和精确定位的优势，并通过引入Transformer的自注意力和交叉注意力，提升模型对复杂任务中长程依赖关系和空间上下文信息的捕捉能力。

这种设计让模型在解码阶段能够同时利用全局和局部信息，实现更准确、更高效的图像处理技术，也为我们的研究提供了新的思路和方向。

为了帮助各位全面掌握Transformer结合U-Net的方法并寻找创新点，本文总结了10篇最新的研究成果，论文原文以及开源代码都整理好了，希望能给各位的论文添砖加瓦。

Automatic detection of methane emissions in multispectral satellite imagery using a vision transformer
方法：本文介绍了一种基于深度学习的方法，结合了ViT编码器和U-Net解码器的架构，来实现对甲烷泄漏的检测。研究使用合成的甲烷泄漏数据嵌入到真实的Sentinel-2数据中，然后训练模型来检测这些泄漏。

创新点：

研究使用了一种基于视觉Transformer改进的U-Net来检测多光谱卫星图像中甲烷排放的深度学习方法。

该模型可以探测到所有与Sentinel-2重叠的甲烷释放，最低可探测到每小时1100千克的甲烷释放。这一突破使得实现全球每隔几天自动监测持续甲烷排放成为可能。

该模型在真实的Sentinel-2数据上具有较低的误报率。这一创新使得能够在实际应用中自动检测甲烷成为可能。

U-NeTrans at the Edge：Precision and Adaptability in Medical Image Analysis through Segment-based U-Net and Transformer Integration
方法：本文提出了一种新颖的U-NeTrans方法，通过将U-Net和Transformer结合起来，实现了在资源受限的移动设备上进行医学图像分析的高效性能。

创新点：

结合U-Net和Transformer架构的U-NeTrans模型，通过在边缘计算中应用先进的深度学习算法，提高了医学图像分析的精度和适应性。

U-NeTrans通过将图像分割成小块而不是将其展开为标记来解决了补丁展开和放大敏感性等问题。这种新颖的方法避免了补丁展开的问题，同时保持了细粒度的局部细节。

U-NeTrans具有在单个架构中允许可变补丁大小的优点，从而降低了对放大的敏感性，并支持各种图像分辨率。

在医学图像分割任务中表现出色，实现了98.97%的准确率、98.81%的精确度、99.68%的敏感性、98.73%的特异性，以及99.19%的AUROC。

MiTU-Net：A fine-tuned U-Net with SegFormer backbone for segmenting pubic symphysis-fetal head
方法：论文提出一种基于U-Net架构和Mix Transformer编码器的有效分割网络，用于自动分割超声图像并测量AoP，以提高产程评估的准确性和效率，填补了自动测量AoP的算法需求与传统人工测量方法之间的空白，同时减少了计算复杂度和可训练参数数量。

创新点：

基于传统U-Net结构，提出了MiTU-Net模型，利用预训练的Mix Transformer编码器进行分割骨盆联合和胎头的自动分割，实现了高效且准确的分割。

MiTU-Net模型通过降低编码器-解码器模型的可训练参数数量，显著减少了计算成本和内存使用，同时保持了较高的分割性能。

提出了使用Dice相似系数（DSC），Hausdorff距离（HD）和平均表面距离（ASD）评估分割模型性能的典型指标。

wmh seg：Transformer based U-Net for Robust and Automatic White Matter Hyperintensity Segmentation across 1.5T, 3T and 7T
方法：论文介绍一种基于Transformer的编码器和U-Net架构的深度学习模型，名为wmh seg。该模型在不同磁场强度、扫描仪制造商和常见MRI伪影下具有稳定的性能。

创新点：

wmh seg是一种基于transformer的深度学习模型，用于T2w FLAIR图像的白质病变分割。

在训练数据多样性方面，wmh seg使用了来自不同磁场强度和机构的图像，并添加了人工MRI伪影，从而提高了模型的鲁棒性。

wmh seg在7T FLAIR图像的分割结果超过了WMH分割挑战中获胜的团队的模型推断结果，表明模型在不同磁场强度下的通用性和稳定性。

wmh seg比FreeSurfer在定量亚皮质白质病变方面的分割更准确，弥补了FreeSurfer在T1w图像上的缺陷。