TransLandSeg适用于滑坡识别的视觉基础模型迁移学习方法
引用本文：C. Hou, J. Yu, D. Ge, et al., “A Transfer Learning Approach for Landslide Semantic Segmentation Based on Visual Foundation Model,” IEEE J. Sel. Top. Appl. Earth Observations Remote Sensing, vol. 18, pp. 11561–11572, 2025, doi: 10.1109/JSTARS.2025.3559884.
摘要
随着视觉基础模型（VFM）在遥感领域应用的普及，其在复杂地学场景下的适配性仍面临重大挑战。VFM 的训练数据以自然图像为主，难以直接处理特征更为复杂的遥感影像，而传统的微调方式识别精度和训练成本较高。为实现VFM 向滑坡识别等遥感地学应用场景的低成本高效迁移，本研究提出TransLandSeg模型。该模型通过引入轻量级ATL模块，在冻结VFM 主干网络的前提下，仅训练原网络参数参数的1.3% 即可提升滑坡特征识别能力实现VFM的高效迁移。研究针对ATL模块的MidLay结构、部署位置及残差连接等设计开展系统性研究，并给出最终最优配置。在毕节滑坡和Landslide4Sense数据集上对TransLandSeg模型进行测试，实验表明MIoU分别达88.1%和75.99%，相较于传统识别模型的性能有显著提升。该方法兼顾精度提升与效率优化，为滑坡识别等复杂地学场景的识别应用提供了可迁移、可推广的技术范式。
TransLandSeg介绍
TransLandSeg整体结构
>
（a）TransLandSeg模型结构，（b）SAM模型结构
在TransLandSeg模型中，设计了一个即插即用的瓶颈模块Adaptive Transfer Learning（ATL），将ATL模块插入到SAM的image encoder中。在训练时，冻结SAM中image encoder的参数，只对ATL模块和mask decoder 进行训练。这样的策略既保留了SAM的特征提取能力又能学习到新的滑坡语义特征。
ATL结构
>
Adaptive Transfer Learning结构。（a）ATL模块结构。（b）MidLay_m结构。（c）MidLay_c结构
ATL是由一个向下投影层，中间非线性层和一个向上投影层组成，模块中设置有跳层连接。两个投影层之间设置了MidLay用于特征提取和学习。本文设置了两种MidLay ，一种是由全连接层和GELU激活函数组成的MidLay_m，另一种是由卷积层, LayerNorm层和GELU激活函数层组成的MidLay_c。
MidLay堆叠
>
（a）2层MidLay_m。（b）2层MidLay_c。（c）3层MidLay_c。（d）2层MidLay_m+3层MidLay_c。
堆叠全连接层或者卷积层是加强模块的特征提取和学习能力的常用方法。本文通过堆叠设计了其他四种MidLay的结构。
ATL模块部署位置
ATL放置在Transformer block内部示意图.（a）SAM的Image Encoder中原始的 Transformer block结构。（b）ATL模块放置在Transformer block内部结构。（c）ATL模块放置在Transformer block内部的TransLandSeg model结构。
ATL模块不加残差结构
ATL模块不加残差示意图.（a）ATL模块不加残差放置在Transformer block外部示意图。（b）ATL模块不加残差放置在Transformer block内部示意图。（c）ATL模块不加残差放置在Transformer block内部训练模型示意图。
主要实验结果
实验采用2个开源滑坡数据集作为实验数据集，具体信息如下：
对比实验
将TransLandSeg与CCNet，UNet，PSPNet，Deeplabv3+，TransUNet和Segformer模型进行对比，证明了TransLandSeg有着最好的性能，MIoU在毕节滑坡数据集和Landslide4Sense数据集上分别达到了88.1%、75.99%。
毕节滑坡数据集上的分割效果
>
Landslide4Sense 数据集上的分割效果
TransLandSeg相较于其他模型的优越性
>
与其他传统语义分割模型相比，TransLandSeg在滑坡识别中取得了最高准确率，训练参数只有其他模型的5-10%，极大缩短模型的训练时间，减少计算资源的消耗。
TransLandSeg相较于SAM的优越性
>
在不同的提示模式下，SAM不能完全识别滑坡对象。TransLandSeg可以显著提高SAM滑坡分割的性能。
不同ATL结构对于TransLandSeg精度的影响
>
为了选取性能最佳的ATL模块，我们从MidLay结构，残差连接和ATL模块部署位置3个方面设计了9种ATL模块，讨论了不同结构的ATL模块对于TransLandSeg模型精度的影响。得出ATL模块采用带有残差的一层MidLay_m，并放置在Transformer block外部，具有最好的效果。
结论
本研究关注以较低的训练成本将VFM的特征提取能力迁移到滑坡识别任务中。实验结果表明TransLandSeg模型在处理滑坡识别等复杂场景下的遥感识别任务上具有明显优势。此外，这种迁移方法并不受识别目标和场景，甚至是模型接口的限制，具有较为广泛的应用推广价值。