光学影像和SAR影像相互转换（代码实现）

提出问题

最近因为科研需求，需要展开多模态数据的研究，奈何同一区域的多模态数据几乎没有。联想到GAN网络具备风格迁移和迁移生成等能力，因此，想着用GAN网络尝试去实现光学和SAR影像之间的相互转换。

提出方法

• 模型：U-GAT-IT模型
  U-GAT-IT提出了一种用于无监督图像到图像翻译的新方法，它以端到端的方式结合了一个新的注意力模块和一个新的可学习归一化函数。注意力模块根据辅助分类器获得的注意力图，引导模型关注更重要的区域，区分源域和目标域。与以前无法处理域之间几何变化的基于注意力的方法不同，模型可以翻译需要整体变化的图像和需要大形状变化的图像。此外，新的 AdaLIN（自适应层实例规范化）功能帮助注意力引导模型根据数据集通过学习参数灵活控制形状和纹理的变化量。
• 数据集：哨兵1、2-SAR和光学成对数据（4类）

解决方法

1、按实施步骤展开实验的训练和测试
2、实验结果

图1 第一列光学转换成SAR，第二列SAR转换成光学