计算机工程与应用

作者：李超烽, 顾瑞春, 李卓仑

单位：内蒙古科技大学 数智产业学院（网络安全学院），内蒙古 包头 014010；

关键词：联邦学习（FL）,多模态数据,软性跨模态对比学习,交叉注意力机制,知识蒸馏

基金：内蒙古自然科学基金（2021LHMS06003）；内蒙古高校基本科研业务费项目（114）。

联邦学习（federated learning，FL）作为一种分布式机器学习方法，在不共享本地数据的情况下，使多个客户端协同训练，有效保护数据隐私。然而，现有的联邦学习方法在处理多模态数据时，面临数据异构性和模态差异带来的显著挑战，尤其在跨模态数据对齐与融合方面表现不足。提出了联邦多模态软性跨模态对比学习与交叉注意力框架（federated multimodal soft cross-modal contrastive learning and cross-attention framework，FedCMCA）。通过结合软性跨模态对比学习与基于交叉注意力机制的全局-局部交叉模态聚合，有效解决了不同模态数据在联邦学习环境下的对齐与融合问题。在客户端引入软性跨模态对比学习方法，通过自适应缩放参数和柔性的对齐策略，灵活对齐不同模态间的语义表示，缓解了传统一对一匹配的限制，提升了模型处理复杂多模态关系的灵活性。在服务器端引入交叉注意力机制对来自各客户端的本地表示进行聚合，实现跨模态特征的深度融合。此外，还使用了知识蒸馏技术优化了全局模型在多模态任务中的泛化能力。在Flickr30K、MS-COCO等公开数据集上的实验结果表明，FedCMCA在跨模态检索任务中均优于FedAVG、FedNova、FedIoT及CreamFL等联邦学习方法，表现出良好的性能。

来源：2026年第8期

《计算机工程与应用》期刊编辑部

查看计算机工程与应用杂志2026年第8期