📌 本文提出了一种统一的多模态知识图谱补全框架——ChoicE，该方法有效解决了模态异质性与空间异质性两大挑战，并在多个基准数据集上实现了当前最佳表现。

🔍 项目简介

多模态知识图谱补全（Multimodal Knowledge Graph Completion, MKGC）任务，旨在综合结构信息、文本描述与视觉图像，预测知识图谱中的缺失实体或关系。然而，现有方法难以同时解决以下两大核心问题：

  • Modal Heterogeneity（模态异质性）：不同模态间数据分布差异显著，融合难度大。
  • Spatial Heterogeneity（空间异质性）：单一几何空间无法同时建模对称、反对称、层级等复杂关系。

🧠 解决方案：ChoicE 框架

我们提出了一个双层动态选择机制：

🎛️ 1. Multimodal Chooser（模态选择器）

动态选择结构、文本、视觉三个模态的专家网络

使用Gumbel Softmax路由机制保持模态独立性与互补性

引入ViT与BERT作为视觉与文本编码器

🧭 2. Geometric Chooser（几何选择器）

为每组实体-关系对选择最优几何空间（欧几里得、复数或双曲）

使用不同几何空间的专家网络处理复杂的图谱结构

自适应建模对称性、层级性与环状结构

🚀 实验成果

📌 技术亮点

模块 关键技术
编码器 模态选择器 + 多专家网络（结构/文本/视觉）
解码器 几何空间选择器（E/ℂ/ℍ） + 几何专家网络
预训练模型 Vision Transformer (ViT) + BERT
路由机制 Gumbel-Softmax + Routing-by-Agreement
适配结构 多种复杂关系：对称、反对称、层级、互斥等

🏆 贡献总结

研究亮点

Holistic Framework for Dual Heterogeneity

同时处理模态异质性与空间异质性的统一架构

Modality Expert Adaptation

提出多模态专家选择器，实现结构-文本-视觉融合

Geometric Space Adaptation

设计几何专家网络，适配多种关系几何特征

State-of-the-Art Performance

在多个基准上实现SOTA性能，远超现有主流方法

📄 引用信息

```bibtex
@article{Xue2025ChoicE,
title={Make Your Choice for Multimodal Knowledge Graph Completion},
author={Yifan Xue and Shuoyan Ren and Wanqiang Cai and Yingyao Ma and Lotfi Senhadji and Huazhong Shu and Jiasong Wu},
journal={Knowledge-Based Systems},
year={2025}
}