📌 本文提出了一种统一的多模态知识图谱补全框架——ChoicE,该方法有效解决了模态异质性与空间异质性两大挑战,并在多个基准数据集上实现了当前最佳表现。
🔍 项目简介多模态知识图谱补全(Multimodal Knowledge Graph Completion, MKGC)任务,旨在综合结构信息、文本描述与视觉图像,预测知识图谱中的缺失实体或关系。然而,现有方法难以同时解决以下两大核心问题:
Modal Heterogeneity(模态异质性):不同模态间数据分布差异显著,融合难度大。
Spatial Heterogeneity(空间异质性):单一几何空间无法同时建模对称、反对称、层级等复杂关系。
🧠 解决方案:ChoicE 框架我们提出了一个双层动态选择机制:
🎛️ 1. Multimodal Chooser(模态选择器)
动态选择结构、文本、视觉三个模态的专家网络
使用Gumbel Softmax路由机制保持模态独立性与互补性
引入V ...