NeurIPS 2024 | 南科大、港科大等提出GITA，推进基于视觉语言模型的图推理

原创卫焱滨 2024-11-11 12:33 北京

本文将图结构转化为图片，利用视觉语言模型（VLM）进行一般化地图推理, 开创了“视觉语言图推理”这一属于 VQA 和图推理交叉的子领域。

©PaperWeekly 原创 · 作者 | 卫焱滨

单位 | 香港科技大学

本文将图结构转化为图片，利用视觉语言模型（VLM）进行一般化地图推理, 开创了“视觉语言图推理”这一属于 VQA 和图推理交叉的子领域。

核心贡献 1：GITA 框架；通过自动将图结构转化为文本图描述和视觉图像，使用图文并举的方式，首次实现平滑地将视觉语言模型纳入图推理的赛道与基于文本的大模型进行竞争，并揭示了视觉语言模型在使用相同图结构信息量时相比纯文本大模型的模式提升，其尤其擅长对局部子结构和模式的捕获和识别。

核心贡献 2：本文同时提出该领域的第一个大规模对齐数据集 GVLQA，其以视觉语言问答对（VQA）的形式组织，可用于图推理领域中视觉和文本对齐，以及广泛评估 MLLM 的图推理性能。

核心贡献 3：在 GVLQA 上微调出的 GITA-7B/13B 模型与 llava 具有相同的模型架构，可以直接加载作为预训练模型基座用于下游的对图结构理解有要求的 llm/vlm 任务。checkpoint 公开可用。

论文标题：

GITA: Graph to Visual and Textual Integration for Vision-Language Reasoning

论文链接：

https://arxiv.org/abs/2402.02130

项目主页：

http://v-graph.github.io/

代码链接：

https://github.com/WEIYanbin1999/GITA/

GVLQA数据集地址：

https://huggingface.co/collections/Yanbin99/gvlqa-datasets-65c705c9488606617e246bd3

我们期待更多做 VLM 和图推理的同学加入到视觉语言图推理这一新兴领域, 欢迎使用我们提出的图 VQA 数据集 GVLQA 进行预训练对齐或评估模型能力

我们随时欢迎交流讨论，联系方式：yanbin.ust@gmail.com

图推理任务在推荐系统、社会网络分析、知识图推理等领域是至关重要的。从浅层嵌入方法，到先进的图神经网络（GNN）和图 Transformer，虽然这些模型擅长于图形推理任务，但它们往往缺乏通用性、灵活性和用户友好性。

使用这些模型实现良好的性能通常需要特定于领域的调优，这限制了它们跨不同领域进行泛化的能力。此外，这些模型难以使用相同的架构来处理不同的任务。每个任务通常都需要专门的设计，包括特定于任务的数据处理和解码器，从而导致有限的灵活性。最后，与能够与用户进行对话的大型语言模型（LLM）不同，这些模型不那么可解释和用户友好。

相比之下，大语言模型（LLM）在各种推理任务中显示出了强大的泛化能力，通过将任务特定的需求封装在一套内聚和可解释的文本提示中，大语言模型在一个统一的架构下，可以无缝处理不同的任务，这是现有的专有图方法所欠缺和追求的。因此，结合大语言模型的泛化能力和对图结构数据的理解能力成为了有潜力的新兴方向。

尽管已有不少使用 LLM 的图推理方法和基准，但它们往往借助语言模型本身，将图结构转化为自然语言描述，借助 LLM 对语序的理性感知进行图结构的感知。然而，这种感知方式忽视了直观和快速的视觉感知，这是人类在理解结构信息时的重要方式，这种直观快速的感知方式已经在各种视觉推理场景中验证了其有效性。

因此，我们自然地提出以下问题并试图发展基于视觉-语言的图推理设置，即：

（1）合并视觉信息是否有利于一般的图推理场景？

（2）如果是这样，我们如何有效地将视觉模态整合到图形推理中？

为了回答这些问题，我们创新地提出了一个通用框架，称为图可视化和文本集成（GITA）。

GITA：图可视化和文本集成的视觉语言推理

不同于以往仅基于文本的图推理范式，GITA 利用称为图可视化器（Graph Visualizer）的组件，系统地将图结构信息以可视化图（称为 visual graph）表示出来。

▲ 图1：不同图可视化器和生成出的 Visual Graph可视化图

GITA 的架构还包含一个图描述器（Graph Describer）组件，其中蕴含与任务无关的提示模板，将图结构转化为图的文本描述（Textual Description）。

▲ 图二：基于 GITA 框架的视觉语言图推理流程

接下来，由基于任务的提问者（Task-based Questioner）通过任务特定的提示模板，将图描述器输出的图结构的文本描述嵌入到问题提示词中，产生任务特定的提问查询（Task-specified Query）。

最终，可视化图和蕴含图文本描述的提问查询一起，被输入给 VLM 进行推理。

因此在 GITA 框架下，可视化图（视觉图表示）和图文本描述（文本图表示）分别从视觉和文本两种模态表达了相同的图结构信息，它们被 VLM 同时接受，用于推理。

因此，GITA 框架下的视觉语言模型可以同时受益于快速直观的视觉感知，和序列敏感的文本理解，我们将这种方式称为视觉语言图推理，并将其归类为一个从属于 VQA 和图推理的交叉领域。

GITA 是端到端的推理框架，因此支持直接进行特定数据的微调。值得注意的是，由于图可视化器和图描述器具备高度自动化的实现方式，因此，GITA 可以直接运行在裸图结构上，而不要求在初始阶段就具备可视化的图表示，这使得其可以适用于大多数的图场景，包含下游任务，如节点分类和链接预测。

GVLQA（注释：历史版本原称GITQA）：首个视觉语言图推理VQA数据集

尽管 GITA 可以被直接应用于裸图结构，但需要制备 Questioner 中的任务特定的模板，以及使用合适的图可视化器，用于将相应的裸图结构转化为直接可用于微调 VLM 的图推理 VQA 数据。因此，为了后来者的使用方便，我们以 GITA 应用于 NLGraph 数据集中的裸图结构作为一个实例，制作了 GVLQA 数据集，据我们所知，这是首个视觉语言图推理 VQA 数据集。

▲ 图三：GVLQA数据集概览

GVLQA 数据集包括 526K 个样本，每个样本由一个可视化图、一个文本查询和相应的答案组成。它被分为五个子集：GVLQA-BASE，和四个增强子集 GVLQA-AUGLY，GVLQA-AUGNS，GVLQA-AUGNO，和 GVLQA-AUGET。

在 GVLQABASE 中，视觉图的样式是一致的。其余的 4 个增强子集中的图结构与 GVLQA-BASE 中一致，但分别通过 4 种不同的可视化图增强，即分别在 6 种不同的图布局算法（GVLQA-AUGLY）、3 种节点形状（GVLQA-AUGNS）、4 种节点轮廓样式（GVLQA-AUGNO）和 4 种边的厚度（GVLQA-AUGET）下进行数据增强。

每个子集都包含 7 个具有代表性的一般图推理任务，包括图连通性判断（Connectivity），闭环检测（Cycle），拓扑排序（Topological Sort，TS），最短路（Shortest Path，SP），最大流（Maximum Flow，Flow），二分图匹配（Bipartite Graph Matching，BGM）和哈密顿路径（Hamilton Path，HP）。