自动化知识图谱表示学习：从三元组到子图 - 张永祺 第四范式资深研究员

知识表示学习与自动化机器学习

背景介绍

• 知识图谱（KG）：包含实体（Entities）、关系（Relations）和三元组（Fact/triples）。实体是现实世界中的对象或抽象概念，关系是实体之间的交互。
• 知识图谱表示学习：通过连续表示来发现潜在属性，提高相似性搜索效率。
• 应用：知识图谱补全、链接预测、实体对齐、实体分类等。

模型设计

• 评分函数（Scoring Functions）：用于评估三元组（head, relation, tail）的合理性。常见的评分函数包括路径基、子图基等。
• 损失函数（Loss Function）：通过最大化正样本得分并最小化负样本得分来优化模型。
• 算法：如Stochastic Gradient Descent（随机梯度下降），用于更新嵌入参数。

关键技术

• 自动机器学习（AutoML）：通过高效搜索超参数或设计模型来优化机器学习过程。主要分为两个阶段：子图高效评估和整体图评估。
• 搜索空间：需要覆盖人类智慧，并且保持搜索空间的有效性。
• 搜索算法：如强化学习、演化算法等，用于在非凸优化中寻找好的解。

主要模型

• 经典模型（BLMs）：如RESCAL、TransE、ComplEx等。
• 神经网络模型（NNMs）：如ConvE、AutoSF等。
• 自动设计评分函数（AutoKGE）：通过自动搜索最佳评分函数来提升模型性能。

数据集比较

• 数据集：WN18、FB15k、YAGO、OGB-Large-BioKG、OGB-Large-WikiKG。
• 实体数：从几千到几百万不等。
• 关系数：从几十到数千不等。
• 三元组数：从几千到几百万不等。

总结与未来工作

• 目标：探索知识图谱表示学习的关键技术和方法。
• 挑战：如何定义搜索空间和设计高效的搜索算法，以实现性能和效率的平衡。