欧宝体育app下载地址汽车配件网动态 华人博士发127页长文:自然说话处理中图神经网络从入门到精通

阅读: 作者:admin   发表于 2021-07-04 20:18

  

图是一栽可用来描述和建模复杂体系的通用说话。

图在NLP的世界里无处不在,比如用来描述句法新闻的dependency tree和constituency tree,以及描述语义新闻的AMR graph。

相比于浅易地把自然说话建模成词袋(bag)或者序列(sequence),图能捕捉到自然说话更雄厚和详细的新闻。

因此,对于很众NLP义务而言,图是一栽专门相符理的外示方式。

例如,对于跨文本浏览理解义务,倘若能够抽掏出文本中的实体新闻,并以图的样式竖立首它们之间各栽有关,将能有效协助文本理解。

而图神经网络(GNN)正好最拿手处理和建模图组织数据的。

GNN的原理

GNN的做事原理浅易概况就是,聚相符节点的邻居节点/边的新闻,来更新节点的向量外征。

近年来,深度学习已经成为NLP周围的主要技术方法。

在GNN被引入和普及行使之前,深度学习周围不息欠缺一栽神经网络架构,能够像CNN正当处理网格数据那样,正当处理肆意图组织数据。

随着GNN钻研的不息火炎,越来越众的钻研最先尝试用GNN来解决各类NLP题目。

近期,来自京东硅谷研发中央的首席科学家吴凌飞博士和他的团队就发外了第一篇详细的关于GNNs for NLP的综述。

华人博士发127页长文:自然说话处理中图神经网络从入门到精通

论文: https://arxiv.org/pdf/2106.06090.pdf

Github:https://github.com/graph4ai/graph4nlp/

本文从「NLP图构建」、「NLP图外示学习」、「基于GNN的Encoder-decoder模型」和「GNN在NLP义务中的行使」四个维度对现有钻研挺进作了详细的回顾与解读。

整篇综述统统127页,其中包含87页正文,12栽图构建方法,12个行使场景涉及NLP各方各面。

除此之外,其中遮盖了500篇顶级AI/ML/NLP的文章,并在末了对现在所面临的挑衅与异日的钻研倾向作出了独到的总结。

华人博士发127页长文:自然说话处理中图神经网络从入门到精通

NLP图构建、NLP图外示学习、基于GNN的Encoder-decoder模型和GNN在NLP义务中的行使

岂论是想要晓畅该倾向的最新钻研挺进,概览GNNs for NLP行使pipeline,抑或是对其中某个子模块感有趣,本文都将让你有所收获。

作者所在团队还为本文配备了graph4nlp library,已在github上发布,给想要脱手实操的钻研者们挑供了专门益的机会。

GNN4NLP钻研面临的挑衅

尽管在各类NLP义务上,GNN已经大获成功,但是GNN4NLP照样是一个相对年轻且迅速发展的钻研周围,并面临诸众挑衅:

如何自动地把文本数据转换成有效的图组织数据,并保留对下游义务有协助的主要新闻; 如何针对差别类型的图组织数据,开发出有效的GNN模型; 如何端到端地学习复杂类型数据之间的映射有关(例如Graph2Seq, Graph2Tree, Graph2Graph)。 自动化图构建

差别类型的NLP义务往往必要差别层面的文本新闻。例如,词性、句法等新闻对于命名实体识别义务比较有协助;而对于浏览理解义务而言,实体有关等语义新闻会很有协助。

另一方面,差别类型的图清淡包含差别类型的新闻。因而,如何选择正当的图构建方式对于GNN在下游义务的外现至关主要。

本文将现在已知的一切图构建方式分为两类:静态构图方式和动态构图方式。

华人博士发127页长文:自然说话处理中图神经网络从入门到精通 静态图构建

静态图构建有两大特点:

引入先验的周围知识来扩充文本新闻; 在预处理阶段完善。 华人博士发127页长文:自然说话处理中图神经网络从入门到精通

dependency graph和constituency graph两栽静态图构建方式

本文从以去发外的文献中,总结出10余栽有代外性的静态图构建方式,并将其归类为句法新闻、语义新闻、主题新闻等众个维度。

华人博士发127页长文:自然说话处理中图神经网络从入门到精通

动态图构建

动态图构建是近两年来新兴展现的一栽自动构图方式,其最大的特点是:

针对下游NLP义务,对图结议和图外征进走端到端说相符学习; 能够动态进走。

动态图构建的常见流程:

图相通度量学习模块计算节点之间的相通有关,返回一个全连通添权图; 图稀奇化模块对全连通图进走稀奇化处理,得到稀奇图; 倘若已知初首的图组织新闻,那么也能够将初首的图结议和学习到的隐图组织结相符首来,获得更有效的图组织新闻。 华人博士发127页长文:自然说话处理中图神经网络从入门到精通

同时,本文总结了各类现在已知有效的动态图构建方式,并归纳出如下4个技术维度和响答的代外性技术。

华人博士发127页长文:自然说话处理中图神经网络从入门到精通 图外示学习

当从非组织化的文本中获取到了想要的图,又该如何进走图外示学习?

不要慌,本文从几百篇文献中,体系性的总结了实际钻研中碰到的图的类型,以及怎么转化,最后怎么用、用什么GNN进走编码学习的流程。

最先,根据图的节点和边的属性是否唯一,将图归类为:

具有单一节点和边属性的同构图(homogeneous graph); 具有单一节点属性,但边属性不唯一的有关图(multi-relational graph); 节点属性不唯一的异构图(heterogeneous graph)。

其次,这些图之间是存在互相转化的能够的,因此本文总结了这些差别的图能够存在的转化模式,比如说如何从一个异构图转化成众有关图等等。

这些转化为图神经网络的行使挑供了更众的能够与选择。

末了,当搞懂得图的结议和转化后,该如何选择正当的图神经网络进走学习?

本文总结了针对每一栽图现在已有的经典的图神经网络,让操纵首来不再感到无从着手!

对于同构图,吾们总结了一类成为homogeneous GNN的图神经网络类型。最常见的比如GCN,GAT等等。稀奇的,吾们仔细到很众GNN比如GCN是针对无向图而实际中很众同构图是有向的,因此吾们针对有向图和无向图进走了详细的商议。 对于众有关图,原由针对边的属性如何被行使,总结了差别的multi-relational GNN。最常见的有R-GCN, R-GGNN等等。值得一挑的是,吾们发现火爆全网的Transformer也被钻研者用来学习众有关图操纵。吾们将它视为一栽稀奇的众有关图,进走了体系的分析。 对于异构图,原由图的节点和边的属性都不限,因此这方面的做事解放度很高,吾们统称为heterogeneous graph。常见的有基于元路径的(meta-path based),有关神经网络延迟的(R-GNN based)等等。 华人博士发127页长文:自然说话处理中图神经网络从入门到精通

流程图

编码器-解码器模型

Encoder-decoder架构能够说是近年来NLP周围中行使最为普及的框架之一。

但在差别义务场景中,如何相机走事地设计encoder,decoder,也是极为主要的题目。

结相符GNN对图组织数据的兴旺建模能力,很众钻研者最先关注如何在Encoder-decoder架构中用益GNN。

本文对这个倾向的钻研挺进作了体系地梳理和回顾,并将有关文献分为以下三个类别:

Graph2Seq(图到序列) Graph2Tree(图到树) Graph2Graph(图到图) 华人博士发127页长文:自然说话处理中图神经网络从入门到精通

Graph2Seq&Graph2Tree暗示图

对于这三个角度,本文详细介绍了Graph based encoder-decoder模型的发展脉络。

其中不光包括GNN的操纵,也有各栽各样有关的decoding techniques。

同时,对于比来备受关注的基于graph transformer的生成模型,本文也对此进走了分析对比,并总结了一些现在面临的关键挑衅。

NLP行使义务

那么,图神经网络原形被用到哪儿了呢?

本文总结了来自12个差别的倾向,26个义务共百余篇文献,带来最详细的实际行使解读:

自然说话生成(NLG):1. 机器翻译(Neural Machine Translation),2. 概要生成(Summarization),3. 组织化数据到文本的生成(Structural-data to text),4. 文本题目生成(Neural Question Generation) 机器浏览理解与题目回答(MRC and QA):1. 机器浏览理解(Machine Reading Comprehension), 2. 基于知识库的题目回答(Knowledge Base Question Answering),3. 盛开周围的题目回答(Open-domain Question Answering),4. 基于社区的题目回答(Community Question Answering) 对话体系(Dialog Systems):1. 对话状态跟踪(Dialog State Tracking),2. 对话回答生成(Dialog Response Generation),3. 下一个话语选择(Next Utterance Selection) 文本分类(Text Classification):1. 文本分类(Text Classification) 文本匹配(Text Matching):1. 文本匹配(Text Matching) 主题模型(Topic Modeling):1. 主题模型(Topic Modeling) 感情分类(Sentiment Classification):1. 感情分类(Sentiment Classification) 知识图谱(Knowledge Graph):1. 知识图谱补全(Knowledge Graph Completion),2. 知识图谱对齐(Knowledge Graph Alignment) 知识抽取(Information Extraction):1. 命名实体识别(Named Entity Recognition),2. 有关抽取(Relation Extraction),3. 说相符学习模型(Joint Learning Models) 句法解析和语义分析(Parsing):1.句法解析(syntactic parsing) 2. 语义分析(semantic parsing) 推理(Reasoning):1. 解决数学行使题(Math Word Problem Solving),2. 自然说话推理(Natural Language Inference),3. 常识推理(Commonsense Reasoning) 语义角色标注(Semantic Role Labelling):1. 语义角色标注(Semantic Role Labelling)

对于每一个义务,遵命以下三点进走剖析:

该义务的钻研背景(background)和操纵图神经网络的动机(motivation); 操纵图神经网络的方法(methodology); 该义务已有的数据集(benchmark)和评测指标(evaluation)。

针对最关心的方法片面,本文做了如下总结:

构图技巧; 图外示学习方法; 一些稀奇方法的层次进走详细的表明。 华人博士发127页长文:自然说话处理中图神经网络从入门到精通 总结

团队介绍

本文的作者是:

京东硅谷研发中央(JD.COM Silicon Valley Research Center)的首席科学家吴凌飞博士;西蒙弗雷泽大学的裴健教授;京东零售集团搜索和保举平台部副总裁龙波博士等钻研者。

Graph4NLP 有关柔件包,综述,讲座和文献:

Survey: http://arxiv.org/abs/2106.06090

Library: https://github.com/graph4ai/graph4nlp

Demo: https://github.com/graph4ai/graph4nlp_demo

Tutorials: Graph4NLP-NAACL'21(Slides: google drive, baidu netdisk(drs1))

Literature Review: https://github.com/graph4ai/graph4nlp_literature

论文地址:

https://arxiv.org/pdf/2106.06090.pdf

【编辑保举】欧宝体育app下载地址汽车配件网动态

终于有人把卷积神经网络(CNN)讲晓畅了 机器浏览理解:人造智能技术的主要分支之一 如何为初创企业选择正当的人造智能营业模式? 教你编写人造智能数据分析案例?(Python3.7) 行使人造智能技术管理数据中央即将成为标准选项


导航

热点推荐

最新发布

友情链接