欢迎访问:沃派博客 每天不定时发布IT文章相关资讯
当前位置:沃派博客-沃派网 > IT文章 > 正文

「顶会见闻系列」之 EMNLP 2018 详细参会见闻(上篇)

11-09 IT文章

原标题:「顶会见闻系列」之 EMNLP 2018 详细参会见闻(上篇)

雷锋网 AI 科技评论按:本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议,没去现场的自然可惜,在现场的也容易看花眼。那么事后看看别的研究员的见闻总结,也许会有新的收获呢。

Patrick Lewis 是 UCL 的自然语言处理博士生,同时他也参与 Facebook 人工智能研究院的研究。Patrick Lewis 对人类应当如何设计自然语言处理系统、如何更高效地编码并利用语言背后的有用的知识非常感兴趣。Patrick Lewis 现场参加了 EMNLP 2018,并在个人博客写下了他的参会见闻。雷锋网 AI 科技评论编译如下。(有删节)

「顶会见闻系列」之 EMNLP 2018 详细参会见闻(上篇)

我刚刚从布鲁塞尔参加 EMNLP 回来。我们在 EMNLP 上展示了我们的 ShARC 数据集的论文。这次会议的规模和广泛程度真是令人惊叹,有如此之多的聪明人,在做各种令人惊喜的事情。能遇到自然语言处理界的这么多学者,和他们聊天、建立联系也很开心。

下面我尝试把自己的一些体会总结成一篇文章。有趣的东西太多了,我都已经开始有点忘了。我听了超过 60 场论文演讲,看了好多好多论文海报,但是相比整个论文的 549 篇接受论文来说也仅仅只是很小的一部分而已。我先说一说我看到的一些高层次的趋势,然后一块一块地详细说说每一天遇到的值得关注的东西。

总结

我觉得今年的 EMNLP 有好几个有广泛外延的趋势值得注意。尝试更难的任务,广泛地对模型、数据集以及任务进行批判性分析,整个领域内有很多注意力都花在了这些事情上。这其中有件好事,就是耸人听闻的报道少了,没有什么突出的新想法、仅仅一味拼凑新架构的论文也少了。

有一个方面有喜人的增长,我把它称作「负有社会责任的自然语言处理」,它包括的内容从调查学术研究社区内的偏倚一直到流传的说法的验证和假新闻辟谣。我觉得 FEVER Workshop 尤其地成功,而且我会鼓励更多的人参与进来。

我们也看到对抗性方法在 NLP 领域得到越来越多人的关注,从老式的 GAN、到辨别网络、自然语言的对抗样本生成的各方面都有持续的增长。这些研究的体量相对来说还是比较小的,不过我觉得明年的时候我们就会看到遍地都是对抗性方法了。

我们也看到了上下文相关的文本嵌入得到了广泛的应用,尤其是 ELMo。AI2 做了很好的宣传活动,给参会者们送 ELMo 的贴纸和毛茸茸的 elmo 小怪兽玩具。有不少的研究都把 ELMo 作为输入的对比组,而且也确实在很多不同的应用中取得了可以说是全方位的提升。

会议中还出现了好多好多新数据集。基本都是针对越来越细粒度的任务(包括我们自己的 ShARC),也有很多专门在强调难度。「难度筛选器」的概念一下子就变得特别火(对抗性筛选以及其它相关的技巧),就是为了保证数据集没法用现有的方法轻松解决。理论上来说这是一件好事,不过我有点担心,如果我们的处理的过程不小心的话可能会让数据集带有微妙的、基于模型的偏倚。和上面这些相关的是,有好几项研究都以现有的数据集为研究对象,进行近距离的、批判性的分析,试图弄清如果要在这些任务中取得好成绩的话到底需要什么类型的模型;问答任务上的这样的研究尤其多。

我们也看到了常识和单词知识方面的研究热情一直在持续,有一些新的进展,但是我们仍然有很长的路要走。

其它值得一提的还有:重新在语言建模中引入句法和语言学结构,这个方向的研究还在不断成长;大家都更看重模型的可解释性;以及,结构化地限制模型的输出(配合结构化的预测,ILP 等等)。

如果你也到会议现场看了,你也能在这里写下更多东西,而且你看到的趋势可能也会和我的不一样。毕竟这个会议已经很大了,同一时刻有 5 个会场都在进行。

下面我一个一个 session 地说下一我自己觉得尤其有趣或者值得讨论的研究。

FEVER Workshop

这次的 FEVER Workshop 很棒,如果它聚集的热度能保持下去并继续增长就更好了,组织者的工作也做得很好。FEVER 是指论述提取与验证(Fact Extraction and VERification),典型的应用比如热点新闻鉴别真假并辟谣,在近年来全社会都有热烈的 AI 热潮的环境下更有很高的价值。

Tim Rocktaschel:特邀讲者

Tim 讲述了他在 NTP(网络时间协议)、ShARC(超级哈佛架构)以及其他项目中的工作。我熟悉 Tim 的相关工作,所以没有详细做笔记。听众提出了一个非常有洞察力的问题,问 NTP 捕捉的到底是关联性还是语义的相似性,这个问题提到规则归纳无法与关联性相互配合。

《Towards Automated Factchecking: Developing an Annotation Schema and Benchmark for Consistent Automated Claim Detection》

《面向自动事实核查:为一致的自动陈述检测开发一个标注方式和 Benchmark》

作者:Lev Konstantinovskiy, Oliver Price, Mevan Babakar,Arkaitz Zubiaga

Lev 在一家打击虚假信息的慈善机构 FullFact 工作。FullFact 对事实核查的工作流程规如下:

更自动化的监控

更自动化地发现需要核查的陈述

核查陈述

公布

干预

这个项目涉及面向自动陈述检测方面的工作,首先会为 7 种类别建立一个数据集:

非陈述

数量

预测

个人体验

相关/因果关系

操作法律/规则

版权保护: 本文由 沃派博客-沃派网 编辑,转载请保留链接: http://www.bdice.cn/html/759.html