您好、欢迎来到现金彩票网!
当前位置:秒速快三 > 数据集 >

Google发布超难问答数据集「自然问题」:30万对问答BERT都达不到

发布时间:2019-06-03 22:29 来源:未知 编辑:admin

  Google现在想到了一个办法能让AI来回答这个问题,他们开放了一个名叫

  就拿“世界上最大的冰盖在哪里”这个问题来说,在维基百科“Ice sheet(冰盖)”词条,看到“Antarctic ice sheet(南极洲冰盖)”这个部分的时候,找到了相关的一个自然段的描述,这是该问题的长答案。

  之后,从这一段中得到“南极洲是世界上最大的冰盖”这个消息,于是找到了短答案:

  比如说,“汉语里的“中国”是什么意思”这个问题,答案在“Names of China”这个维基百科词条里,以一段话的形式解释。

  1、超过30万组问答,其中训练集有307,372组问答,包含152,148组长答案问答和110,724组短答案问答;

  2、开发示例问答,包含有7830组“一问五答”的问答,也就是同一个问题,找五个人分别从维基百科中寻找答案,以此来衡量QA问答系统的表现;

  整个标注的过程中,需要标注者阅读整个维基百科页面,看看有没有这个问题的答案,之后一方面要找包含所需信息的长答案自然段,另一方面要从中找一两个单词或词组作为短答案,整个数据集的精确度超过90%。

  数据集中所有的问题都是用户在使用Google搜索时提出的,QA问答系统需要阅读整篇维基百科相关词条的文章,也不一定每个问题的答案都能找得到,因此NQ要比以前的QA数据集更具挑战性。

  另外,Google还为这个数据集定制了一个排行,衡量不同算法在NQ数据集上的表现,目前,无论是长答案还是短答案,BERT都处在排行榜上的领先位置。

  当然,因为数据集刚刚推出,现在参赛选手比较少,只有Google自家的两个算法,BERT和DecAtt-DocReader。

  不过,在这个数据集上,两个算法的表现跟人类相比还有不小差距,人类搜寻长答案的F1分数是87%,比BERT高了十几个百分点;搜寻短答案的F1分数是76%,比BERT高了二十几个百分点。

http://harpoolbrothers.com/shujuji/178.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有