2012NIST评测结果公布,PRIS实验室又获佳绩

2012年PRIS主要参加了NIST主办的TREC和TAC评测,主要成绩如下:

1、       TAC Knowledge Base Population (KBP) 2012

内容简介:

KBP评测的目标是促进自动化系统的研究,包括在大语料库中发现命名实体信息,以及将这些信息整合到知识库中。TAC 2012的任务有三块,均旨在提高从文本中自动填充知识库的能力:

Entity-Linking:给定一个query包含一个名字字符串,一个背景文档ID,一组标识字符串起始位置的UTF-8码,系统需要输出相应名字指示的KB entry的ID号,如果没有,输出一个”NILxxxx” ID。

Slot-Filling:给定一个命名实体、一个预定义的属性集,通过抓取相关值的信息,扩充一个KB节点的属性值。KB的参考文献来自英文维基。Slot Filler Validation这个诊断任务,将去判断参赛者的系统是否正确完成了填充。

Cold Start Knowledge Base Population:给定一个KB概要(空的知识库),通过挖掘大文本数据来构建出KB。

评测成绩简介

未命名

图1.KBP 2012 Slot-Filling前6名(PRIS名列第一)

未命名

图2. KBP 2012 Slot-Filling team(按年度,名次变化)

参加单位

伊利诺伊大学芝加哥分校、都柏林大学、德国萨尔大学、纽约大学、NEC Laboratories、广东外国语大学、香港理工大学、北京邮电大学、中国科学院等。

链接:

http://www.nist.gov/tac/2012/KBP/index.html

————————————————————

2、       TRECMicroblog Track

内容简介:

TREC是每年一度由美国国家标准技术研究院举办的文本检索会议国际公开评测,旨在通过以大规模数据为基础的信息检索关键技术评测来促进信息检索研究的发展。目前已成为信息检索领域最有影响的技术评测,反映了该领域最前沿的研究和最新的技术突破。

Microblog Track微博检索评测在微博环境如twitter下,对信息查询行为的搜索任务和评价方法。本评测在2011年第一次引入,解决一个实时adhoc系统的搜索任务——根据query找出最近且相关的信息。2012年的微博检索是TREC继去年起第二次设立该项目,包含微博实时检索和实时过滤两个子任务。

2012年参加该任务的单位包括美国CMU, UIUC, IBM研究院、英国爱丁堡大学、格拉斯哥大学、加拿大Waterloo大学等本领域国际著名研究团队以及国内的北京大学、中科院等共计30余家单位。

评测成绩简介

①    在实时检索子任务中,共有33支队伍提交了121组结果。我实验室提交的4组结果,最好成绩为P@30评价指标上的第37名。

未命名 未命名未命名

表 1: Adhoc runs, 根据P@30 score排序, 并标明run type (auto/manual), realtime (RT),是否linked documents (docs?) 以及是否其他外部信息的使用

 

 

②    在实时过滤子任务中,共提交4组结果,在核心评价指标(T11SU)上获得19支队伍60组参赛结果中的第2名,并有3组进入前5 。

未命名

表2: Filtering runs, 根据 T11SU score排序

链接:

http://sites.google.com/site/trecmicroblogtrack/

http://trec.nist.gov/pubs/trec21/papers/PRIS.microblog.nb.pdf

 

————————————————————

3、       TRECContextual Suggestion Track

内容简介:

Contextual Suggestion Track关注与那些高度依赖于上下文和用户兴趣的复杂信息需要的搜索技术。输入context和profile两项信息,context对应一个位置,包括城市,周几,几点和季节信息;profile对应一个单独的user,通过user对每个推荐样例的偏好来表征。对每个profile和context对,需生成有序的50个推荐。每个推荐应包括url,title,description信息。

评测成绩简介

未命名

Table 1: All 6 P@5 measures sorted by WGT.

 未命名

Table 2: All 6 MRR measures sorted by WGT.

PRIS名列第五。

 

链接:

http://trec.nist.gov/pubs/trec21/t21.proceedings.html

http://sites.google.com/site/treccontext/

http://trec.nist.gov/pubs/trec21/papers/PRIS.context.nb.pdf

 

————————————————————

4、       TRECKnowledge Base Acceleration Track

内容简介:

KBA致力于帮助人们根据传入的内容流自动地推荐编辑,来扩大像维基百科那样的知识库。这种开放式的评估能够评出自动过滤系统过滤一组新知识的大文本流的能力。KBA致力于寻找基于自然语言处理和信息检索的交叉思想。

TREC 2012的KBA track关注于一个任务:找出与预先定义好的实体列表高度相关的按时间排序的语料库。KBA-CCR(Cumulative Citation Recommendation)任务:过滤和一组实体相关的文件流。TREC KBA 2012中共有11队提交了43组结果。

评测成绩简介

未命名

PRIS结果(最大F值)与官方F值统计的比较

链接:

http://trec-kba.org/kba-ccr-2012.shtml

Track Web Page/Mailing List: http://groups.google.com/group/trec-kba

————————————————————

5、       TREC 2012 Medical Records Track

内容简介:

TREC 2012的医疗评测促进了基于语义的文本免费的电子病历检索技术的研究。电子病历作为患者的医疗记录档案,不仅是临床进行正确诊断、选择治疗方案和护理的科学依据,也是卫生统计机关资料来源的基础。2012是该评测的第二年,医疗评测吸引了24支研究团队参赛。本次评测的目标是从101711份医疗诊断报告(report)中检索出话题(topic)相关的病人(visit)。

评测成绩简介(不同run的结果与官方median比较)

未命名

图1. buptpris_Base: baseline,Lucene检索,MataMap/UMLS/SNOMed查询扩展,ICD9信息挖掘,人为设定权重

 未命名

图2. buptpris_Int:在buptpris_Base基础上,各子查询结果取交集,结果数过少时采用二次检索机制

 未命名

图3. buptpris_Cscore:在buptpris_Int基础上,只以contents域计算得分并排序

 未命名

图4. buptpris_Lrank:在buptpris_Int基础上,learning to rank 算法计算各域权重,优化排序

 

链接:

Mailing list: http://groups.google.com/group/trec-med

 

christian louboutin wedding shoes,ralph lauren italia,cheap louis vuitton bags ,michael kors bags sale,cheap wedding dresses online

发表评论

电子邮件地址不会被公开。 必填项已用*标注