2013年TREC时间摘要评测总结

一.评测内容简介

TREC 2013中的Temporal Summarization评测目的在于从按时间排序的文档流中提取与给定事件相关的更新信息,具体来说是提取最为相关的句子主干信息及核心属性值,如枪击事件的死伤人数,飓风的当前位置等信息。本评测是TREC2013今年新增加的评测,有如下两个任务: Task1:顺序更新摘要(Sequential Update Tracking),要求找出与给定事件相关的更新信息(句子)。 Task2:值追踪(Value Tracking)要求估计事件的给定属性的值。cocktail dresses cheap,christian louboutin uk,ralph lauren sale,louis vuitton

sale,michael kors outlet

评测报告:PRIS-ts

二.参加人员和参加机构介绍

PRIS的主要参加人员

指导老师:徐蔚然老师、张春云博士

参与人员:孟繁宇、吴桐、李洪岩、徐立鑫

主要参加机构

本次TREC Temporal Summarization评测为首次举办,共有7支队伍分别在两个任务提交了27组和7组结果。具体参评单位为:

–    The Johns Hopkins University

–    University of Waterloo

–    Human Language Technology Center of Excellence

–    University of Guelph

–    ICTNET

–    北京邮电大学

–    北京工业大学

三.评测相关链接

http://www.trec-ts.org/

四.PRIS团队参赛情况

【评测思路】

针对本次TREC 时间摘要评测任务的两个任务,我们分别采用了如下方法:

Task1:1、数据预处理,建立索引;2、采用LDA、WAF等方法生成对应事件的关键词并对关键词打分;3、综合考虑句子的长短、位置、关键词密度、所包含的关键词得分等因素,给句子打分,筛选出重要的句子构成摘要。

Task2:1、数据预处理,建立索引;2、使用CRF对训练集进行训练,然后对需要抽取数据运行程序,抽取出每句话中的对应属性值。

【评测结果】

1、Task1共有7支队伍提交了27组结果,下表从Expected Gain,Expected Latency Gain,Comprehensiveness,Latency Comp这四个指标对结果进行了评价(以E(Latency Gain)排序),可以看出,我们提交的5组结果均进入前十,并有一组结果排名第一。(前两项指标与后两项指标反相关,不能同时达到最优)

图片1

表1 Task1主要指标,以E[Latency Gain]排序

表2和表3分别为不考虑时间延迟的F值和考虑时间延迟的F值,可以看出pris的五组结果全部进入前十,最好成绩排名第五。

无标题

                               表2 F值                                                表3 F值(考虑时间延迟)

2、Task2共有4支队伍提交了7组结果,下表列出了location,deaths,injuries,financial impact四个属性的值追踪的误差期望。其中,我们的一组结果在financial impact这项属性值的追踪上取得了最好的成绩。

无标题

表4 Task2各属性值追踪误差

【参加人员:孟繁宇,吴桐,李洪岩,徐立鑫】

Task1:孟繁宇  吴桐

图片1

039-DSC013811

 

 

 

 

 

 

 

 

Task2:李洪岩  徐立鑫

图片2图片3

 

cheap louboutin,ralph lauren polo uomo
louis vuitton bags,cheap michael kors ,party dresses online australia

2013年TREC时间摘要评测总结》上有1条评论

  1. 你们好!我是2014年 TREC TS 的一位参与者,今年所用数据集是TREC KBA 2014 Stream Corpus,大小是去年的3倍多,请问你们参加2013 TS Track数据集是如何如何的到的?是使用的AWS Import/Export吗?如果可以的话可以,能请教一下具体过程吗?感激不尽!

发表评论

电子邮件地址不会被公开。 必填项已用*标注