2013年TREC时间摘要评测总结

一.评测内容简介

TREC 2013中的Temporal Summarization评测目的在于从按时间排序的文档流中提取与给定事件相关的更新信息,具体来说是提取最为相关的句子主干信息及核心属性值,如枪击事件的死伤人数,飓风的当前位置等信息。本评测是TREC2013今年新增加的评测,有如下两个任务: Task1:顺序更新摘要(Sequential Update Tracking),要求找出与给定事件相关的更新信息(句子)。 Task2:值追踪(Value Tracking)要求估计事件的给定属性的值。cocktail dresses cheap,christian louboutin uk,ralph lauren sale,louis vuitton

sale,michael kors outlet

评测报告:PRIS-ts

二.参加人员和参加机构介绍

PRIS的主要参加人员

指导老师:徐蔚然老师、张春云博士

参与人员:孟繁宇、吴桐、李洪岩、徐立鑫

主要参加机构

本次TREC Temporal Summarization评测为首次举办,共有7支队伍分别在两个任务提交了27组和7组结果。具体参评单位为:

–    The Johns Hopkins University

–    University of Waterloo

–    Human Language Technology Center of Excellence

–    University of Guelph

–    ICTNET

–    北京邮电大学

–    北京工业大学

三.评测相关链接

http://www.trec-ts.org/

四.PRIS团队参赛情况

【评测思路】

针对本次TREC 时间摘要评测任务的两个任务,我们分别采用了如下方法:

Task1:1、数据预处理,建立索引;2、采用LDA、WAF等方法生成对应事件的关键词并对关键词打分;3、综合考虑句子的长短、位置、关键词密度、所包含的关键词得分等因素,给句子打分,筛选出重要的句子构成摘要。

Task2:1、数据预处理,建立索引;2、使用CRF对训练集进行训练,然后对需要抽取数据运行程序,抽取出每句话中的对应属性值。

【评测结果】

1、Task1共有7支队伍提交了27组结果,下表从Expected Gain,Expected Latency Gain,Comprehensiveness,Latency Comp这四个指标对结果进行了评价(以E(Latency Gain)排序),可以看出,我们提交的5组结果均进入前十,并有一组结果排名第一。(前两项指标与后两项指标反相关,不能同时达到最优)

图片1

表1 Task1主要指标,以E[Latency Gain]排序

表2和表3分别为不考虑时间延迟的F值和考虑时间延迟的F值,可以看出pris的五组结果全部进入前十,最好成绩排名第五。

无标题

                               表2 F值                                                表3 F值(考虑时间延迟)

2、Task2共有4支队伍提交了7组结果,下表列出了location,deaths,injuries,financial impact四个属性的值追踪的误差期望。其中,我们的一组结果在financial impact这项属性值的追踪上取得了最好的成绩。

无标题

表4 Task2各属性值追踪误差

【参加人员:孟繁宇,吴桐,李洪岩,徐立鑫】

Task1:孟繁宇  吴桐

图片1

039-DSC013811

 

 

 

 

 

 

 

 

Task2:李洪岩  徐立鑫

图片2图片3

 

cheap louboutin,ralph lauren polo uomo
louis vuitton bags,cheap michael kors ,party dresses online australia

2013 TREC contextual 评测总结

一.评测内容简介

TREC 是每年一度由美国国家标准技术研究院举办的文本检索会议国际公开评测,旨在通过以大规模数据为基础的信息检索关键技术评测来促进信息检索研究的发展。目前已成为信息检索领域最有影响的技术评测,反映了该领域最前沿的研究和最新的技术突破。 Contextual Suggestion Track关注与那些高度依赖于上下文context和用户兴趣(user interest)的复杂信息需要的搜索技术。Context2013与去年的区别主要在于context信息不再包含时间、季节等因素,只包含地点信息。输入为contextprofile两项信息,每个context对应一个位置——城市,profile对应一个单独的user,通过user对每个推荐样例的偏好来表征。对每个profilecontext对,需生成有序的若干个推荐,最多50个推荐内容,推荐内容是该城市中的景点、饭店、旅馆等,每个推荐项应包括该景点(或饭店、旅馆等)的urltitledescription信息。

二.参加人员和参加机构介绍

我们实验室的主要参加人员

指导老师:刘瑞芳老师、高升老师

参与人员:张岱、奉珊、方舟、侯成文

主要参加机构

本次TREC contextual Track吸引了国内外高校机构参赛,共有20支队伍,提交了34次结果。具体高校为:

–    University of North Carolina

–    York University

–    University of Delaware

–    University of Pittsburgh

–    University of Waterloo

–    Georgetown University

–    University of Glasgow

–    Central Institute for Research on Goats

–    Information Sciences Institute

–    University of Amsterdam

–    ICTNET

–    北京邮电大学

三.评测相关链接

评测主页:http://sites.google.com/site/treccontext/

评测论坛: http://trec.nist.gov/pubs/trec21/

四.PRIS团队参赛情况

【评测思路】

针对本次TREC contextual 评测任务的具体要求,我们的工作主要从以下两方面展开:1,对官方给定的50个城市进行景点抓取、以及整理、描述生成。2,针对用户对已有景点的评分情况、景点的描述信息,简历用户模型。3、预测用户对已生成的景点的评分。

【评测结果】

图片1

图片2

在参加评测的20支队伍提交的27个成绩中,我们的三个指标成绩均在第6名左右,当然,如果按队伍排名,我们的最好成绩分别是p@5 Rank 5TBG Rank 6MRR Rank 4

【参加人员:张岱,奉珊,方舟,侯成文】 h_large_zAY9_4a9e000034be1375  无标题        original_6wxs_5e9b00000e101191     DSCF2739

cheap christian louboutin,ralph lauren polo ,louis vuitton uk,cheap michael kors bags,evening dresses online australia

2013 TREC Microblog 评测总结

一.评测内容简介

TREC是每年一度由美国国家标准技术研究院举办的文本检索会议国际公开评测,旨在通过以大规模数据为基础的信息检索关键技术评测来促进信息检索研究的发展。目前已成为信息检索领域最有影响的技术评测,反映了该领域最前沿的研究和最新的技术突破。

Microblog Track微博检索评测今年只有一个任务——实时ad hoc检索任务(real-time ad hoc search)。它是用户输入特定时间的查询,从twitter语料集中检索出按相关度排序的微博列表并对每条微博进行打分。对于相对稳定的数据库,根据特定时间的topic进行查询扩展,结果返回按时间倒排的相关度高、信息量大的前1000条 tweets。

二.参加人员和参加机构介绍

我们实验室的主要参加人员

指导老师:陈光老师,徐雅静老师

参与人员:朱思明,高哲,王辉,袁亚静

主要参加机构

本次TREC Microblog Track吸引了20所国内外高校机构参赛,共提交71次结果。具体高校为:

–    Albalqa’ Applied University

–    The University of Michigan

–    Indian Statistical Institute, Kolkata, India

–    Institt de Recherche en Informatique de Toulouse

–    Kobe University

–    Universidade Nova de Lisboa

–    Qatar Computing Research Institute

–    Qatar University

–    InfoLab at University of Delaware

–    The University of Glasgow

–    University of Amsterdam

–    Web Information Systems group, TU Delft

–    北京大学

–    中科院计算所

–    武汉大学

–    北京交通大学

–    北京邮电大学

三.评测相关链接

评测主页https://github.com/lintool/twitter-tools/wiki/TREC-2013-Track-Guidelines

评测论坛: http://groups.google.com/group/trec-microblog

四.PRIS团队参赛情况

评测思路

针对本次TREC Microblog 评测任务的具体要求,我们的工作主要从以下两方面展开:1,对微博的查询主题进行查询扩展。2,对查询返回的微博进行相关度重排序。其中,查询扩展部分我们主要使用了WAF和基于TF-IDF相关反馈两种方法。相关度重排序部分我们采用了结合多feature的线性加权算法,综合考虑主题词,扩展词及微博内URL对微博相关性进行排序

【评测结果】

QQ截图20131226135531

评测结果在automatic结果队伍中排名第一,所有队伍中排名第二

【参加人员:朱思明,高哲,王辉,袁亚静】

朱思明朱思明gz高 哲

QQ截图20140104161218王 辉 袁亚静袁亚静

2013年TAC KBP评测总结

一.评测内容简介

KBP评测的目标是促进自动化系统的研究,包括在大语料库中发现命名实体信息,以及将这些信息整合到知识库中。TAC 2012的任务有三块,均旨在提高从文本中自动填充知识库的能力

2013年KBP评测包含三个子任务:EL(Entity Linking),SF(Slot Filling)和SSF(Sentiment Slot Filling),我们PRIS实验室今年参加了KBP所有的评测。

评测报告:PRIS2013.notebook

二.参加人员介绍

我们实验室的参加人员主要有:

指导老师:徐蔚然

指导博士:李岩(讨论会召集人),张春云

Enity Linking任务:左乃彻,王建龙

Slot Filling任务:张一昌,王颖

Sentiment Slot Filling任务:童欣,李东豫

主要完成人员的照片在后面

参加KBP评测的所有参赛的组织机构和该机构所参加的评测任务见附表

三.官方链接

http://www.nist.gov/tac/2013/KBP/

四.PRIS团队参赛情况

4.1 Enity Linking

【任务简介】

Entity-Linking: 给定一个query包含一个名字字符串(人名,地名,组织机构名),一个背景文档ID,一组标识字符串起始位置的UTF-8码,系统需要输出相应名字指示的KB entry(维基百科页面)的ID号,如果没有,输出一个”NILxxxx” ID。

【评测结果】

el

【参加人员:左乃彻、王建龙】

彻彻 王建龙

4.2 Slot Filling

【任务简介】

给定一个命名实体、一个预定义的属性集,通过抓取相关值的信息,扩充一个KB节点的属性值。KB的参考文献来自英文维基。Slot Filler Validation这个诊断任务,将去判断参赛者的系统是否正确完成了填充。

【评测结果】

SF

【参加人员:王颖、张一昌】

wy zyc

4.3 Sentiment Slot Filling

【任务简介】

Sentiment Slot Filling  是一个情感要素抽取的任务。做为信息抽取的一个子问题,情感要素抽取着重在于在大规模的语料集合中,找出query所给出的主体(holder)所对应的受体(target),或反之。比如,在语料集中找出不喜欢Obama的所有命名实体。或反之,找出文档集中所有Obama有积极评价的实体。其中,实体仅仅包括 人名,地名和组织机构名三类。以上的任务也可以描述如下:

情感的三元对:

{主体,情感倾向,受体}

三者中,给出两者(必须要有情感倾向),然后在语料集合中找出其它一个。

【评测结果】

ssf

【参加人员:童欣、李东豫】

童欣 李东豫

附:参加KBP评测的所有组织机构和该机构所参加的相关任务

ARPANI: Bhilai Institute of Technology, Durg: English Slot Filling

basistech: Basis Technology: Chinese Entity Linking, English Entity Linking, Spanish Entity Linking

BIT: Beijing Institute of Technology: English Slot Filling, Slot Filler Validation

Brandeis: Brandeis University: English Entity Linking

BUPTTeam: Beijing University of Posts and Communications: English Entity Linking

CASIA: Institute of Automation, Chinese Academy of Sciences: English Entity Linking

CMUML: Carnegie Mellon University: English Slot Filling, Temporal Slot Filling

CohenCMU: Carnegie Mellon University: English Slot Filling

columbia_nlp: Columbia University: Sentiment Slot Filling

Compreno: ABBYY: English Slot Filling, Temporal Slot Filling

cornpittmich: Cornell University / University of Pittsburgh: Sentiment Slot Filling

FRDC: Fujitsu R&D Center Co.,LTD.: Chinese Entity Linking

HITS: Heidelberg Institute for Theoretical Studies gGmbH: Chinese Entity Linking, English Entity Linking, Spanish Entity Linking

hltcoe: Johns Hopkins University Human Language Technology Center of Excellence: Cold Start KBP, English Entity Linking

IIRG: University College Dublin: English Slot Filling

INESCID: Instituto Superior Tecnico, INESC-ID: English Entity Linking, Spanish Entity Linking

jhuapl: Johns Hopkins University Applied Physics Laboratory: Slot Filler Validation

lkd: University of Economics, Prague: English Entity Linking

lsv: Saarland University: English Slot Filling

MS_MLI: Microsoft Research: English Entity Linking, Temporal Slot Filling

MSRA_Link: Microsoft Research Asia: English Entity Linking

NYU: New York University: Cold Start KBP, English Slot Filling

OSU: Oregon State University: English Entity Linking

polymtl: Ecole Polytechnique de Montreal: English Entity Linking

poseidon: Harbin Institute of Technology: English Entity Linking

PRIS2013: Beijing University of Posts and Telecommunications: English Entity Linking, English Slot Filling, Sentiment Slot Filling

RPI_BLENDER: Rensselaer Polytechic Institute: English Entity Linking, English Slot Filling, Slot Filler Validation, Temporal Slot Filling

SAFT_KRes: University of Southern California Information Sciences Institute: English Slot Filling

SINDI: Korea Institute of Science and Technology Information: English Slot Filling

Stanford: Stanford University: English Slot Filling, Slot Filler Validation

SYDNEY_CMCRC: University of Sydney / Capital Markets CMCRC: English Entity Linking

TALP_UPC: TALP Research Center of Technical University of Catalonia (UPC): English Entity Linking, English Slot Filling

THUNLP: Tsinghua University: Chinese Entity Linking, English Entity Linking

TRRD: Thomson Reuters R&D: English Entity Linking

UBC: University of Basque Country: English Entity Linking

UGENT_IBCN: Ghent University – IBCN / iMinds: English Entity Linking

UI_CCG: University of Illinois at Urbana Champaign: English Entity Linking, Slot Filler Validation

UMass_CIIR: CIIR, School of Computer Science, Univ. of Massachusetts Amherst: English Entity Linking

UMass_IESL: University of Massachusetts Amherst, Information Extraction and Synthesis Lab: Cold Start KBP, English Slot Filling

UNED: Universidad Nacional de Educacion a Distancia: English Slot Filling, Temporal Slot Filling

USFD: University of Sheffield: English Entity Linking

utaustin: University of Texas at Austin – AI Lab: English Slot Filling

UWashington: University of Washington: English Entity Linking, English Slot Filling

WebSail: Northwestern University: English Entity Linking

ZZ_INFO_TECH: Zhengzhou Information Science and Technology Institute: English Entity Linking

wedding dresses online,christian louboutin sale,ralph lauren italia,louis vuitton uk,michael kors bags

2013 TREC KBA评测总结

一.评测内容简介

2013年KBA评测包含三个子任务:CCR(Cumulative Citation Recommendation),SSF(Stream Slot Filling)和TS(Temporal Summarization)。主办方提供了170个entity(其中150个来自Wikipedia,20个来自twitter),4.5T原始文档集,和7074篇标注文档集。

二.参加人员和参加机构介绍

我们实验室的主要参加人员

指导老师:徐蔚然,刘瑞芳,陈光

指导博士:张春云(讨论会召集人)

CCR任务:张为泰,杨静

SSF任务:张岱,纪剑书

详细情况请参考下面的介绍

主要参加机构

本次TREC KBA评测吸引了13所国内外高校机构参赛,共提交117次结果。具体高校结构为:

–    University of Illinois

–    University of Amsterdam

–    University of Avignon

–    Aix-Marseille University

–    University of Massachusetts

–    University of Delaware

–    CWI the Netherlands

–    University of Wisconsin

–    the university of Florida

–    Southern Cross University

–    RetrieWin

–    北京理工大学

–    北京邮电大学

三.评测相关链接

评测主页http://trec-kba.org/

评测论坛: https://groups.google.com/forum/#!forum/trec-kba

四.PRIS团队参赛情况

4.1 CCR

CCR的任务是从海量数据集中过滤出与目标entity相关的文档。此任务由张为泰杨静共同完成。

杨静主要负责建立模型、查询扩展、分类算法等内容;

cheap party dresses online,christian louboutin sale uk,ralph lauren sale uk,cheap louis

vuitton,michael kors sale

张为泰主要负责数据预处理、索引的建立和查询、相似度计算、SVD矩阵分解等内容。

我们的评测方案结合了文本相关性和文本分类两种思路,在保证召回率的前提下尽量提高准确率,得到了较高的F值。

【评测结果】

2013ccr结果

该的评测结果在所有参赛队伍中排名第五

张为泰_头像张为泰              杨静_头像 杨静

 

4.2  SSF

SSF的任务为基于流数据的结构化信息抽取。此任务由张岱纪剑书完成。

算法大致思路:

1.基于增强语法关系和依存关系作为特征,训练各个关系抽取的模板。

2.对建立索引后的数据集进行实体相关文档查询后,做简单的共指消解和预处理,进行语法和依存关系分析,再利用模板进行特定关系抽取。

张岱主要负责数据分布式预处理、索引建立、相关文档rank以及基于WAF的模板触发词挖掘等工作;

纪剑书主要负责基于语法关系和依存关系的特征提取,信息抽取模板分类器训练,共指消解,抽取流程系统架构搭建等工作。

【评测结果】(去除官方baseline后)

2013KBA_SSF结果

该评测结果在所有参赛队伍中排名第一

纪剑书_头像纪剑书     张岱_头像 张岱

“111”基地Prof. Eduard Hovy参观PRIS实验室通知

        卡内基梅隆大学的Prof. Eduard Hovy将于后天下午(2013年12月11日(周三)下午14:30—17:00)到我们实验室参观讨论。Prof. Eduard Hovy是郭老师负责的111项目聘请的兼职教授,专门从事文本数据处理方面的研究,和我们的工作联系密切。建议大家都参加讨论学习。 

时间安排大致为:

14:30-15:30 请Prof. Eduard Hovy介绍在CMU的研究工作。

15:30-15:50 休息

15:50-17:00 介绍PRIS实验室工作情况。

 

参观人介绍:

Professor Eduard Hovy works at the Language Technologies Institute of Carnegie Mellon University. He is Co-Director for Research of the Command, Control, and Interoperability Center for Advanced Data Analysis (CCICADA). He was working at the University of Southern California, as a Fellow of its Information Sciences Institute (ISI), as Director of the Human Language Group, as Research Associate Professor in USC’s Computer Science Department, and as Director of Research for ISI’s Digital Government Research Center DGRC).

His research focuses on several topics around aspects of the computational semantics of human language, including text analysis, text summarization and generation, question answering, discourse and dialogue processing, ontologies, annotation, machine translation evaluation, and digital government.

christian louboutin uk,ralph lauren outlet,louis vuitton outlet,michael kors sale uk,wedding dresses online

NIST TAC中KBP评测负责人季姮教授2013年6月7日访问实验室

NIST TAC中KBP评测负责人季姮教授将于2013年6月7日下午访问实验室,地点在718会议室,请感兴趣的同学参加。

季姮教授的简历如下:

Heng Ji is an assistant professor in Computer Science at Queens College, and a doctoral faculty member in the Computer Science Department and Linguistics Department at the Graduate Center of City University of New York. She received her Ph.D. in Computer Science from New York University in 2007. Her research interests focus on Natural Language Processing, especially on Cross-source Information Extraction and Knowledge Base Population. She has published over 90 papers. Her recent work on uncertainty reduction for Information Extraction was invited for publication in the Centennial Year Celebration of IEEE Proceedings. She received a Google Research Award in 2009, NSF CAREER award in 2010, Sloan Junior Faculty award and IBM Watson Faculty award in 2012. She served as the coordinator of the NIST TAC Knowledge Base Population task in 2010 and 2011, the Information Extraction area chair of NAACL-HLT2012 and ACL2013 and the co-leader of the information fusion task of ARL NS-CTA program in 2011 and 2012. Her research has been funded by NSF, ARL, DARPA, Google and IBM.

 

christian louboutin sale,ralph lauren outlet online,louis vuitton sale,michael kors bags outlet,wedding dresses online australia

2012NIST评测结果公布,PRIS实验室又获佳绩

2012年PRIS主要参加了NIST主办的TREC和TAC评测,主要成绩如下:

1、       TAC Knowledge Base Population (KBP) 2012

内容简介:

KBP评测的目标是促进自动化系统的研究,包括在大语料库中发现命名实体信息,以及将这些信息整合到知识库中。TAC 2012的任务有三块,均旨在提高从文本中自动填充知识库的能力:

Entity-Linking:给定一个query包含一个名字字符串,一个背景文档ID,一组标识字符串起始位置的UTF-8码,系统需要输出相应名字指示的KB entry的ID号,如果没有,输出一个”NILxxxx” ID。

Slot-Filling:给定一个命名实体、一个预定义的属性集,通过抓取相关值的信息,扩充一个KB节点的属性值。KB的参考文献来自英文维基。Slot Filler Validation这个诊断任务,将去判断参赛者的系统是否正确完成了填充。

Cold Start Knowledge Base Population:给定一个KB概要(空的知识库),通过挖掘大文本数据来构建出KB。

评测成绩简介

未命名

图1.KBP 2012 Slot-Filling前6名(PRIS名列第一)

未命名

图2. KBP 2012 Slot-Filling team(按年度,名次变化)

参加单位

伊利诺伊大学芝加哥分校、都柏林大学、德国萨尔大学、纽约大学、NEC Laboratories、广东外国语大学、香港理工大学、北京邮电大学、中国科学院等。

链接:

http://www.nist.gov/tac/2012/KBP/index.html

继续阅读