information

NTCIR-15 QA Lab PoliInfo-2 Formal run の開始とデータセットの公開

2020.07.07

 

QA Lab PoliInfo-2に参加していただき、ありがとうございます。

7月8日(水)から7月31日(金)までの期間でFormal runを開始いたします。

本日(7月7日(火))よりFormal runのデータセットを公開していますので、
参加申込時に自動返信でお伝えしたURLから再度ダウンロードしていただきますようお願いいたします。

 

Leader Board についても、データセット更新に伴い更新しました。
7月8日(水)から、Formal runのデータセットの結果を投稿できます。
※注意:Dry runのデータセットを投稿してもエラーになります!
必ずFormal runのデータセットをダウンロードしてください。

<<お礼>>
Dry run のデータセットの誤りについてご指摘を頂きました。

東京工業大学 笹沢様、
RICOH 勇様、
茨城大学 佐々木様、
日本総合研究所 門脇様

ありがとうございました。

各サブタスクのデータセットの変更点および修正点は下記の通りです。

○ Stance classification について

・ファイル名の変更:「Dry」から「Formal」へ
・IDの変更    :「Dry」から「Formal」へ
・会派名が空文字列になっている箇所の修正

○ Dialog summarization について

・ファイル名の変更:「Dry」から「Formal」へ
・IDの変更    :「Dry」から「Formal」へ
・Training dataの QuestionSummary の修正
・Training-Segmented data の StartingLine/EndingLine の修正

○ Entity Linking について

・ファイル名の変更:「Dry」から「Formal」へ
・Wikipedia タイトル(解答候補)をAnswer sheet と一緒に配布
2019年12月1日時点のWikipediaのdumpデータは、利用しなくても解答できますが、ダウンロードできるようにしています。

今後も、データの誤りがある場合には、お知らせください。
どうぞよろしくお願い致します。