Faq

質問「なぜ、リーダーボードのテスト投稿を廃止したのですか？」

回答

テスト投稿の廃止についてですが、
リーダーボードの試験運用としてテスト投稿を設けていましたが、特に問題が生じなかったためテスト投稿の項目を廃止しました。

質問「リーダーボードには1日何回投稿できますか？」

回答

投稿回数の制限についてですが、
総当たりによるチューニング等への利用を防止するため、チームごとに1日1回とします。
なお、フォーマットエラー等による「採点失敗」時の投稿はこの制限に含めません。

日をまたいでの投稿回数に制限はありませんので、進捗があるたびに投稿していただければと思います。
もしも、チーム内のメンバーAとメンバーBが並行して開発するなどの理由で1日に複数の投稿を望まれる場合には、それぞれ別のチームとして登録していただけると助かります。

質問「リーダーボードの説明には何を書けばいいですか？」

回答

説明の必須化についですが、
前回の投稿との差分（変更箇所）を必ず記述してください。最初の投稿では、どのような方法を用いたかを記述してください。

質問 「外部知識を利用しても良いですか」

回答：外部知識を利用しても構いません。外部知識を利用した場合には、NTCIR-15 カンファレンスの原稿に、どのような外部知識を利用したのか、記述することをお願いしています。ただし、Stance Classification task および Dialog Summarization task では「東京都議会だより」を正解データとして作成していることから、「東京都議会だより」に記載されている賛否情報や要約結果をそのまま抽出することを禁止しています。