日本データベース学会の皆様， （重複して受け取られた場合にはご容赦ください） NTCIR-14のプログラムチェアを務めております加藤と申します． 本年度から次年度6月にかけてNTCIR-14が行われます． 情報検索・自然言語処理などに関する様々なタスクが企画されておりますので， ぜひともご参加いただき，共通のデータセットを利用して，研究にご活用いただければと思います． 参加登録締切はタスクによって異なりますので，各タスクのウェブサイトをご参照の上， ご登録くださいますようよろしくお願いいたします． NTCIR-14の新しい取り組み： NTCIR-14 Conferenceに投稿された論文のうち，選ばれた論文が 2019年10月にLNCSよりPost-conference proceedings として出版される予定です． _________________________________________________________ NTCIR-14 タスク参加募集 CALL FOR NTCIR-14 TASK PARTICIPATION (The English message follows the Japanese one) _________________________________________________________ 第14回目のNTCIR、NTCIR-14では共通のデータセットを用いて研究するタスクへの参加チームを募集中です。情報アクセス分野の学生や若手研究者のみなさん、先生方,企業で研究をなさっている方、または情報学に興味のある方々、大規模なテストコレクションを用いた検索、質問応答、自然言語処理に関心のある研究グループは、どなたでも歓迎します。 どうぞ、奮ってご参加ください。 NTCIR: 情報検索や自然言語処理、データベースなどの技術を中核とする情報アクセス技術の開発は、ウェブへのアクセスやテキストデータ、様々なセンサーデータから得られるビッグデータの利活用のために、その重要性を増しつつあります。情報アクセス技術の評価には、研究者の協同作業の結果として作成される「テストコレクション」に基づく評価が欠かせません。NTCIRは、数多くの研究者の協力の下で、その評価基盤の形成に過去15年以上に渡って取り組み、技術の発展に貢献してきました。その評価タスクはのべ75を超え、タスクへの総参加グループ数は、国内・海外併せて950以上にものぼります。さらに、現在、 4,000以上の研究グループがNTCIRテストコレクションを研究目的で利用しています。NTCIRでは、日々開発される新しい技術に対する評価手法を模索しつつ、活動を進めております。 NTCIR-14の新しい取り組み： NTCIR-14 Conferenceに投稿された論文のうち，選ばれた論文が 2019年10月にLNCSよりPost-conference proceedings として出版される予定です． NTCIR-14タスク参加募集： http://research.nii.ac.jp/ntcir/ntcir-14/tasks-ja.html NTCIR-14 参加登録方法： 1. タスク参加の手引きをご確認ください： http://research.nii.ac.jp/ntcir/ntcir-14/howto-ja.html 2. 参加登録を行ってください： http://ntcir.nii.ac.jp/NTCIR14Regist/ NTCIR-14では6つのタスクを設定しました。 各タスクの詳しい内容は、以下のページをご覧ください： タスク概要ページ： http://research.nii.ac.jp/ntcir/ntcir-14/tasks-ja.html -- コアタスク -- [Lifelog-3] Advance the state-of-the-art research in lifelogging as an application of information retrieval. http://ntcir-lifelog.computing.dcu.ie/ [OpenLiveQ-2] Yahoo!知恵袋の実サービス環境にて評価が行われる質問検索タスク http://www.openliveq.net/ [QALab-PoliInfo] フェイクニュースなどを対象とした地方議会会議録を用いた質問応答タスク https://poliinfo.github.io/ [STC-3] Emotional Conversation Generation, Dialogue Quality, and Nugget Detection subtasks using Chinese and English dialogue data http://sakailab.com/ntcir14stc3/ [WWW-2] Ad hoc web search http://www.thuir.cn/ntcirwww2 -- パイロットタスク -- [CENTRE] Can we replicate/reproduce best practices from CLEF and/or TREC? http://sakailab.com/ntcir14centre/ == スケジュール == （各タスクによって異なる場合があります．詳しくは各タスクのページをご確認ください） 2018年 6月 データセット配布開始* 2018年 6-7月 予備テスト (Dry Run)* 2018年 8-10月 本テスト （Formal Run)* 2019年 2月1日 評価結果の参加者への返送 2019年 2月1日 タスク概要論文一部公開 2019年 3月 15日 タスク参加者論文（ドラフト） 提出締切 2019年 5月 1日 タスク参加者論文・タスク概要論文 提出最終締切 2019年 6月 10-13日 NTCIR-14 カンファレンス ＆ EVIA 2019 (NII, 東京) == お問い合わせ == タスクの詳細については、NTCIR-14 Program Co-Chairs: ntc14-pcc@nii.ac.jp 、 もしくは、各タスクのオーガナイザにお問い合わせください。 オンライン登録や過去のNTCIRテストコレクションについては、 NTCIR事務局: ntc-secretariat@nii.ac.jp までお問い合わせください。 みなさまのご参加を心よりお待ちしています。 NTCIR-14 Program Co-Chairs: 加藤 誠・Yiqun Liu NTCIR-14 General Chairs: Charles L.A. Clarke・神門 典子 (English version) ____________________________________________________________ CALL FOR NTCIR-14 TASK PARTICIPATION ____________________________________________________________ NTCIR-14 now calls for task participation of anyone interested in research on information access technologies and their evaluation, such as retrieval from a large amount of document collections, question answering and natural language processing. We welcome students, young researchers, professors who supervise students, researchers working for a company, and anyone who is interested in informatics. NTCIR: Development of Information Access technologies based on techniques of Information Retrieval, Natural Language Processing, and Database Management becomes increasingly more important for many applications, (e.g., providing effective access to Web resources and text archives, and analyzing big data obtained from various kinds of sensors). It is indispensable for developing such technologies to experimentally evaluate them by using test collections constructed under collaborations of many researchers. Over the past 15 years, NTCIR has been formulating the infrastructure for the evaluation, and contributing to development of the Information Access technologies. A total of 75 "evaluation tasks" have been organized, attracting over 950 participant research groups worldwide so far. Furthermore, over 4,000 research groups have signed up to use the NTCIR test collections in their research. Consequently, NTCIR has been a major forum for researchers to intensively discuss the evaluation methodology of emerging information access technologies. A New Trial in NTCIR-14: Only selected papers submitted to the NTCIR-14 Conference will be invited to Post-conference proceedings published by LNCS. NTCIR-14 Call for Task Participation： http://research.nii.ac.jp/ntcir/ntcir-14/tasks.html How to Participate: 1. Please carefully read "How to Participate to NTCIR-14 Task(s)": http://research.nii.ac.jp/ntcir/ntcir-14/howto.html 2. Please register at http://ntcir.nii.ac.jp/NTCIR14Regist/ NTCIR-14 Program Committee has selected six tasks including five Core Tasks and one Pilot Task. For more details, please visit websites of each task: Task Overview page： http://research.nii.ac.jp/ntcir/ntcir-14/tasks.html -- Core tasks -- [Lifelog-3] Advance the state-of-the-art research in lifelogging as an application of information retrieval. http://ntcir-lifelog.computing.dcu.ie/ [OpenLiveQ-2] Question retrieval task in which participants can evaluate their systems in a production environment of Yahoo Japan Corporation’s community question-answering service. http://www.openliveq.net/ [QALab-PoliInfo] Question answering task for fact checking using Japanese regional assembly minutes https://poliinfo.github.io/ [STC-3] Emotional Conversation Generation, Dialogue Quality, and Nugget Detection subtasks using Chinese and English dialogue data http://sakailab.com/ntcir14stc3/ [WWW-2] Ad hoc web search http://www.thuir.cn/ntcirwww2 -- Pilot task -- [CENTRE] Can we replicate/reproduce best practices from CLEF and/or TREC? http://sakailab.com/ntcir14centre/ == Schedule == (Schedule can be slightly different in different tasks. Please visit webpages of each task for the details.) Jun 2018 Dataset Release* Jun-Jul 2018 Dry Run* Aug-Oct 2018 Formal Run* Feb 1, 2019 Evaluation Result Release* Feb 1, 2019 Task overview paper release (draft) Mar 15, 2019 Submission due of participant papers May 1, 2019 Camera-ready participant paper due Jun 10-13, 2019 NTCIR-14 Conference & EVIA 2019 in NII, Tokyo == Questions? == For information regarding the task specifications etc., please contact the NTCIR Program Chairs: ntc14-pcc@nii.ac.jp or task organizers. For information regarding the online registration and previous NTCIR test collections, please contact the NTCIR office: ntc-secretariat@nii.ac.jp We hope you will enjoy the tasks and to see you all in Tokyo next year. NTCIR-14 Program Chairs: Makoto P. Kato and Yiqun Liu NTCIR-14 General Chairs: Charles L.A. Clarke and Noriko Kando