[dbjapan] NTCIR-18 タスク参加募集

日本データベース学会の皆様 奈良先端科学技術大学院大学の若宮と申します． NTCIR-18では，自然言語処理，情報検索，評価方法などに関わる10のタスクへの参加チームを募集しております． ぜひともご参加いただき，共通のデータセットを利用して，研究にご活用いただければと思います． 参加登録：https://research.nii.ac.jp/ntcir/ntcir-18/howto-ja.html タスクの概要：https://research.nii.ac.jp/ntcir/ntcir-18/tasks-ja.html 参加登録締切（タスクによって異なるのでご注意ください）： ・2024年11月1日 - AEOLLM: Automatic Evaluation of LLMs - FairWeb-2: The Second Fair Web Task - RadNLP: Natural Language Processing for Radiology - MedNLP-CHAT: Medical Natural Language Processing for AI Chat - HIDDEN-RAD: Hidden Causality Inclusion in Radiology Report Generation ・2024年12月15日 - Transfer-2: Resource Transfer Based Dense Retrieval - SUSHI Searching Unseen Sources for Historical Information - U4: Unifying, Understanding, and Utilizing Unstructured Data in Financial Reports ・2025年1月8日 - FinArg-2: Temporal Inference of Financial Arguments - Lifelog-6: Personal Lifelog Organisation & Retrieval Task _________________________________________________________ NTCIR-18 タスク参加募集 CALL FOR NTCIR-18 TASK PARTICIPATION _________________________________________________________ NTCIR-18では，共通のデータセットを用いて研究するタスクへの参加チーム を募集中です．情報アクセス技術の評価には，研究者の協同作業の結果として 作成される「テストコレクション」に基づく評価が欠かせません．NTCIRは， 数多くの研究者の協力の下で，その評価基盤の形成に過去20年以上に渡って 取り組み，技術の発展に貢献してきました．そして日々開発される新しい技術 に対する評価手法を模索しつつ，活動を進めております．情報アクセス分野の 学生や若手研究者のみなさん，先生方，企業で研究をなさっている方，または 情報学に興味のある方々，大規模なテストコレクションを用いた検索，質問 応答，自然言語処理に関心のある研究グループは，どなたでも歓迎します． どうぞ奮ってご参加ください． == NTCIRとは == 情報検索や自然言語処理，データベースなどの技術を中核とする情報アクセス 技術の開発は，ウェブへのアクセスやテキストデータ，様々なセンサーデータ から得られるビッグデータの利活用のために，その重要性を増しつつあります． 情報アクセス技術の評価には，研究者の協同作業の結果として作成される「テ ストコレクション」に基づく評価が欠かせません．NTCIRは，数多くの研究者 の協力の下で，その評価基盤の形成に過去20年以上に渡って取り組み，技術の 発展に貢献してきました．その評価タスク数はのべ90を超え，タスクへの総 参加グループ数は，国内・海外併せて1,000以上にものぼります．さらに，現在 4,600以上の研究グループがNTCIRテストコレクションを研究目的で利用して います．NTCIRでは，日々開発される新しい技術に対する評価手法を模索し つつ活動を進めております． == NTCIR-18タスク == NTCIR-18では10タスクを採択いたしました． 各タスクの詳しい内容は，以下のページをご覧ください： タスク概要ページ： https://research.nii.ac.jp/ntcir/ntcir-18/tasks-ja.html ----------------------------------------------------------- CORE TASKS - AEOLLM: Automatic Evaluation of LLMs https://aeollm.github.io/ - FairWeb-2: The Second Fair Web Task sakailab.com/fairweb2/ - FinArg-2: Temporal Inference of Financial Arguments https://sites.google.com/nlg.csie.ntu.edu.tw/ntcir-18-finarg-2/finarg-2 - Lifelog-6: Personal Lifelog Organisation & Retrieval Task http://lifelogsearch.org/ntcir-lifelog/ - MedNLP-CHAT Medical Natural Language Processing for AI Chat https://sociocom.naist.jp/mednlp-chat - RadNLP: Natural Language Processing for Radiology https://sociocom.naist.jp/radnlp-2024 - Transfer-2: Resource Transfer Based Dense Retrieval https://github.com/ntcirtransfer/transfer2/discussions PILOT TASKS - HIDDEN-RAD: Hidden Causality Inclusion in Radiology Report Generation https://sites.google.com/view/ntcir-18-hidden-rad/hidden-rad - SUSHI: Searching Unseen Sources for Historical Information https://sites.google.com/view/ntcir-sushi-task/ - U4: Unifying, Understanding, and Utilizing Unstructured Data in Financial Reports https://sites.google.com/view/ntcir18-u4/ == NTCIR-18 参加登録方法 == 1. タスク参加の手引きをご確認ください： https://research.nii.ac.jp/ntcir/ntcir-18/howto-ja.html 2. 参加登録を行ってください： https://forms.office.com/pages/responsepage.aspx?id=0BNL4Smd6kWQzE_ tpeNjz9w7Bdnwkv1KueU5Vx6N7ldUMkk2QlM2STJKRFJJNkVTRDRFQ0tJOFgxWC4u == スケジュール == （*スケジュールは各タスクにより異なります．詳しくは各タスクのページをご確認ください．） 2024年 6月-12月：予備テスト（Dry Run）* 2024年 9月-2025年 2月：本テスト（Formal Run）* 2025年 2月 1日：評価結果の参加者への返送 2025年 2月 1日：タスク概要論文一部公開 2025年 3月 1日：NTCIR-17タスク参加者論文（ドラフト）提出締切 2025年 5月 1日：NTCIR-17タスク参加者論文・タスク概要論文 提出最終締切 2025年 6月10日-13日：NTCIR-18 カンファレンス（NII, 東京） == お問い合わせ == タスクの詳細については，NTCIR-18 Program Co-Chairs (ntc18-pcc(a)nii.ac.jp )，もしくは，各タスクのオーガナイザにお問い合わせください． オンライン登録や過去のNTCIRテストコレクションについては， NTCIR事務局 (ntc-secretariat(a)nii.ac.jp) までお問い合わせください． みなさまのご参加を心よりお待ちしています． NTCIR-18 Program Co-Chairs: Qingyao Ai (Tsinghua University, China) Chung-Chi Chen（産業技術総合研究所） 若宮 翔子（奈良先端科学技術大学院大学） NTCIR-18 General Chairs: Charles Clarke (University of Waterloo, Canada) 神門 典子（国立情報学研究所） 加藤 誠（筑波大学） Yiqun Liu (Tsinghua University, China)