日本データベース学会の皆様
奈良先端科学技術大学院大学の若宮と申します.
NTCIR-18(2025年6月10日から13日にNIIにて開催)では,自然言語処理,情報検索,
評価方法などに関わるタスクへの参加募集をしております.9つのタスクが参加登録
受付中ですので,ぜひともご参加をご検討いただければ幸いです.
タスク参加登録:https://research.nii.ac.jp/ntcir/ntcir-18/howto-ja.html
タスクの概要:https://research.nii.ac.jp/ntcir/ntcir-18/tasks-ja.html
参加登録締切(タスクによって異なるのでご注意ください):
- Nov. 1st, 2024 (Passed)
FairWeb-2: The Second Fair Web Task
- Nov. 15th, 2024
SUSHI Searching Unseen Sources for Historical Information
- Dec. 1st, 2024
RadNLP: Natural Language Processing for Radiology
- Dec. 16th, 2024
Transfer-2: Resource Transfer Based Dense Retrieval
- Dec. 28th, 2024
U4: Unifying, Understanding, and Utilizing Unstructured Data in Financial
Reports
- Jan 8th, 2025
HIDDEN-RAD: Hidden Causality Inclusion in Radiology Report Generation
- Jan 15th, 2025
AEOLLM: Automatic Evaluation of LLMs
FinArg-2: Temporal Inference of Financial Arguments
Lifelog-6: Personal Lifelog Organisation & Retrieval Task
- Jan 17th, 2025
MedNLP-CHAT: Medical Natural Language Processing for AI Chat
_________________________________________________________
NTCIR-18 タスク参加募集
CALL FOR NTCIR-18 TASK PARTICIPATION
_________________________________________________________
NTCIR-18では,共通のデータセットを用いて研究するタスクへの参加チーム
を募集中です.情報アクセス技術の評価には,研究者の協同作業の結果として
作成される「テストコレクション」に基づく評価が欠かせません.NTCIRは,
数多くの研究者の協力の下で,その評価基盤の形成に過去20年以上に渡って
取り組み,技術の発展に貢献してきました.そして日々開発される新しい技術
に対する評価手法を模索しつつ,活動を進めております.情報アクセス分野の
学生や若手研究者のみなさん,先生方,企業で研究をなさっている方,または
情報学に興味のある方々,大規模なテストコレクションを用いた検索,質問応答,
自然言語処理に関心のある研究グループは,どなたでも歓迎します.
どうぞ奮ってご参加ください.
== NTCIRとは ==
情報検索や自然言語処理,データベースなどの技術を中核とする情報アクセス
技術の開発は,ウェブへのアクセスやテキストデータ,様々なセンサーデータ
から得られるビッグデータの利活用のために,その重要性を増しつつあります.
情報アクセス技術の評価には,研究者の協同作業の結果として作成される「テ
ストコレクション」に基づく評価が欠かせません.NTCIRは,数多くの研究者
の協力の下で,その評価基盤の形成に過去20年以上に渡って取り組み,技術の
発展に貢献してきました.その評価タスク数はのべ90を超え,タスクへの総
参加グループ数は,国内・海外併せて1,000以上にものぼります.さらに,現在
4,600以上の研究グループがNTCIRテストコレクションを研究目的で利用して
います.NTCIRでは,日々開発される新しい技術に対する評価手法を模索しつつ
活動を進めております.
== NTCIR-18タスク ==
NTCIR-18では10タスクを実施いたします.
各タスクの詳しい内容は,以下のページをご覧ください:
タスク概要ページ:
https://research.nii.ac.jp/ntcir/ntcir-18/tasks-ja.html
Core Tasks
- AEOLLM: Automatic Evaluation of LLMs
https://aeollm.github.io/
- FairWeb-2: The Second Fair Web Task
sakailab.com/fairweb2/
- FinArg-2: Temporal Inference of Financial Arguments
https://sites.google.com/nlg.csie.ntu.edu.tw/ntcir-18-finarg-2/
- Lifelog-6: Personal Lifelog Organisation & Retrieval Task
http://lifelogsearch.org/ntcir-lifelog/
- RadNLP: Natural Language Processing for Radiology
https://sociocom.naist.jp/radnlp-2024
- MedNLP-CHAT Medical Natural Language Processing for AI Chat
https://sociocom.naist.jp/mednlp-chat
- Transfer-2: Resource Transfer Based Dense Retrieval
https://github.com/ntcirtransfer/transfer2/discussions
Pilot Tasks
- HIDDEN-RAD: Hidden Causality Inclusion in Radiology Report Generation
https://sites.google.com/view/ntcir-18-hidden-rad/hidden-rad
- SUSHI: Searching Unseen Sources for Historical Information
https://sites.google.com/view/ntcir-sushi-task/
- U4: Unifying, Understanding, and Utilizing Unstructured Data in Financial
Reports
https://sites.google.com/view/ntcir18-u4/
== スケジュール ==
(*スケジュールは各タスクにより異なります.詳しくは各タスクのページをご確認ください.)
2024年 6月-12月:予備テスト(Dry Run)*
2024年 9月-2025年 2月:本テスト(Formal Run)*
2025年 2月 1日:評価結果の参加者への返送
2025年 2月 1日:タスク概要論文一部公開
2025年 3月 1日:NTCIR-17タスク参加者論文(ドラフト)提出締切
2025年 5月 1日:NTCIR-17タスク参加者論文・タスク概要論文 提出最終締切
2025年 6月10日-13日:NTCIR-18 カンファレンス(NII, 東京)
== お問い合わせ ==
タスクの詳細については,NTCIR-18 Program Co-Chairs (ntc18-pcc(a)nii.ac.jp),
もしくは,各タスクのオーガナイザにお問い合わせください.
オンライン登録や過去のNTCIRテストコレクションについては,
NTCIR事務局 (ntc-secretariat(a)nii.ac.jp) までお問い合わせください.
みなさまのご参加を心よりお待ちしています.
NTCIR-18 Program Co-Chairs:
Qingyao Ai (Tsinghua University, China)
Chung-Chi Chen(産業技術総合研究所)
若宮 翔子(奈良先端科学技術大学院大学)
NTCIR-18 General Chairs:
Charles Clarke (University of Waterloo, Canada)
神門 典子(国立情報学研究所)
加藤 誠(筑波大学)
Yiqun Liu (Tsinghua University, China)