日本データベース学会の皆様， （重複して受け取られた場合にはご容赦ください） 京都大学の加藤と申します． NTCIR-12 MobileClick-2タスクの参加募集をお送りさせていただきます． 本タスクはモバイル検索のための情報要約タスクとなっております． モバイル情報検索・要約に興味のある方は是非ともご参加ください． (The English message follows the Japanese one) ______________________________________________________________________ NTCIR-12 MobileClick-2 Task -- モバイル情報アクセスタスク -- 参加チーム募集 http://www.mobileclick.org/ ______________________________________________________________________ 情報アクセス技術評価ワークショップNTCIR-12のコアタスクの1つである MobileClick-2では，与えられたクエリに対して簡潔な2層の要約を自動生成する ことによって，直接的かつ即時のモバイル情報アクセスを実現することを目的と しています．この要約の1層目は重要かつ概要的な情報を提示し，1層目からのリ ンクをクリックすることで閲覧できる2層目は，1層目より詳細な情報を含むこと が期待されます． このMobileClickの目標は2つのサブタスク，iUnit retrievalとiUnit summarization サブタスクを通して達成可能であると考えられます． **iUnit rankingサブタスク**は，クエリとiUnitと呼ばれる情報の断片が与えら れた時にiUnitをクエリに対する重要度順にランキングするであり， **iUnit summarizationサブタスク**は，クエリとiUnit集合，クエリの意図が与 えられた時にiUnitをうまく配置して2層の要約を生成するタスクとなっています． 提出されるランの性能はより多くの重要なiUnitを含めば高く評価され， また，ユーザが読むべきテキストの量，もしくは，ユーザが適合情報を手に入れ るのに必要な時間が短ければ短いほど高く評価されます．本タスクでは，自身の 意図に従って要約の異なる箇所を閲覧するユーザモデルを仮定し，ユーザがどれ くらい時間をかけて重要な情報を手に入れられるのかを元に評価を行います． =================================== 参加すべき3つの理由 =================================== * 現代の検索エンジンにとってより重要性を増すモバイル情報アクセス技術を評 価できる 多くの商用検索エンジンが与えられたクエリに対してダイレクトアンサーを提供 し始めており，それを生成する技術はモバイル検索において非常に重要なチャレ ンジであると考えられます．MobileClick-2ではテストコレクションを提供し， 重要な情報の断片を文書から抽出し，それらを要約するアルゴリズムを評価する ことを可能にします． * 要約，情報抽出，意図推定，検索結果多様化を評価するための大規模テストコ レクション これまでのNTCIRタスクにおいて，我々は複数のテストコレクションを構築して きました．参加者となればこれらのテストコレクションをクエリ指向要約やスニ ペット生成などの評価に利用することができます．これらに加えて，今回は各ク エリに対する意図も提供するため，意図推定や検索結果多様化の評価にも活用い ただけます． * リアルタイム評価システム 今回のタスクではシステム開発を促進し評価結果を共有するためのリアルタイム 評価システムを導入しております．そのため，ランを提出後にすぐに結果を確認 可能であり，また，システムの有効性を広く周知することができます．まずは， 公式Webサイト http://www.mobileclick.org/ にてアカウントを作成し，訓練 データに対するランを投稿してみてください． =============================== 参加登録 =============================== 本タスクに興味を持たれた研究グループはぜひNTCIR参加登録ページ http://ntcir.nii.ac.jp/NTCIR12Regist/ にて参加登録をお願いいたします． また，公式Webサイト http://www.mobileclick.org/ にてユーザアカウントを 作成の上，訓練データを入手し試しにランを投稿してみてください． =============================== 重要な日程 =============================== 2015年5月 訓練データ用評価システム公開 2015年6月30日 参加登録締切 2015年8月 テストクエリおよびテストデータ用評価システム公開 2016年2月 ラン投稿締切 2016年2月1日 ドラフト概要論文公開 2016年3月1日 ドラフト参加者論文提出締切 2016年6月 NTCIR-12 conference =============================== お問い合わせ =============================== Mail: ntcadm-1click@nii.ac.jp Twitterアカウントもフォローください： @mobileclicktask (English version) ______________________________________________________________________ NTCIR-12 MobileClick-2 Task -- Mobile Information Access Task -- Call for Participation http://www.mobileclick.org/ ______________________________________________________________________ MobileClick-2, a core task at NTCIR-12, aims to provide direct and immediate mobile information access, by automatically generating a concise two-layered summary for a given query. The first layer is expected to contain the most important information and an outline of additional relevant information, while the second layer is expected to contain detailed information that can be accessed by clicking on an associated anchor text in the first layer. The goal of MobileClick can be achieved through two subtasks: iUnit ranking subtask and iUnit summarization subtask. **iUnit ranking subtask** is a task where systems are expected to rank a set of pieces of information (iUnits) based on their importance for a given query. **iUnit summarization subtask** is defined as follows: Given a query, a set of iUnits, and a set of intents, generate a structured textual output. The performance of submitted runs is scored higher if it generates summaries including more important iUnits. In addition, we require systems to minimize the amount of text the user has to read or, equivalently, the time she has to spend in order to obtain relevant information. We assume a user model that reads different parts of the summary according to their interest, and compute an evaluation metric based on the importance of iUnits read as well as the time spent to obtain them. =============================== Why should you participate? =============================== * Evaluate mobile information access technologies that have been becoming more important in modern search engines Direct answers in response to a given query are provided by many popular commercial search engines, and are considered as important challenges to achieve immediate mobile information access. MobileClick-2 offers test collections, by which you can evaluate your algorithms that identify important information pieces and summarize them for a given search query. * Large-scale test collections are available for evaluating summarization, information extraction, intent detection, and search result diversification We have developed several test collections in a series of NTCIR tasks. Participants can utilize these test collections to evaluate query-focused summarization, search result snippet generation, etc. In addition, we also provide intents of each query, which can be used to evaluate intent detection and result diversification techniques. * Real time evaluation system We provide a real time evaluation system that accelerates your system development and shares records among participants. You can immediately get results and publicly demonstrate the effectiveness of your system. Create your account and submit your runs for training data at http://www.mobileclick.org/ . =============================== Registration =============================== Participation is open to all interested research groups. To sign up, please visit http://ntcir.nii.ac.jp/NTCIR12Regist/ You may also create a user account at http://www.mobileclick.org/ to obtain training data and submit your runs for the training data. =============================== Schedule =============================== May 2015 Release an evaluation system for training data Jun 30, 2015 Registration due Aug 2015 Release test queries and evaluation system for test data Feb 2016 Run submission due Feb 1, 2016 Early draft task overview release Mar 1, 2016 Draft participant paper submission due Jun 2016 NTCIR-12 conference =============================== Contact =============================== Mail: ntcadm-1click@nii.ac.jp Please follow us on twitter @mobileclicktask Best regards, Makoto P. Kato on behalf of the MobileClick-2 organizers