日本データベース学会の皆様， （重複して受け取られた場合にはご容赦ください） 京都大学の加藤と申します． モバイル検索などにおいて， 検索ボタンを押した直後にユーザを満足させることを目指した， 複数検索結果要約タスクのご案内です． 下記に日本語および英語のCFPがございますので， どうぞご覧いただきご検討ください． Japanese CFP ################################################### 【タスク参加募集】 NTCIR-10 1CLICK-2 タスク ワンクリックアクセス（日本語・英語） 1CLICK-2ウェブサイト: http://research.microsoft.com/en-us/people/tesakai/1click2.aspx NTCIR-10タスク登録ページ (締切: 8月31日): http://ntcir.nii.ac.jp/NTCIR10Regist/ 本番クエリ公開: 2012年8月31日 評価結果公開: 2013年2月28日 NTCIR-10ワークショップ: 2013年6月18-21日 ################################################### ### 概要 ### ウェブページのリストを出力する従来の検索とは異なり， ワンクリックアクセスシステムは複数ウェブページの要約を表示することで， 検索ボタンを押した直後に，複数の文書を閲覧することなく， ユーザを満足させることを目指しています． このタスクでは重要な情報を先に提示し， また，ユーザが読まなければいけない文章を最小にすることを期待されています． 1CLICKタスクの要件は特に何度もクリックできないような環境 ―モバイル情報検索で重要であると考えており， また，この要件を達成するには情報検索，情報抽出， 自然言語処理などの技術を統合する必要があると考えております． NTCIR-9 1CLICK-1では日本語タスクのみを考慮しておりましたが， 2回目となる今回は言語対象に英語を含めました． さらに，前回の1CLICKタスクでは4種類のクエリ (CELEBRITY, LOCAL, DEFINITION, QA)のみを対象にしておりましたが， 1CLICK-2ではより粒度の細かい，8種類のクエリを利用する予定です． Q&Aや要約タスクなどの評価では「ナゲット」と呼ばれる， 最小単位の情報に基づいて評価が行われてきましたが， 1CLICKタスクの評価では「information units (iUnits)」と呼ばれる， より検索を意識した情報単位を利用します． また，前回の1CLICKタスクと同様に，S-measure (Sakai/Kato/Song, CIKM'11 http://research.microsoft.com/en-us/people/tesakai/cikmfp0040-sakai.pdf )と呼ばれる，情報のテキストにおける出現位置と 重要度を考慮した評価指標を利用する予定です． 加えて，PavluらのWSDM'12論文 (http://dx.doi.org/10.1145/2124295.2124343 ) に基づいた新しい評価方法も検討中です． ### タスク ### メインタスク： 与えられたクエリに対して， 重要な情報を含むX文字のテキストを出力します (X=500,140)． これは1CLICK-1 (前回の1CLICKタスク)と基本的には同じです． クエリ分類サブタスク： 与えられたクエリを8つのクエリタイプに分類するタスクです． メインタスクへの参加方法は様々です． 決められたWebページから結果を生成するORACLEランや 自由に外部のAPIを利用することで結果を出力するOPENランがあります． 詳しくは下記の1CLICK-2公式サイトをご覧ください: http://research.microsoft.com/en-us/people/tesakai/1click2.aspx ### 日程 ### 2012年 8月31日 本番クエリ公開 2012年10月31日 ラン投稿締切 2012年11月-2013年1月 ラン評価期間 2013年 2月 1日 概要論文のドラフト公開 2013年 2月28日 評価結果公開 2013年 3月 1日 参加者論文のドラフト締切 2013年 5月 1日 カメラレディ締切 2013年 6月 18-21日 NTCIR-10 ワークショップ ### 参加方法 ### NTCIR-10タスク登録ページ (締切: 8月31日): http://ntcir.nii.ac.jp/NTCIR10Regist/ 新規参加者は1CLICK-1の概要論文を始めにご覧いただくことをお勧めいたします． http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-... 【注意】 参加者は必ずNTCIR-10へ論文投稿し (査読なし)， 国立情報学研究所で開かれるワークショップ (2013年6月18-21日)へ 参加していただくことになります． ### 運営者 ### Makoto Kato, Kyoto University, Japan Takehiro Yamamoto, Kyoto University, Japan Mayu Iwata, Osaka University, Japan Matthew Ekstrand-Abueg, Northeastern University, USA Shahzad Rajput, Northeastern University, USA Virgil Pavlu, Northeastern University, USA Zhicheng Dou, MSRA, China Tetsuya Sakai, MSRA, China ## お問い合わせ ## 下記のメールアドレスまでお気軽にお問い合わせください: ntcadm-1click at nii dot ac dot jp ## リンク ## 1CLICK-2 homepage: http://research.microsoft.com/en-us/people/tesakai/1click2.aspx 1CLICK-1 homepage: http://research.microsoft.com/en-us/people/tesakai/1click.aspx NTCIR-10: http://research.nii.ac.jp/ntcir/ntcir-10/index.html NTCIR online proceedings: http://research.nii.ac.jp/ntcir/publication1-en.html English CFP ################################################### CALL FOR TASK PARTICIPATION NTCIR-10 1CLICK-2 Task: One Click Access for English and Japanese Please visit the 1CLICK-2 website: http://research.microsoft.com/en-us/people/tesakai/1click2.aspx and the NTCIR-10 task registration site (registration due: Aug 31): http://ntcir.nii.ac.jp/NTCIR10Regist/ Test queries released: Aug 31, 2012 Evaluation results released: Feb 28, 2013 Final NTCIR-10 workshop: June 18-21 2013 ################################################### ### OVERVIEW ### Unlike traditional search engines that return a ranked list of web pages, One Click Access systems return a short multi-document summary of webpages and aim to satisfy the user immediately after a click on the SEARCH button. Systems must aim to return important pieces of information and to minimise the amount of text the user has to read. These requirements are particularly important in mobile environments. 1CLICK-1 at NTCIR-9 only considered a Japanese task, but for this second round (1CLICK-2), we are expanding our scope to English. Moreover, while 1CLICK-1 considered only four query types (CELEBRITY, LOCAL, DEFINITION and QA), 1CLICK-2 will use a more fine-grained taxonomy comprising eight query types. Evaluation will be based on "information units" (iUnits), also often referred to as "nuggets". As in 1CLICK-1, we will use S-measure from Sakai/Kato/Song CIKM'11 http://research.microsoft.com/en-us/people/tesakai/cikmfp0040-sakai.pdf and will also consider developing new evaluation methods based on Pavlu et al. WSDM'12 http://dx.doi.org/10.1145/2124295.2124343 ### TASKS ### Japanese Main Task Given a Japanese query, return an X-character string that contain important information (X=500,140). This is basically the same as the 1CLICK-1 task. English Main Task Similar to the Japanese Main Task except that query and the output are in English. Query Classification Subtask (for Japanese and English) Given a query, classify it into one of the eight known query types. In addition to queries, the organisers will provide baseline web search results to enhance repeatability and fairness, and to encourage newcomers to participate. ### IMPORTANT DATES ### Aug 31, 2012 test queries released Oct 31, 2012 run submissions due Nov 2012-Jan 2013 nugget match evaluation Feb 01, 2013 very early draft overview released Feb 28, 2013 evaluation results released Mar 01, 2013 draft participant papers due May 01, 2013 all camera ready papers due Jun 18-21, 2013 NTCIR-10 ### HOW TO PARTICIPATE ### Task registration page http://ntcir.nii.ac.jp/NTCIR10Regist/ We encourage new participants to have a look at the 1CLICK-1 overview paper to familiarise themselves with the task: http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-... Please note: task participants must write a paper for the NTCIR-10 meeting (unrefereed) and attend the meeting at NII, Tokyo in June 2013. ### ORGANISERS ### Makoto Kato, Kyoto University, Japan Takehiro Yamamoto, Kyoto University, Japan Mayu Iwata, Osaka University, Japan Matthew Ekstrand-Abueg, Northeastern University, USA Shahzad Rajput, Northeastern University, USA Virgil Pavlu, Northeastern University, USA Zhicheng Dou, MSRA, China Tetsuya Sakai, MSRA, China ## QUESTIONS? PLEASE CONTACT ## ntcadm-1click at nii dot ac dot jp ## LINKS ## 1CLICK-2 homepage: http://research.microsoft.com/en-us/people/tesakai/1click2.aspx 1CLICK-1 homepage: http://research.microsoft.com/en-us/people/tesakai/1click.aspx NTCIR-10: http://research.nii.ac.jp/ntcir/ntcir-10/index.html NTCIR online proceedings: http://research.nii.ac.jp/ntcir/publication1-en.html