※重複して受け取られた場合はご容赦ください 関連研究者のみなさま、 NTTの東中です． 以前MLにてご案内をさせていただきましたが， ライブコンペ2のエントリ〆切まであと一週間となりました． ご準備されているようでしたら早めにエントリいただけるとありがたいです． ウェブサイトはこちら： https://dialog-system-live-competition.github.io/dslc2/ エントリフォームはこちら： https://forms.gle/4bR7mdhBKmsnU2qZ6 下記詳細になります． ご参加お待ちしております．よろしくお願いいたします． ******************************************************************************************************** 第2回対話システムライブコンペティション（ライブコンペ２）参加のお誘い ライブコンペ2への対話システムのエントリをぜひご検討いただきたく，イベントの内容についてご案内申し上げます． 対話システムライブコンペティションとは聴衆の前で対話システムを実際に動作させ，システムの挙動を全員で評価するイベントです． 昨年11月に行われた第1回ライブコンペティションでは，100名以上の人が対話の評価に参加し盛況を博しました．これに続き，今年度 も第10回対話システムシンポジウムにおいて，「第2回対話システムライブコンペティション」を開催します． 2回目となる今年は，前回と同じく「(システムと)どれくらいまた話したいと思うか」を競うオープントラックに加え，特定の状況に おいて「どれくらい人らしい会話をしたか」を競うシチュエーショントラックを新たに設けます．これらのトラックにより，対話シス テムの到達点や問題点をより浮き彫りにできればと考えております． つきましては，ライブコンペ2への対話システムのエントリをぜひご検討ください． ライブコンペのために新しくシステムを作っていただく必要はありません．現状お手持ちのシステムをエントリいただければと考えて おります．システムはオーガナイザの負担により評価しますので，お手持ちのシステムのアピール以外にも，システムを評価したり， 国内のチャットボットの中での位置づけを知るという目的にもご利用いただけるイベントです．予選を勝ち残ったチームに限り組織名 を公表いたしますので，企業の方も安心してご参加いただけます． ご興味がある方は，ぜひこちらのウェブサイトをご覧ください． 第2回対話システムライブコンペティションウェブサイト https://dialog-system-live-competition.github.io/dslc2/ 第1回対話システムライブコンペティションの様子はこちらでご覧いただけます． https://dialog-system-live-competition.github.io/dslc1/ 本イベントについての詳細をご説明します．エントリを検討する際の参考になさってください． エントリフォームはウェブサイト上にございます． ======================================================================== [1] イベント概要 [2] 日時・場所・スケジュール [3] 募集内容 [4] 申し込み方法 [5] 注意事項 [6] お問い合わせ ======================================================================== [1] イベント概要 ----------------------------------------------------------------------- 対話システムシンポジウムでは，2015年から国際イベントになる2017年まで，特別セッションとして，対話破綻検出チャレンジを開 催してきました．対話破綻検出チャレンジは，対話研究への参入を容易にしたり，現状の対話システムの問題点を明らかにしたりする ことに役立ってきたと考えています．しかし，その一方で，固定の対話コーパスに対してアルゴリズムを競う形式であるために，対話 のライブ要素があまり検討されてこなかったという問題点もありました．そこで，よりライブ性の高いイベントを行うことにより，対 話システムにおけるよりリアルな難しさや面白さを，シンポジウム参加者全員で共有できるようなイベントを行いたいと考えました． それが「対話システムライブコンペティション（ライブコンペ）」です． ライブコンペは，聴衆の前で実際に対話システムを動作させ，評価を行うイベントです．予選と対話システムシンポジウム内でのラ イブイベントから構成されます．予選では，クラウドソーシングにおいて複数名の作業者が，対話システムの評価を行います．ライブ イベントでは，予選で好成績を収めたシステムとシンポジウム参加者が対話し，その状況を対話システムシンポジウムの参加者全員で 鑑賞・評価します． 昨年11月に行われた第1回ライブコンペティションでは，100名以上の人が対話の評価に参加し盛況を博しました．ライブコンペ2で は，オープントラック（ライブコンペ1の実施内容）に加え，シチュエーショントラックを新たに設けます．シチュエーショントラッ クでは，完全にオープンな雑談とは異なり，設定された状況の中でのいかに状況にあった対話を行うかを評価します．シチュエーショ ントラックは，対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙いとしています． ======================================================================== [2] 日時・場所・スケジュール ------------------------------------------------------------------------ 日時：2019年12月2, 3日(月・火) (予定) 場所：早稲田大学 西早稲田キャンパス 63号館2階04会議室，05会議室 第10回対話システムシンポジウム内のセッション https://jsai-slud.github.io/sig-slud/ スケジュール： 2019年10月1日（火）：エントリ〆切 2019年10月5-11日（土～金）：スクリーニングおよびクラウドソーシングを用いた予選 2019年10月14日（月）：予選の結果通知 2019年10月18日（金）：発表申し込み締切 2019年11月1日（金）：原稿締切（対話システムシンポジウムの締切に従います） 2019年12月2-3日（月～火）：ライブイベント本番（対話システムシンポジウム内で実施） ======================================================================== [3] 募集内容 ----------------------------------------------------------------------- 評価基準が異なる２つのトラック「オープントラック」「シチュエーショントラック」のそれぞれで参加する対話システムを募集します． 〇オープントラック 評価基準は「対話システムとどのくらいまた話したくなるかどうか」です．昨年度のライブコンペ1の設定と同じです．対話の状況は 特に指定しません．システム発話はテキストのみとし，絵文字・顔文字・STICKERS(LINEでいうスタンプ)は不可とします． 〇シチュエーショントラック 評価基準は「どれくらい(シチュエーションに適した)人らしい会話か」です．対話状況の指定があります．発話はテキストに加え， Telegramで利用可能な絵文字・顔文字を使用できるものとします．画像，およびSTICKERSの利用は不可とします． 〇対話システムの開発の仕方【両トラック共通】 どちらのトラックでも，対話システムは，インスタントメッセージシステムTelegram(https://telegram.org/) 上で動作するボット を作成していただきます．Telegram は，Python，Java，Rubyなど，様々な言語のボット作成用ライブラリがGitHubで公開されており， これらを使って開発いただけます．基本的には，お手持ちのボットの入出力をTelegram 対応にしていただければOKです． 〇対話システム評価の流れ【両トラック共通】 対話はシステム発話から始まり，システムとユーザは交互に発話するものとし，それぞれ15発話ずつ行った時点で対話は終了するこ ととします．（※発話数については変更の可能性があります）．対話システムはトラックそれぞれの評価基準に基づき5段階で評価さ れます．予選では，クラウドソーシングを用いて，20人以上のワーカーにより主観評価されます．予選で高い評価を得たシステムが， ライブイベントに参加できます．ライブイベントでは対話システムがシンポジウム参加者と対話し，その状況をシンポジウムの参加者 全員で鑑賞・評価します． なお，予選の前に疎通に問題ないか，最低限の対話ができるかなどを確認するためのスクリーニングを，オーガナイザと数名のクラ ウドワーカーにより実施します．本スクリーニングを通過しなかったシステムはその時点で評価の対象外となります． 各トラックやシステム開発の仕方について，詳しくは下記ホームページをご覧ください． https://dialog-system-live-competition.github.io/dslc2/index.html ======================================================================== [4] 申し込み方法 ----------------------------------------------------------------------- 下記の申し込みフォームへのリンクからエントリください． https://forms.gle/4bR7mdhBKmsnU2qZ6 対話システムシンポジウムにおける，対話システムライブコンペティションセッションでの発表は，コンペ参加者の方に限ります． また，発表形態（口頭あるいはポスター）については事務局が決定いたします．論文の提出期限は，他のセッションに準じます．投稿 原稿のページ数は，口頭発表同様，2ページ，4ページ，6ページのいずれかといたします． ======================================================================= [5] 注意事項 ----------------------------------------------------------------------- 予選を勝ち残った参加者については，所属組織を公表します．その他の組織については，原則非公開としますが，公開を希望される 場合はその限りではありません． 予選の対話ログについては原則非公開とします． エントリの対話システムの数がこちらの想定を上回った場合，エントリをご遠慮いただく場合があります．あらかじめご了承くださ い．早めのエントリをよろしくお願いいたします． ======================================================================== [6] お問い合わせ先 ------------------------------------------------------------------------ ご質問・ご不明な点がございましたら，オーガナイザまでご連絡ください． dialog-system-live-competition-ml[at]googlegroups.com 対話システムライブコンペティションオーガナイザ ・東中竜一郎（NTT） ・船越孝太郎（京大） ・稲葉通将（電気通信大） ・高橋哲朗（富士通） ・赤間怜奈（東北大） ・宇佐美まゆみ（国語研） ・川端良子（国語研） ・角森唯子（NTTドコモ） ・水上雅博（NTT）