※重複して受け取られましたらご容赦ください 関連研究者のみなさま， 名古屋大学の東中です． 第4回対話システムライブコンペティション（ライブコンペ4）のご案内をさせていただきます． https://dialog-system-live-competition.github.io/dslc4/ ぜひエントリをご検討ください． エントリフォーム：https://forms.gle/ZnBp39WYvbLZHZjW9 よろしくお願いいたします． *************************************************************** 第４回対話システムライブコンペティション（ライブコンペ４）参加のお誘い https://dialog-system-live-competition.github.io/dslc4/ 対話システムライブコンペティションとは聴衆の前で対話システムを実際に動作させ，システムの挙動を全員で 評価するイベントです．過去３回実施してまいりましたが，今年度も対話システムシンポジウム（11月29日-30 日）において，「第4回対話システムライブコンペティション」（ライブコンペ4）を開催します． 対話システムシンポジウムと同様，本イベントもオンライン開催となります． 前回と同じく，任意の話題について（すなわち，オープンドメインで）ユーザと雑談を行う能力を競うオープン トラックと所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競うシチュエーショントラッ クを設けます． 現状お手持ちのシステムをエントリいただいても構いません．また，ライブコンペのために新しくシステムを作っ ていただいても構いません．システムはオーガナイザの負担により評価しますので，お手持ちのシステムのアピー ル以外にも，システムを評価したり，国内のチャットボットの中での位置づけを知るという目的にもご利用いた だけるイベントです．予選を勝ち残ったチームに限り組織名を公表いたしますので，企業の方も安心してご参加 いただけます． ご興味がある方は，過去のコンペティションがまとまった以下のウェブサイトをご覧ください．過去のシステム の対話ログや発表動画などをご覧いただけます． 第1回対話システムライブコンペティションウェブサイト https://dialog-system-live-competition.github.io/dslc1/ 第2回対話システムライブコンペティションウェブサイト https://dialog-system-live-competition.github.io/dslc2/ 第3回対話システムライブコンペティションウェブサイト https://dialog-system-live-competition.github.io/dslc3/ つきましては，ぜひエントリをご検討ください． エントリフォーム：https://forms.gle/ZnBp39WYvbLZHZjW9 以下，本イベントについての詳細をご説明します．エントリを検討する際の参考になさってください． よろしくお願い申し上げます． ======================================================================== [1] イベント概要 [2] 日時・場所・スケジュール [3] 募集内容 [4] 申し込み方法 [5] 注意事項 [6] シチュエーショントラックの詳細 [7] お問い合わせ ======================================================================== [1] イベント概要 ----------------------------------------------------------------------- 対話システムシンポジウムでは，2015年から国際イベントになる2017年まで，特別セッションとして，対話破綻 検出チャレンジを開催してきました．対話破綻検出チャレンジは，対話研究への参入を容易にしたり，現状の対 話システムの問題点を明らかにしたりすることに役立ってきたと考えています．しかし，その一方で，固定の対 話コーパスに対してアルゴリズムを競う形式であるために，対話のライブ要素があまり検討されてこなかったと いう問題がありました．そこで，よりライブ性の高いイベントを行うことにより，対話システムにおける，より リアルな難しさや面白さを，シンポジウム参加者全員で共有できるようなイベントを行いたいと考えました．そ れが「対話システムライブコンペティション（ライブコンペ）」です． ライブコンペは，聴衆の前で実際に対話システムを動作させ，評価を行うイベントです．予選と対話システムシ ンポジウム内でのライブイベントから構成されます．予選では，クラウドソーシングにおいて複数名の作業者が， 対話システムの評価を行います．ライブイベントでは，予選で好成績を収めたシステムと対話者が対話し，その 状況を対話システムシンポジウムの参加者全員で鑑賞・評価します． ライブコンペにはオープントラックとシチュエーショントラックがあります．オープントラックは任意の話題に ついて（すなわち，オープンドメインで）ユーザと雑談を行う能力を競います．シチュエーショントラックでは， オープンな雑談とは異なり，所定のシチュエーションの中で状況にあった人らしい対話を行う能力を競います． シチュエーショントラックは，対人関係やTPOを踏まえた高度な対話システムの実現の第一歩となることを狙い としています． 参加者はどちらのトラックにもエントリすることが可能です．ただし，同じトラックに複数のシステムをエント リすることはできません． ======================================================================== [2] 日時・場所・スケジュール ------------------------------------------------------------------------ 日程：2021年11月29日または11月30日 場所：第11回対話システムシンポジウム内のセッションとして開催（オンライン開催） https://jsai-slud.github.io/sig-slud/ スケジュール： 2021年10月11日：エントリ〆切 2021年10月12日：スクリーニングおよびクラウドソーシングを用いた予選 2021年10月20日：予選の結果通知 2021年10月22日：発表申し込み原稿締切 2021年11月上旬：原稿締切 2021年11月29 または 30日：ライブイベント本番（対話システムシンポジウム内） ======================================================================== [3] 募集内容 ----------------------------------------------------------------------- 評価基準が異なる２つのトラック「オープントラック」「シチュエーショントラック」のそれぞれで参加する対 話システムを募集します．両トラックともシステムの仕様が昨年と異なりますのでご注意ください． 【両トラック共通】 〇対話システムの開発の仕方 どちらのトラックでも，対話システムは，インスタントメッセージシステムTelegram(https://telegram.org/) 上で動作するボットを作成していただきます．Telegram は，Python，Java，Rubyなど，様々な言語のボット作 成用ライブラリがGitHubで公開されています．これらを使って開発ください． 〇対話システム評価の流れ 評価者には，対話の相手がシステムであることはあらかじめ通知されます． 対話はシステム発話から始まり，システムとユーザは交互に発話するものとし，それぞれ15発話ずつ（※発話数 については変更の可能性があります）行った時点で対話は終了することとします．対話システムはトラックそれ ぞれの評価基準・手順に基づき評価されます． 予選では，クラウドソーシングを用いて，50人程度のワーカーにより主観評価されます．予選で高い評価を得た システムが，ライブイベントに参加できます．ライブイベントでは対話システムが指定された対話者と対話し， その状況をシンポジウムの参加者全員でそれぞれのトラックの基準により評価します．なお，予選の前に疎通に 問題ないか，最低限の対話ができるかなどを確認するためのスクリーニングを，オーガナイザと数名のクラウド ワーカーにより実施します．本スクリーニングを通過しなかったシステムはその時点で評価の対象外となります． 【オープントラック】 任意の話題について（オープンドメインで）ユーザと雑談を行う能力を競います． 評価の指針はライブコンペ３と同様です．「また話したくなる」ためにシステムが備えるべき条件を分解した， ３つの観点（自然性，話題追随，話題提供）で評価します． 評価者は，対話の前に，オーガナイザが準備する所定の名詞リスト（Wikipediaの見出し語から作成）から話題 として名詞を2つ選択し，それらを話したい話題として対話します．また，対話中に任意のタイミングで一つの 話題からもう一つの話題に切り替えるものとします．自然，かつ，ユーザが話したい話題について情報交換が可 能なシステムがよいと考え，以下の３つの観点のそれぞれについて，5段階評価を行います．これらの合計（も しくは平均）を評価の得点とします． ・自然性：対話が自然かどうか ・話題追随：システムはユーザが選択した話題に関して適切に応答できたかどうか ・話題提供：システムはユーザが選択した話題に関して新たな情報を提供できたかどうか これらの3つの観点は，「また話したくなる」ための十分条件ではないかもしれませんが，オープンドメインで の雑談という目標を踏まえた場合の必要条件であるとオーガナイザは考えています． なお，名詞リストは事前に公開いたしません．また，対話者が選んだ名詞についてもシステムに事前に通知され ませんのでご了承ください． システム発話はテキストのみとし，絵文字・顔文字・STICKERS(LINEでいうスタンプ)は不可とします．システム と評価者は一度のみ対話するものとし，ターン数は15（システムとユーザの発話を合わせて全部で30発話）とし ます． 本選では，オーガナイザが指定する対話者が，システムと会話をし，参加者全員で評価します．この対話の点数 をシステムの点数とします． なお，今年度は，オーガナイザが指定した対話者以外の対話による評価も検討しています．詳細が決まりました ら追ってお知らせいいたします． 【シチュエーショントラック】 シチュエーショントラックでは，オープンな雑談とは異なり，設定された状況の中で状況にあった人らしい対話 を行う能力を競います． 対話システムは，「どれくらいシチュエーションに適しており，かつ，人らしい会話か」という1つの評価軸を 用いて5段階で総合的に評価されます．「シチュエーションに適している」とは，所定の状況に鑑み「人らしい 会話」であると直感的に思えることです． 「人らしい会話」とは，具体的には以下のような特徴を含みます． ・言いにくいことを言わなければならない場合は，相手との社会的な関係性を考慮して，相手に失礼にならない ように内容を伝えられること． ・適当な「間」や「あいづち」，「フィラー」，「言い淀み」などが用いられていること． ・一つの話題に固執することなく，会話の流れに沿って，別の話題に自然に推移できること． これらは，「シチュエーションに適しており，かつ，人らしい会話」のイメージを喚起する参考であり，すべて を満たす必要があるということではありません． システム発話はテキスト，絵文字，顔文字を利用可能とします．STICKERS(LINEでいうスタンプ)は不可とします． シチュエーションは過去のライブコンペのものと異なります．今回は「依頼する」シチュエーションを設定しま した．参加者は，人間関係を考慮したうえで依頼する対話システムを作成します．今回用いるシチュエーション の詳細については[6]を参照ください． 予選では，上記の評価基準を用い，クラウドワーカーによる評価を実施します． 本選では，オーガナイザが指定する対話者が，システムと会話をし，参加者全員で評価します．この対話の点数 をシステムの点数とします． なお，今年度は，オーガナイザが指定した対話者以外の対話による評価も検討しています．詳細が決まりました ら追ってお知らせいいたします． 各トラックやシステム開発の仕方について，詳しくは下記ホームページに記載していきますので，適宜ご参照く ださい． https://dialog-system-live-competition.github.io/dslc4/ ======================================================================== [4] 申し込み方法 ----------------------------------------------------------------------- エントリ〆切日までに，以下の Google Form よりお申込みください． https://forms.gle/ZnBp39WYvbLZHZjW9 ※エントリ〆切直後にシステム確認を開始しますので，参加者の皆様はエントリ締切時点でシステムを稼働状態 にしておくようお願いいたします． 対話システムシンポジウムにおける，対話システムライブコンペティションセッションでの発表は，コンペ参加 者の方に限ります．また，発表形態（口頭あるいはポスター）については事務局が決定いたします．論文の提出 期限は，他のセッションに準じます．投稿原稿のページ数は，口頭発表同様といたします． ======================================================================= [5] 注意事項 ----------------------------------------------------------------------- 予選を勝ち残った参加者については，所属組織を公表します．その他の組織については希望するチームについて のみ公表します． 予選の対話ログについては原則非公開としますが，公開を許諾いただけるチームのデータは公開します． エントリの対話システムの数がこちらの想定を上回った場合，エントリをご遠慮いただく場合があります．あら かじめご了承ください．早めのエントリをよろしくお願いいたします． ======================================================================== [6] シチュエーショントラックの詳細 ----------------------------------------------------------------------- シチュエーショントラックにおける会話のシチュエーションは以下のとおりです． 〇背景 ＜システム側＞ 清水（システム）は，次の週末に，会社の仲の良い同期とオンライン飲み会を企画している．今のところ，声が けしたメンバーの佐藤，鈴木，高橋，渡辺，小林は，全員参加の予定だ．コロナ禍の昨今，居酒屋で酒を飲むこ とはできないため，以前に上司の湯川（ユーザ）がオンライン飲み会を企画したことがあり，これが結構盛り上 がった．前回とは違って今回は，オンライン飲み会のために酒やおつまみを，当日に各自の自宅に届けてくれる サービスも使うので，更に楽しくなりそうだ．ところで，同期のメンバーらが，上司である湯川も誘ってはどう かと言い出した．確かに湯川は，年も近いし，話が合うこともあって，私たちとプライベートでも仲が良い．会 社では上司であるが，同時に公私にわたって良き先輩であるともいえる．週末に特に予定が無いことを「暇だ」 とぼやいていたし，もともと飲み会が好きな人なので，誘えばきっと参加してくれるだろう．オンラインサービ スの予約期限が迫っており，メンバーを確定しなくてはならないので，早速連絡しよう． ＜ユーザ側＞ 自宅でくつろいでいるところに部下の清水（システム）から連絡があり，清水の同期が参加するオンライン飲み 会に誘われた．私（湯川＝ユーザ）は飲み会は好きだし，以前に自分が企画したオンライン飲み会は結構楽しかっ たので，参加したい気持ちは正直ある．しかし，清水の同期ということは，小林も参加するということだ．ここ だけの話だが，実は，小林のことがあまり好きではない．というより，はっきり言って嫌いだ．前回は部署全体 の飲み会だったので仕方がなかったが，今回は内輪での集まりのようだし，無理してまで参加する必要もない． 小林がいないのであれば参加したいのだけれども，それが我儘なのもよくわかっている．我慢して参加しても楽 しくないので，今回は断ろう． 〇インストラクション システム 名前：清水 ユーザ 名前：湯川 ＜システム側＞ ・システム（清水）は，ユーザ（湯川）を誘ってください．あなたの作るシステムはユーザを誘い約束を取り付 けることを目的としたシステムです． ・開発者はシステムの性別を決め，その性別同士（男性同士，もしくは，女性同士）の対話ができるようにして ください． ・開発者はシステム側の≪背景≫のみを考慮してください．ユーザ側の≪背景≫を清水（システム）は知らない ものとします． ・システム（清水）は，≪背景≫の「早速連絡しよう」という台詞が示すように，連絡の開始部（例：挨拶）か ら会話を始めてください． ・会話はシステム（清水）側から始めます．（ユーザがenterキーを押すとシステムが会話を始めます） ＜ユーザ側＞ ・ユーザ（湯川）はシステム（清水）の誘いを出来るだけ婉曲に断り続けてください。理由は、苦手な小林が参 加することです． ・ユーザ（湯川）側の≪背景≫は，システム（清水）からの誘いの後，会話が展開とともに明らかになっていく シチュエーションです．まずはシステム（清水）から，連絡の開始部（例：挨拶）が行われるものとします． ・会話はシステム（清水）側から始めます．（ユーザがenterキーを押すとシステムが会話を始めます） ======================================================================== [7] お問い合わせ先 ------------------------------------------------------------------------ ご質問・ご不明な点がございましたら，オーガナイザまでご連絡ください． dialog-system-live-competition-ml[at]googlegroups.com 対話システムライブコンペティションオーガナイザ 東中竜一郎（名古屋大） 船越孝太郎（京大） 稲葉通将（電気通信大） 高橋哲朗（富士通） 宇佐美まゆみ（国語研） 西川寛之（明海大） ドルサ・テヨルス（東工大） 小室允人（千葉大） 赤間怜奈（東北大） 佐藤志貴（東北大） 堀内颯太（名古屋大）