nishimotzの日記

投稿者: nishimotz

  • 音声対話技術の普及促進と進化

    下記の場で連名で発表をした内容について、西本担当分の原稿をご紹介しておきます。

    • 第78回 音声言語情報処理研究会 (SIG-SLP)(第5回 音声言語情報処理技術デベロッパーズフォーラム)
    • 日時： 平成21年10月23日(金)
    • (5) 階層的MMIアーキテクチャに基づくプラットフォーム実装方法の検討

    今後の活動のために新しい組織が必要と考えています。

    に公開したマニフェストを随時改訂していくつもりです。

    ＊＊＊＊

    3 音声対話技術の普及促進と進化

    3.1 Rubyによる対話記述の検討

    さまざまな機能を持つWebベースのアプリケーションが広く使われるようになった現在こそ、たとえその一部でも音声インタフェースを介して利用できることの意義は大きい。ブラウザのフォームに情報を埋める作業を繰り返していると、もっと効率よく、あるいは、キーボードやマウスに頼らずに操作したい、と感じるのではなかろうか。

    システム記述言語の設計においては、実績のある成功事例（ベストプラクティス）が有用である。我々の6階層アーキテクチャにおける第5～6層（タスク間制御、データモデル、アプリケーションロジック）について、既存のWebアプリケーション開発から借用できる成功事例の一つとして、Rails (Ruby on Rails) に着目している。

    VoiceXMLは第5層と第4層の界面に対応しており、これは一般的なWebにおけるHTMLに相当する。Webアプリケーションではテンプレートエンジン（HTML に埋め込まれたスクリプト言語を実行する処理系）が一般的である。

    「階層の界面が記述言語に対応し、各階層がテンプレートエンジン処理系に対応する」

    という構図は6階層モデルの随所に当てはまる。

    テンプレートエンジンにはさまざまな技術や記述言語が乱立しているが、Rails によるWebアプリケーション開発ではオブジェクト指向が徹底され、MVC のすべての要素が Ruby で記述され、一貫性がある。Ruby言語はコードブロックによって手続き型言語と宣言型言語の記述の混在が可能になり、いわゆる「ドメイン記述言語」への流用が容易とされる。Model においては SQL データベースを簡潔な記述で操作できるクラスライブラリがある。View においては HTML にRubyの記述を埋め込むテンプレートエンジン機能(ERB)がある。

    RubyによるVoiceXMLアプリケーションの事例は、階層モデルにおける記述言語やアーキテクチャの詳細を考える出発点になるという立場から、Galatea Dialog Studio の開発はRuby on Rails との互換性を重視して進めている。

    3.2 知識からの対話生成

    音声対話システムによって「どのようなインタラクションを実現すべきか」を議論することは重要である。目標が定まらない段階でアーキテクチャや記述言語を検討するのは時期尚早という意見もある。これまでの標準化活動では、できるだけ先進的なユースケースを取り入れることでこの問題を克服してきたが、ユースケースもやがて時代遅れになる懸念がある。

    これに対して、時代遅れになりにくい「抽象的で普遍的な情報構造」に着目して、インタラクションの詳細を後から開発・標準化する、というアプローチがある。多くの実現例が報告されている「一問一答型の対話システム」も一例と言える。書籍のメタファで音声対話コンテンツを記述する提案はこれまでにも行われてきた。

    • Takuya Nishimoto, Masahiro Araki, Yasuhisa Niimi:”RadioDoc : A Voice-Accessible Document System,”Proc. ICSLP2002, pp.1485-1488, Denver, Sep 2002.
    • 西本 卓也, 荒木 雅弘, 新美 康永:”擬人化音声対話エージェントのためのタスク管理機能,”日本音響学会2002年春季研究発表会, 1-5-15, pp.29-30, Mar 2002.

    近年「情報提供型の音声対話」の要素技術として注目に値するのは、障害の有無にかかわらず読書ができる環境を実現する「マルチメディアDAISY」

    である。その派生技術である「テキストDAISY」はテキスト音声合成技術の新しい応用分野である。ハイパーリンクや検索といった電子書籍の操作手段としての音声対話にも期待が高まる。

    3.3 コミュニケーションの効率性

    擬人化音声対話エージェント技術は「人間が声で会話したいと感じるような人工物をいかに実現するか」という問題への一つの回答だと考えられてきた。

    • 嵯峨山 茂樹, 西本 卓也, 中沢 正幸: “擬人化音声対話エージェント,”情報処理学会誌, Vol.45, No.10, pp.1044-1049, Oct. 2004.

    その目標を真に達成するためには「対人コミュニケーション」を形式的な問題として捉えるのではなく、高品質の映像や音声を高速に制御し、豊かな情報の伝達を可能にし、コミュニケーションの効率性を本質的に高める必要があろう。

    エージェント制御に力学や物理学のモデルを取り入れる試み

    • 中沢正幸, 西本卓也, 嵯峨山茂樹:”視線制御モデルによる擬人化音声対話エージェントの制御,”2005年度人工知能学会全国大会(第19回)論文集, 3B2-07, Jun 2005.

    音声インタフェースを「実時間の効率性」という観点から構成要素に分解する検討

    • 西本 卓也，岩田 英三郎, 櫻井 実, 廣瀬 治人:”探索的検索のための音声入力インタフェースの検討,”情報処理学会研究報告 2008-HCI-127(2), pp.9-14, Jan 2008.

    などはマルチモーダル対話アーキテクチャに今後必要となる視点を与えるだろう。

  • 音声言語情報処理研究会 2009-SLP-78

    第78回 音声言語情報処理研究会 (SIG-SLP)(第5回 音声言語情報処理技術デベロッパーズフォーラム) に行ってきました。つぶやいていたらフォローが増えました。感謝。

    • 10:19  SLP研究会なう。西早稲田という最寄り駅ができたから西早稲田キャンパスになったのか。。
    • 10:25  検索して見つからないから #SIGSLP を使っていいのかな。。
    • 10:31  #SIGSLP 講演（１）「長時間スペクトル変動と調波構造に基づく発話区間検出法の音声認識による評価」福田さん他
    • 10:58  #SIGSLP 講演（１）質疑：フレームドロッピングの必要性？VADで発話前後の無音がすでに落ちているのでは？意図的にやっていないか？
    • 10:58  #SIGSLP 講演（２）「ユーザの発話傾向分析に基づく車載機器操作のための音声入力手法の検討」倉田さん
    • 11:25  #SIGSLP 講演（２）質疑：エラー時の振る舞いは今後の課題。自然言語理解は最大エントロピー法。もっと軽い手法ではだめか？学習データ数とカバー率の関係は？未知語を含む発話に対する正解判断は？
    • 11:27  #SIGSLP 講演（３）「音声対話システムにおける暗黙的な教師信号に基づく音声認識率の推定とそれを用いたエラー予測」駒谷さん
    • 11:50  #SIGSLP 講演（３）質疑：評価尺度は文認識率に相当。絶対値としては低い？バージインを対話状態によって分けて検討しては？
    • 12:38  #SIGSLP 昼休みなう http://sig-slp.jp/2009-SLP-78.html
    • 12:47  #SIGSLP 講演（４）音声中の検索語検出のためのテストコレクション構築 -中間報告-
    • 13:52  #SIGSLP 講演（５）で5分だけ喋りました。さっきの報告の続き。
    • 13:53  #SIGSLP 講演（４）質疑：検索速度の評価は？要望は誰に？検索速度の評価に音声認識の処理は含む？
    • 13:53  #SIGSLP 講演（５）「階層的MMIアーキテクチャに基づくプラットフォーム実装方法の検討」
    • 13:54  #SIGSLP 講演（５）質疑：リアルタイムでの応答は6階層モデルでできるのか？
    • 13:55  #SIGSLP （６）(招待講演) 「音声認識実用化事例の紹介とその課題」藤田 泰彦さん (アドバンストメディア)
    • 13:55  スーツ率が高くて私もびっくり RT @whym #sigwi2 から #SIGSLP に移動したら会場の雰囲気がガラッと違う。wi2は大半が私服、slpはほぼ100%スーツ
    • 13:59  #SIGSLP 招待講演：音声認識AmiVoiceの実績紹介。医療分野で2900施設以上。画像を見ながら入力。電子薬歴は保険点数に。専門用語が多いのでカナ漢字変換よりも有利。入力効率が３４～７３％改善。
    • 14:01  #SIGSLP 招待講演：東京都議会の議事録作成で導入。速記会社とアドバンストメディアさんの連携でサービスとして提供。
    • 14:04  #SIGSLP 招待講演：音声認識によって大阪府では速記者の人件費を削減できた。課題は話しことば対応、速記者の使いやすいインタフェース。
    • 14:05  #SIGSLP 招待講演：ここまではビジネスとして成熟した事例。コールセンターでの利用は多種多様。モニタリング、コンプライアンス強化、分析。
    • 14:09  #SIGSLP 招待講演：コールセンターでの利用、オペレータ音声の認識だけでも有効。
    • 14:13  #SIGSLP 招待講演：らくらくホンやiPhoneでの音声認識。自動学習がポイント。単語やユーザ言語モデル。App Storeのアンケート評価は良好だが、今後も使い続けたい人が少ない？
    • 14:16  #SIGSLP 招待講演：音声認識による英語教材。楽しいコンテンツが作りやすい。月額使用料によるライセンス。課題は市販ハードや他ソフトとの共存。
    • 14:18  #SIGSLP 招待講演：実用化における課題。ビジネスモデルの確立。第一印象＝イニシャルの認識率。継続利用の支援＝適応など。データ収集の障害。
    • 14:26  #SIGSLP 招待講演：質疑：いまの手法では性能を出すためのコストに収入が見合わない。研究機関に期待すること＝性能を上げるためのブレークスルーを。
    • 14:27  #SIGSLP 講演 (7) 「第5回SLPデベロッパーズフォーラムイベント企画の趣旨について～コーディネータの立場から～」庄境さん
    • 14:28  #SIGSLP 庄境さん「ハイテクの落とし穴＝キャズム」
    • 14:33  #SIGSLP 庄境さん「ハイテクオタク相手では投資を回収できない。マジョリティに受け入れられるためには？要求＝低コスト、高品質、限定機能」
    • 14:36  #SIGSLP 庄境さん「車載機器における音声入力の市場。必須機能だが使われているかどうか不明。安価で真に役立つ音声認識に需要＝キャズムを超える好機？」
    • 14:40  #SIGSLP 講演（８）「音声インタフェース普及促進のため開発支援技術」中野さん
    • 14:45  #SIGSLP 中野さん「音声インタフェースの設計手法と評価手法、パタンランゲージによる記述」「利用環境を絞り込む」「視覚フィードバックが不要な環境、キーボードの利用困難な環境」「不正確性、処理時間の問題を回避」「片手コントローラとの併用」
    • 14:48  #SIGSLP 中野さん「敏速かつ正確な操作はコントローラで、絞り込みは音声で」実装例の紹介。
    • 14:57  #SIGSLP 中野さん「タスク達成率が異なる際の達成時間の比較が困難」「制限時間に実験者の主観が混入する」「T-Aグラフを使う手法を提案」
    • 15:07  #SIGSLP 講演（８）質疑：音声で入力してテンキーで修正、という状況も評価すべきでは？設計の問題になる。主観評価も重要。
    • 15:08  #SIGSLP 講演(9)「音声UI設計とその評価 ～普及促進にむけて，システム構築の立場から～」石川さん「今日もヨタ話？」
    • 15:14  #SIGSLP 石川さん「製品設計の場に音声UI設計の専任がいない」「人間中心の設計開発のプロセス」「ものづくりアーキテクチャのポジショニング＝製品内部構造×製品外部構造、インテグラル型／モジュール型」
    • 15:18  #SIGSLP 石川さん「日本のUI設計の現状＝アプリケーションごとの要求をすりあわせる。機能に対するUI設計。電源入れるとナビ」「欧米＝UIもモジュールで、アプリと独立に検討、最後につなぐ。電源を入れるとまずメニューが出る」
    • 15:24  #SIGSLP 石川さん「音声が着目すべき特徴＝一貫性、確実性、効率」「今後の製品＝アーキテクチャの大変革が間近。社外サービスとの連携を。車載機器は安全性を確保できる一貫したUIを」
    • 15:27  #SIGSLP 石川さん「記述できること、ではなく、UIの基本原理が含まれたインタフェースモジュールを」
    • 15:35  #SIGSLP 石川さん：質疑：モバイルPCを車内に置けばよい？安全性に考慮したUIが前提？自動車メーカーのビジネスチャンスの考慮？
    • 15:35  #SIGSLP 休憩なう
    • 15:49  #SIGSLP 講演(10)「人間の多様な振る舞いを考慮した音声UIの必要性」岡本さん。昨年度までの国プロの成果。ユーザは困るまでマニュアルを読まない。画面に表示されている情報や音声ガイダンスに誘導される。開発者の意図が伝わらない。
    • 15:52  #SIGSLP 岡本さん「テストとプロトタイプ改良をスパイラルに繰り返した」「被験者は画面からヒントを探そうとしない」「ユーザの多様な行動を想定しているか？」「仕組みがわかるUIになっているか？」「ユーザに役立つシンプルで的確な情報を」
    • 15:59  #SIGSLP 岡本さん「具体的な対応方法を知らせる。ｘｘするにはｘｘと発話してください、など」「情報を垂れ流すだけでは気づいてくれない。使用法を文字と音声で説明する。注意してくれているか確認する。準備ができたらスタートとお話しください、など」
    • 16:06  #SIGSLP 岡本さん「使用意欲を調査。使用前は5点でも使用後に4点に。慣れてきたらガイダンス不要。手動バージインを使ってもらえない。使っている状況をモニタして習熟度を判断し、習熟度にあったUIを提供すべき」
    • 16:08  #SIGSLP 習熟度の定義は難しそうですね。音声入力への熟練、アプリケーションへの熟練、ヒントに気づくことへの熟練、などなど。
    • 16:09  #SIGSLP 講演(11)「実世界に存在する音声・音響を対象とした認識技術」大淵さん
    • 16:13  #SIGSLP 大淵さん「技術になれていないと音声認識を使いこなせない現状」「どこまで完璧に作ればマジョリティは満足してくれるか」
    • 16:17  #SIGSLP 大淵さん「音声認識はキーボードやタッチパネルに勝てるか？」「機械に向かって話してもらう、をやめる＝書き起こしの下請け、監視など、インタフェースでない用途？」
    • 16:23  #SIGSLP 大淵さん「画像認識はどう使われているか？画像認識してもらうために人間が行動することは少ない。すでにそこにある姿を認識する」「従来は議事録を作らなかったような会議の音声を・・」
    • 16:28  #SIGSLP 大淵さん「そこそこの認識率のものを有効活用できる応用を」「侵入音や銃声などの音響イベント認識」「意図的音声コマンド検知」
    • 16:31  #SIGSLP 大淵さん「一秒を完璧に認識？一万時間を適当に認識？」
    • 16:41  #SIGSLP 朝からの話を振り返って。音声インタフェースは「車輪の再発明」され続ける運命なのかな http://bit.ly/KpSLj
    • 16:43  #SIGSLP (パネル討論) 「音声認識技術がキャズムを越えるには？」なう
    • 16:49  #SIGSLP 西村さん「InventionとInnovation」「セグウェイ＝技術の高度さがビジネスの成功につながらない例」
    • 16:53  #SIGSLP 西村さん「世界が大きく変化している」「技術者が自分の取り組んでいる技術ありきで使い道を考えていないか」「10年前と同じ発想、同じ仮定でいいのか」「アフリカでは音声通話しかない携帯電話が数ドルで売られている」
    • 17:02  #SIGSLP 質問なう「オープンソースの役割」「アクセシビリティ」
    • 17:11  #SIGSLP ビジネスモデルの議論に。イニシャルの性能をいかに上げるか。コストの問題。独自の文化へのこだわり。
    • 17:14  #SIGSLP 技術の独占？オープンイノベーション？音声認識技術は枯れているので自前で作れる。オープンソース的なコーパス？
    • 17:19  #SIGSLP 評価結果の共有。ソリューションを考える人を増やすべき？企業の研究所にいてもビジネスはわからない。学会とは別の場を作るべきかも。組織がやるべきことが個人に押しつけられている
    • 17:22  #SIGSLP 成功している分野としてない分野があるA社。いかに差別化するか。先行するか。分野ごとにアライアンスを組む必要がある。業界が参入を恐れている？使えるものが作れる自信はでてきた。
    • 17:26  #SIGSLP 「フィールドで評価までやったうえでソリューションとして売れば成功できるはず」「ビジネスと研究所が思考を共有できない」「オープンソースはソリューションさえ公開しているのでは？」
    • 17:29  #SIGSLP ソリューションビジネスの経験。「手組み」か「パッケージ」かの判断から始まる。判断する人が情報を持っていない。よほど音声に思い入れがないとSI事業は成立しない。既存パッケージとの音声の連携は？
    • 17:32  #SIGSLP 最近は音声認識のソリューションが消費者から見えなくなっている。既存パッケージはPCが前提で音声が有効性を見いだしにくい。PDA連携は実績につながりやすい。
    • 17:37  #SIGSLP 「習熟度の定義」を。道は一本ではないはず。システムの透過性がしっかりしていれば、その人なりの道がある。
    • 17:44  #SIGSLP 開発者の意図を伝えること＝習熟度かも。習熟度ごとにインタフェースを適応するのは音声固有の問題？
    • 17:47  #SIGSLP 議論：ユーザがシステムを擬人化するかどうか。設計の違いが大きいのでは？擬人性を考えるならアダプティブに。道具型の場合は透明性が重要？
    • 17:50  #SIGSLP 議論：システムを知的に見せるとユーザは過信し、問題は難しくなる。機械の頭の悪さをいかにユーザに知らせる。ユーザが期待するタスクを絞って選択肢を呈示してはどうか
    • 17:52  #SIGSLP 議論：マジョリティに向けた戦略。カーナビについて日本はもう舵を切ったと思う。最初に音声でセットアップさせるなど、成功体験を与えたい。
    • 17:55  #SIGSLP 議論：対話だと思うとぐちゃぐちゃになる。インタフェースだと割り切る。人間は人工的に作れない。検索は迷わず使える。「見える化」が重要
    • 17:55  #SIGSLP 終了。

    Powered by twtr2src

  • 音声によるインクリメンタル検索

    擬人化エージェントの研究から派生したアイディアだが、ちょっと前に作って放置していたデモをビデオにしてみた。

    • 西本 卓也 他: “探索的検索のための音声入力インタフェースの検討,” 情報処理学会研究報告 2008-HCI-127(2), pp.9-14, Jan 2008.

    ビデオの作り方に関するメモ。Snagit 9 でデスクトップをビデオキャプチャしたら、ちゃんとマイク入力も取り込んでくれる。VideoStudio 12 で編集。タイトルだけのところは黒の「カラークリップ」で作る。キャプチャした映像は画面サイズが不均一なので、オーバーレイトラックに乗せる。最後は1080×720のWMVに落として、YouTubeにアップロード。

    考えていただきたいポイントは「ユーザが入力したいものの名前を言っている間に、常に意味のある反応をし続けること」の効果である。前半ではそれが無効になっており、後半では有効になる。

    このこと自体は多くの研究で主張され続けてきたが、具体的な手段についてはいろいろあっていいはずだ。だからこのデモでは「選択肢そのものをつかんで触る」というインタラクションと組み合わせてみた。

    スライドと予稿はこちら。

    この研究そのものは中断しているが、少なくとも「常に情報を受け取りながら意味のある反応を実時間で行う」という目標は、擬人化エージェントの制御に必要な要素だと考えている。

    お弁当を選ぶだけなら話は簡単だが、一般的に「意味のある反応」のための実時間制御を作り込むのは簡単ではない。現在取り組んでいる手法について、近いうちに御報告できると思う。