東大先端研「当事者の視点によるバリアフリー研究」６月４日午前の部に参加してつぶやいてきました。
司会は伊福部達先生。話題提供者は中野聡子さん、藪謙一郎さん、鈴木淳也さん。
中野さんには後で質問させていただき、下記の論文を教えていただきました。
中野聡子他, “聴覚障害者向け音声同時字幕システムの読みやすさに関する研究(1)－改行効果に焦点をあてて”, ヒューマンインタフェース学会論文誌, 第10巻第4号, pp:51-60, 2008.
iPhone字幕システムによる情報保障の実演？もありました。ロビーで紹介されていたのは、iPhoneと通信できるBluetoothワイアレスマイクで講師の声を拾い、音声を遠隔要約筆記のサービスに送り、字幕を遠隔地のWebサーバから配信。iPhoneのSafariで字幕を閲覧、というシステムでした。
実はポイントは「ソフトバンクだから音声もパケット通信も定額」というところで、なるほど、と思いました。
Twitterで私をフォローしておられる何人かの方が「要約は必要か？誰にとって必要か？」という趣旨の発言をなさっているのが興味深かったです。
音声認識技術とモバイル機器の普及は「ユーザにあわせてカスタマイズ可能な字幕提示」という新しいシステムに繋がると考えています。
そういうことも考えつつ、来週の人工知能学会大会（長崎）で下記の発表を予定しています：
６月９日セッション1D3「コミュニケーション支援」1D3-1 学会・研究会の情報保障におけるソーシャルネットワークの役割（西本卓也）
藪さんのシステムは「タッチ操作で文章を入力する新しいインタフェース」になりそうな予感がします。いずれ音音研でお話ししたいとのことでした。音音研の運営が滞っててすみません。。
- 東大先端研「当事者の視点によるバリアフリー研究」司会は伊福部先生。話題提供者は中野聡子さん、藪謙一郎さん、鈴木淳也さん。iPhone字幕システムによる情報保障も。 posted at 10:01:06
- 伊福部先生「ヘレン・ケラーのタドマ法、ベルの電話の発明の話。100年たっても変わらない現状。福島先生のビデオ」 posted at 10:05:41
- 伊福部先生「指先に与えた刺激で音声を伝える研究の話」iPhone字幕はITBCでモバイルサファリをこまめにリロードかけて実現しているらしい。 posted at 10:06:59
- 伊福部先生「1977年の音声タイプライタの製品化の話」いまURL教えてもらって自分のPCのブラウザで字幕を表示しながらつぶやいてます。 posted at 10:10:42
- 伊福部 達 (新書 – Dec 2004) の ‘福祉工学の挑戦―身体機能を支援する科学とビジネス (中公新書)’ を Amazon でチェック！ http://amzn.to/cS5HW3 posted at 10:12:55
- 伊福部先生「DPI世界会議でリスピーク音声認識字幕を実施した話。構音障害と九官鳥の発声研究、人工喉頭。現在ハンズフリー化」 posted at 10:13:59
- 伊福部先生「三笠宮殿下が研究に協力しておられる話。インコと腹話術。舌の動きを指の動きで代替させる研究」 posted at 10:16:02
- 伊福部先生「95リーダの話、IBM浅川さんの音声インタフェースの研究」 posted at 10:17:50
- 伊福部先生「聴覚による障害物知覚の話。最初は支援機器を作ったが人間がもつ潜在能力を解明する研究に転換。感覚・脳科学とIT・ロボット工学のらせん展開」 posted at 10:20:39
- 今日はiPhoneを書画カメラで拡大した画面が「PC要約筆記の画面」として正面に映っています posted at 10:22:04
- 昨日から自分のiPod touchのSafariがおかしい。。 posted at 10:24:01
- 中野さん「音声認識字幕の特徴。要約されないでそのまま字幕。リアルタイム性。受け手の高い日本語力を前庭。情報を寸分違わず得たいというニーズ」 posted at 10:27:35
- 中野さん「YouTube動画のタレントのインタビューの書き起こし。ろう者の立場では非常に読みにくい。若者言葉。話し言葉のままなので構造が違う。文の切れ目が不明。ろう者は字幕を見て内的な音声化をしない」 posted at 10:29:42
- 中野さん「音韻的ワーキングメモリの知見。視覚提示の黙読でも脳は音韻符号化。2つのルートの仮説。視覚をいったん音韻にするか、視覚をすぐに意味表象にするか」 posted at 10:32:09
- 中野さん「ろう者が2つのルートを使っているとは考えにくい。音声認識の誤認識の分類に関する知見。正しい意味の推測しにくさを実験で検証」 posted at 10:36:37
- 中野さん「文字情報から想起される韻律的特徴をろう者は利用できない。文章を短く切って改行することで問題の緩和を。句点改行と句読点改行の好みが聴者とろう者で逆転」 posted at 10:39:45
- 中野さん「聞こえる人に短すぎると思われる改行位置がろう者の音声認識字幕の読み取りでは好まれる。10行くらいの字幕画面の眼球運動の動きの分析」 posted at 10:41:23
- 中野さん「聴覚障がい者の視線は字幕の動きに追従しないで画面全体を動き回る非追従型。改行が多い方が読みやすい。読み返しや停留の分析。読みやすさの好みは視線活動の違いと関連」 posted at 10:44:27
- 中野さん「英語の音声認識字幕の実験。母語と外国語の違い＝発音をイメージできる人とできない人。ろう者にとって発音記号は音というよりも舌の動き」 posted at 10:46:43
- 中野さん「英語だと字幕の文章が短く改行されると読みにくいという結果。奪われた感覚を代行するだけでは問題解決ではない。当事者による研究が重要」 posted at 10:55:56
- 中野さんに誤認識の影響について質問してみた「英語字幕だと誤認識の場所すら読み手に分からない。色を変えるなどの配慮ができると読み手は嬉しい」 posted at 11:00:35
- 藪さん「話すのを支援する研究。非言語情報を含む音声生成器。最初に自身の構音障害の説明。あごなどの筋力の低下。声は出せるが不明瞭」 posted at 11:03:59
- 藪さん「母音とフォルマントの話。F1とF2の2次元平面をペンタブレットで操作するとリアルタイムで母音を出せるデバイスの設計。舌の物理配置にあわせて回転した直感的な操作系」 posted at 11:13:00
- 藪さん「自分の声のLPC逆フィルタでパラメータ生成。デモ。母音だけで、おはよう、こんにちは、などと聞こえる声」 posted at 11:15:18
- 藪さん「子音の知覚＝ホルマント遷移の再現。共振パラメータを試行錯誤で決定。音声学的な知見でパラメータの簡略化」 posted at 11:19:07
- 藪さん「子音生成の操作方式。構音点を導線（方向）で区別する」iPhoneのフリック入力みたいだな。。 posted at 11:22:50
- 藪さん「生成実験による評価。単語親密度試験用4モーラ単語を使用。導線ありで了解度が向上。感情表現に関わる要素＝基本周波数。圧力センサつきのタッチパッドなどを検討」 posted at 11:26:47
- 藪さん「デモビデオ。驚きや笑い声などの表現。指の接触面積が不安定。圧力センサをタッチパッドから独立させる改良。抑揚による単語の明瞭化も。楽器演奏にあわせて歌を生成する実験」 posted at 11:30:45
- 藪さん「右手で鍵盤、左手で音声合成のビデオ。さらに音階はMIDIから自動付加すれば音楽未経験者も片手で歌声を合成できる。初心者に使ってもらう評価実験」 posted at 11:32:58
- 今日は筑波技大・三好先生の遠隔字幕システムだそうです。だから目の前に要約筆記者がいない。。 posted at 11:36:45
- 鈴木さん「全盲の立場から音の情報を生かす研究を。音声合成を日常利用。図形の音声化の技術が未発達。視覚障がい者の聞く力を活用したい」 posted at 11:40:22
- 鈴木さん「音による環境認知。関さんの一連の研究。障害物距離による音色変化。エコーロケーション。環境雑音の利用。無響室だと障害物を知覚できない」 posted at 11:46:53
- 鈴木さん「スピーカマトリクスによる画像提示。音で形を提示する。周波数、位相、音圧などの物理要素の活用。音を動かして軌跡を表現する」 posted at 11:51:01
- 私がむかし関わった仕事を思い出す。ネットイン京都 の ‘ウチコミくん3D’ を Amazon でチェック！ http://amzn.to/aa6UdS posted at 11:52:31
- 今日の6時55分からNHK「サイエンスゼロ」で関連する話が紹介されるそうです。 posted at 11:53:31
- 伊福部先生「藪さんの技術にミュージシャンが興味を持っている。ライブで使いたい」これから外で展示をみます。。 posted at 11:55:02