nishimotzの日記

投稿者: nishimotz

  • NVDAのための音声エンジン

    NVDA日本語版は先日「ベータ版」という形で新たに公開されました。
    http://accessibility.mitsue.co.jp/archives/000256.html
    ベータ版に間に合わなかった音声エンジンの方を私が頑張ってるところです。。
    8月末までにNVDAのための音声合成をやると宣言したのですが、とうとう今日で8月も終わりです。
    New BSD ライセンスで公開されているエンジン Open-JTalk を Python から ctypes 経由で叩けるようにする作業を進めてきました。
    さきほどやっと speak や stop などの基本コマンドが動くようになりました。
    いまのところ成果は github の私のレポジトリにあります：
    http://github.com/nishimotz/libopenjtalk
    この中の lib というサブディレクトリが DLL 関連です。
    cygwin gcc-3 の minGW 互換モードで DLL を作っています。
    Python は cygwin 版 2.5 と Win32 版 2.6 の両方でチェックしています。
    （ただし後述の nvwave.py の制約で cygwin 版 2.5 には非対応になりました）
    ただし、技術的な制約で、open-JTalk に組み込まれている mecab （形態素解析エンジン）を使わず、単独で配布されている Win32 版の mecab DLL を組み合わせて使っています。（そのほうがライセンスも管理しやすいはず）
    今後の拡張性や保守性を考慮して、オリジナルのエンジンが main 関数でやっている処理を python でほぼ実装しなおしました。
    もともと Open-JTalk は HTS_Engine_API の中でオーディオ出力を行っていたようです。しかしスクリーンリーダのためには（音声対話システムであっても）「再生中の音声を自由に止める機能」が必要であるため、HTS_Engine_API 側のオーディオデバイス処理は（configureのオプションで）無効化しました。
    ctypes でポインタやダブルポインタを渡す処理を苦労して書きましたが、Python 側にバッファのメモリ管理をやらせるとハマりやすい、ということが分かったので、DLL 側で malloc のラッパー関数を作ってごまかしつつあります。あとでメモリリーク対策が必要になりそうですが。。
    NVDA が espeak の中でどのようにオーディオを叩いているかも調べました。（ctypesの参考になりました。。）
    http://ja.nishimotz.com/espeak
    Windows マルチメディア API で音声出力する部分が nvwave.py という Python のコードでコールバック処理もふくめて実現されています。
    驚きでした。
    この NVDA 的なやり方を見習って jtalk.py の実装を行いました。ただし DLL から音声波形をコールバックで受け取るのではなく、生成された波形をまとめて nvwave の player に渡しています。
    この _espeak.py の実装では、メインスレッドとバックグラウンドスレッドでコマンドキューを共有し、バックグラウンドのスレッドがキューの再生を行っています。さらに stop 命令を受け取ると、キューの中で「時間がかかる処理」だけを削除し、モードの切り替えなどの処理はキャンセルしないで順次実行する、ということになっています。
    このような処理は私が「ウチコミくん」で最初に Visual Basic Ver.6 で実装し、そして Galatea Dialog Studio でも実装したものです。
    懐かしいような嬉しいような気もします。
    そして Python という言語の奥の深さを感じます。
    残った仕事は synthDrivers を継承して NVDA 用のドライバークラスを書くことです。
    スクリーンリーダーに統合して、安定して動けばいいのですが。。
    今回つくった音声合成エンジンでは、かなり多くの部分を Python で実装してあるので、例えば文字列の前処理くらいなら簡単にカスタマイズできそうです。
    明日の夜は久しぶりに NVDA 日本語化プロジェクトの開発ミーティングです。

  • Ustreamのパスワード配信

    昨日と今日は第54回福祉情報工学(WIT)研究会（共催：ヒューマンインタフェース学会研究会）でした。
    前回に引き続き、Ustreamによる配信を実施しました。
    また、前回の配信について配信ワーキンググループの連名で報告をしました。
    研究会の記録と配信実績の報告は別途しますが、その前に忘れないうちにUstreamに関する御報告をひとつしておきます。
    WIT研究会ではできるだけ多くの方に面倒な手続きなく配信したいと考えておりますが、前回および今回に関しては、講演者や情報保障関係者の御要望を考慮して、Ustreamの「パスワード制限による配信」を使用し、ieice_wit のアカウントで配信を実施しました。
    私たちは特に前回「聴覚に障害をお持ちの方を考慮した配信」を行いました。その詳細は報告（およびその技術編）の通りなのですが、予想外に多数の「視覚に障害をお持ちのユーザ」から御利用の御要望をいただきました。
    一般的には「動画コンテンツに字幕をつける」というのはWebアクセシビリティの配慮としてはなかなか手が回らない部分です。
    そこにチャレンジした私たちなのですが、残念ながら、もっと基本的な配慮である「視覚に障害をお持ちの方が、スクリーンリーダ操作で配信を受けられること」について、十分な配慮を実現できておらず、前回に続いて今回もお叱りのメールやツイートをいただいています。
    具体的な状況を以下にご説明します。
    パスワードを入力しようとしてチャンネルのURLにアクセスすると「この番組はパスワードで保護されています。番組を見るには、有効なパスワードを入力してください」という画面が表示されます。これはHTMLのテキストボックスなので、日本で普及しているほとんどのスクリーンリーダで（音声読み上げとキーボード入力で）操作可能です。
    Ustream受信のパスワード操作１
    スクリーンリーダを御利用の方はこれを入力すれば配信が始まると思ってお待ちになるようですが、残念ながら配信が始まりません。
    実はこの先にもう一つパスワード入力画面があるのです。
    Ustream受信におけるパスワード入力（2つめの画面）
    この2番目の画面では、Flashの動画配信オブジェクトの一部として、Flashのウィジェットでテキストボックスが表示されているようです。
    日本で視覚障害を持つ方が広くお使いになっているスクリーンリーダには、Flashオブジェクトの中のウィジェットを操作できない製品が多数あります。
    このため「配信を利用できない」というご指摘をいただく結果になっています。
    もしFlashオブジェクトでパスワード入力待ちがなければ、音量調整など操作が困難な要素はありそうですが、全盲の方にもWIT研究会の配信をなんとか聞いていただくことはできると思われます。（そして、視覚に障害をお持ちなので会場に足を運びにくい、自宅や職場から研究会を聴講したい、という御要望にお応えすることも、私たちとしては、情報保障の取り組みの一つとして重要である、と気づきつつあります）
    著名な高機能スクリーンリーダであるJAWS（日本語版）はこういった問題に対応できる選択肢の一つですが、高価である・操作方法が初心者向けでない、といった事情で、利用者が限られているのが実情です。
    このような日本のWebアクセシビリティの状況を改善すべく、私たちもオープンソースで高機能のスクリーンリーダであるNVDAの日本語化に取り組んでいます。
    NVDAでのFlash操作についてはミツエーリンクスさんがブログ記事（続報）で報告しておられます。
    今回、配信ワーキンググループは、配信を利用できなかったという方から「パスワード入力がなぜ2回必要なのか」と質問を受けております。
    WIT研究会の配信WGとしては、今後、パスワード制限を行わないで配信できるように努力したいと考えております。しかし、別の団体などから、パスワード制限をかけつつ視覚障害をお持ちの方に配慮した配信をなさりたい、という要望はいずれ出てくるのではないかと思います。
    そこで改めて Ustream 運営会社の皆様にもこの問題をお知らせするべく、この記事を書かせていただきました。
    まずはこの問題について多くの方にご理解いただけることを望んでおります。

  • 英語と日本語

    ウィーンで開催されたICCHPに参加して音声CAPTCHAの発表をしてきました。
    私の英語のブログ記事をご覧ください。
    会場（ウィーン工科大学）で無線LANが使えたので iPod touch で Twitter を使いながら聴講しました。
    すぐに #icchp というハッシュタグが見つかり、Twitter を使っている研究者の方々をフォローしたり、興味深い発言をリツイートしながら話に付いていこうと努力していました。
    海外で使える携帯電話を今回も持たないで渡航しました。しかし、日本から iPhone をお持ちになった方も 3G でパケット通信をするのは料金的に敬遠したい、とおっしゃっていたので、本当は Pocket WiFi のようなデバイスでローミングサービスこそが求められているのかも知れません。。
    日本に帰国して、開業したばかりの成田スカイアクセス線のなかから、久しぶりにいつものアカウント @nishimotz で日本語でつぶやき始めたら “don’t, ‘cause i wouldn’t understand you anymore!” というリプライが来ました。
    そうですよね。。ごめんなさい。。。
    最初から日本語人格と英語人格を分けておけばよかったなあ、と今頃になって思ったのですが、手遅れ。。。
    考えた末 @nishimtz というアカウントを新たに作り、日本語人格を新しいアカウントに移行（分離？）することにしました。
    これを一つの機会に、「日本からの英語での情報発信」について積極的に考えていきたいと思います。