nishimotzの日記

投稿者: nishimotz

  • 第49回WIT研究会

    7月24日（金）山梨大学にて第49回WIT研究会が開催されます。手話通訳を実施します。プログラムを下記にて公開しています。

    また10月29日（木）～30日（金）に青森市で開催される第50回WIT研究会（共催：音声研究会）の発表申込を受け付けております。

    • 2009-07-22 追記：WIT研究会当日は twitter で nishimotz が何かつぶやいているかも知れません。。

  • 電子書籍 DAISY

    今年度、特定非営利活動法人 全国視覚障害者情報提供施設協会さんの「視覚障害者総合情報ネットワーク事業」に関わらせていただくことになりました。

    昨日は電子書籍プロジェクトの会合に出席しました。視覚障害をお持ちの方に広く使われている DAISY という技術に関する活動です。

    現在日本で普及している DAISY 図書は、音訳された音声を CD-ROM で流通するシステムで、要素技術として MP3 や SMIL などが使われています。

    世界的には新しいバージョンであるマルチメディア DAISY が普及し始めています。墨字の書籍を音訳するには時間や人手がかかりますが、テキストのまま流通させてプレイヤー側で音声合成を用いることにすれば、より迅速に電子書籍を流通させることができます。また、XHTML の機能をフルに生かしたマルチメディア DAISY は拡大図書の役割を果たしたり、手話の動画を付与して聴覚障害の方に利用していただいたり、学習障害の子供の支援に用いることが期待されています。

    今回のプロジェクトでは、特にテキスト音声合成の利用を前提としたテキストDAISYに注目し、私はこの技術の普及に向けた活動をお手伝いすることになりました。

    日本ではこれまで著作権法の制約で書籍のバリアフリー化が盛んではありませんでしたが、改正著作権法の施行（2010年1月）に伴い、新しい試みが可能になると期待されています。

    Webアクセシビリティでも似たような話が。。。と思ったことは、やはり海外製のオーサリングツールやブラウザの技術が進歩しており、日本語対応が遅れているのだそうです。

    データフォーマットとしてのDAISYの特徴は、「章」「節」といった書籍の持つ階層構造と、メディアの同期情報のみが記述され、ナビゲーションはブラウズ技術にゆだねる、ということにあると思います。

    当事者のお話を伺うと、教育や就労といった分野に限定しても、視覚障害をお持ちの方は実にさまざまな分野の書籍に対するニーズを持っておられます。

    支援技術を生かすコンテンツの選定と制作、コンテンツを生かす支援技術の改良、出版におけるビジネスモデルとの整合、などなど、検討の余地がたくさんありそうな分野です。DAISY という技術の認知度ももっと高まる必要があると感じます。

    • 2009年7月8日：一部の表記や誤字を修正しました。

  • rubyhtk

    HTKに関する先日の考察を踏まえて ruby による HTK ラッパーを実装してみました。

    いまは連続数字音声認識のタスク（CENSREC-4の音声をrawからwavに変換したデータが対象）に依存したスクリプトになっているのですが、

    $ rake clean

    $ rake

    $ rake train

    $ rake hvite

    $ rake hresults

    のように使うことができます。

    実装における基本的な考え方は

    • インタフェースが複雑であったり安定しない場合は、目的に応じて自前のラッパーをかぶせる
    • 手続きではなくモデルに着目してクラスを設計する

    というところでしょうか。もはや HInit と HCompV と HRest の違いで初心者が躓くのは時代遅れのような気もするし、やりたいことをコーディングするときに入出力をファイル名やディレクトリ名で指定することも直感的ではないと思うのです。

    下記では、音響モデルをコーパスで学習しながら精緻化するプロセスを、Model のインスタンス配列によって扱っています。

    models = []
models << Model.first_train(data0,label)
while models.last.num_mixes < TARGET_NUM_MIXES
models << models.last.mixup_train(data0,label)
end
models.last.vite(data1,recout)

    first_train メソッドはプロトタイプのモデルを作る処理、HCompV で平均と分散の初期化をする処理、HERest で最初の連結学習を行う処理をまとめてラップしています。クラスメソッドになっており、新しい Model クラスのインスタンスを返します。

    mixup_train メソッドは Model のインスタンスメソッドです。HHEd でガウス分布の混合数をひとつ増やし、HERest を再度実行し、学習された新しいモデルのインスタンスを返します。メソッドの中で新しいインスタンスが生成されています。

    Model クラスのインスタンスの実体は、一時ディレクトリに作られる MMF ファイルですが、ファイルやディレクトリに通し番号を付けて管理する作業を Model クラス実装の中に隠しています。

    Model のインスタンスについて、dir メソッドで MMF が保存されたディレクトリ名を返します。また num_mixes メソッドは混合数を返します。

    認識結果を得る HVite コマンドは Model の vite メソッドにラップされています。vite メソッドの引数で認識対象データを指定します。MFCC (*.mfc) ファイルのリストが格納されたスクリプトファイル名を指定しています。

    まだまだ中途半端な実装ですが、なかなか興味深い方向性かなと思っています。

    R のクラス設計をお手本に考えると、HVite や HResults などの出力をクラス化するのもよさそうです。

    • 2009-06-27 : メソッドの説明を加筆しました。
    • 2009-07-02 : wav 変換されたデータが対象であることを加筆しました。