ZHUOWARE

Tuesday, October 30, 2007

Vocaloid リップシンクツール Rev.0.30

複数の方からアドバイスをいただきまことにありがとうございます．

とりあえず，「フレーム番号と，そのときどんなパターンか　とを出力する」ようにしてみた．Rev.0.30としてdownload可能．左の「リンク」よりbackyardにお越しいただければ幸いです．

• fps指定可能(小数もok)
  
• initial-frame-offsetがミリ秒単位で指定可能
  
• どんな発音記号のときに，どのパターンと判定するかを指定可能．所定の書式でテキストファイルを書いてツールに与える(サンプル同梱)．
  

とはいえ，例によってほとんどテストも通しておらず，また，現在のところ母音・無音をひっかけられる程度であり，子音には未対応という段階．
この出力形式からコンバータを通すことで各種ツールに対応してゆけそうかどうか，もしよろしければお試しいただき，こちらにコメントいただければまことに幸いであります．
---
ところで，同じことをやっておられる方を発見:-)
http://www.nicovideo.jp/watch/sm1365185
誓って私ではない，別の方である．いやあ，すばらしいできばえ．

それにしても偶然である.
実は週末，Ver.0.20をながめて「frameごとの出力をしなくても，これでとりあえずアニメーションアプリはできるな…さきにそっちをTcl/Tk+snackで作るか…」と思い，さなりうむ様blogより
http://www.q-ice.com/diary/blog/diary.cgi?mode=comment&no=52
の画像をお借りしてImageMagick
http://www.imagemagick.org/script/index.php
のフリーツールconvertで画像パーツを用意していた．が，なんと，上記，ニコニコ動画の方も，同じ絵をお使いであった…．

というわけで，脱線しかけて，それはもうやっておられる方がみえることがわかり，本線のframeごと表示をきっちりやっていこうと反省したのであった．．．

Sunday, October 28, 2007

週末ですね

この一週間も仕事が多忙で，とくに後半は口パクツール周りのことは何もできなかった．

今日は久しぶりに作業をした．まず，backyardの構成を整理した．べた書き一枚ではあんまりだから…．とはいえ，htmlの知識なんて10年前のまま止まっている私のこと，なんとも野暮ったい見栄えであることには変わりない．まあ，あまり時間をかけるところでもないしと言い訳しておいて．

そして，vsqのフォーマットについて，すこし時間をかけて検討した．くわしくは，画面左の「リンク」より，zhuoware backyardにお越しいただくとごらんいただけます．

とりあえず何かひとつ，動画生成ツールに読み込める形式のファイルを生成して，動画を見るところまでやってみたい．あまり複雑なファイル形式だと実装に時間がかかるので，なるべく単純なテキスト形式のものがないかと思っているが，なにぶん動画生成ツールについてはよく知らないので，お勧めをコメントいただければ幸いです．

Thursday, October 25, 2007

リップシンクツール

さっそくツールRev0.20を試してくださった方がおられたようで，大変ありがたい．また，助言を下さった方もおられた，これもまことにありがたい．

とりあえずのTODOをメモしておく．

• コマンドラインでの作業を不安/面倒に思う方も多そうなので，やっつけでGUIをかぶせる．これは簡単．
  
• vsq自体の情報を正直に出力する部分と，それを元にして各種のツールに適合する自然な制御データを生成する部分との切り分けを，うまく決めること．
  
• vsqの正直な出力．拾っていない情報もまだ多いので，もっとあれこれちゃんとやる．高い音，明るい声，大きい声のほうが口をあけそうとか，ビブラートのときは口もワウワウするとか，ベロシティにより子音のスピードを変えるとか．
  
• 厳密には，エンベロープの値をただとびとびに拾うのではだめ，aliasing noiseが混入してしまう．ローパスしなくてはいけない．まあそこまでする必要はないだろうけれども．エンベロープのすきまの値がほしいならsinc補間も必要(か？？)．
  
• 生成のほうも結構いろいろなことをしなくてはいけない．声のとまっている促音の間も，次の子音がpかtかkかで口の形は違う．そういうのまで表現できるようにするのは大変だ．まあそんなことは，あとで考えよう．
  

まあおおげさに考えず，ちょっとずつ作り足していこう．なにぶん睡眠を削っての作業なので，そうスピーディには進められないのはお許しいただこう．．．

Tuesday, October 23, 2007

Vocaloidファイルから口パク用情報を取り出すツール:Rev 0.20

Vocaloid2が人気である．
Vocaloid2のファイルから，リップシンク，いわゆる口パクのためのデータを取り出してみようと考えた．
ここ2,3日調べて，とりあえず，Vocaloid2のファイル(拡張子vsq)から，時刻と音素(と，付加情報としてdynamicsと音名)とを書き出すツールを作った．

DTMマガジン11月号のDVDに入っているMiku.vsq をこのツールで分析すると，次のような形式のテキストファイルを出力する．

***(Miku)***
4.333　beg　ど　d o　95　69　A 3
4.667　end
4.667　beg　こ　k o　73　68　G# 3
5.000　end
5.000　beg　か　k a　78　69　A 3
5.167　end
5.167　beg　あ　a　64　69　A 3
5.333　end
5.333　beg　の　n o　54　66　F# 3
6.000　end
(以下略)
各列の時刻(sec),発音の開始か終了か，文字，発音記号，dynamics,ノート番号，ノート番号の音名表記，である．それらがTABで区切ってある…のだが，このblogではTABを落としてくれるので，ここではみやすさのため代わりに全角スペースを入れてある．

このバージョン(02)から，3Dアニメーションツール用のモーションデータを出すように改良したいのだが，モーションファイルのフォーマットの知識がない．ご協力いただける方がおられましたら，リンクから，zhuoware backyard (http://www.geocities.jp/zhuoware/)にお越しいただければ幸いです．

Monday, October 22, 2007

祝開設>>自分

自作ツールなどを公開しフィードバックをもらいたくなったので，htmlべた書きでサイトを作り始めた(http://www.geocities.jp/zhuoware/)．
しかし，あれこれ作りこむのも面倒だし，やっぱりいまどきblogが基本だろうということで，こちらも開設してみた．
正直なところどう運用するかまだ見えていない．いじりながら考えていく．べた書きサイトと相互にリンクをはっておけばよかろうと思ったが，ここにhrefタグを置いてもリンクにはしてくれないようだ．ちょっと困る．このblogにはファイルを自由に添付することはできないようだし．．．まあ，ぼちぼち考えよう．

というわけで，みなさま，どうぞよろしくお願いします．