・サウンドロップの解析 番外編 へ 2007/07/13(Fri) 公開
・サウンドロップの改造 へ （別ページ） 2007/11/11(Sun) 新規追加
注意 サウンドロップの解析について、追加・訂正事項があります。
整理しなおすのも面倒なので本ページはそのままになっていますが
本ページの内容と異なる場合、向こうが優先です。
■はじめに
フィギュアが主だった「ガシャポン」 （自分は ガチャガチャ と呼んだほうが
なじみがあるが）に音声を出すものが登場し、電子おもちゃとして興味はあったものの
「萌えセリフ」のを買うのはちょっと恥ずかしく〜と思っていたらいつのまにかいろんな
シリーズが登場していたようで、サウンドロップ(c)BANDAI の「涼宮ハルヒの音声」と「ナムコクラッシクス」を1個ずつ
購入しました。分解する直前にネットで検索してみたら、既に先行者がいて、
複数の音声が記録されていて、基板ジャンパの切換で別の音声も出せる
という、オイシイ情報が。 情報どおりふたつとも音声切換えが可能でした。
-
ハルヒ C基板 「眼鏡属性って何？」<-> 3人の「大好き」
ナムコ B基板 「マッピー」 <-> 「ファミスタ」
左側が改造前の設定 右側がもう一種の音声
サウンドロップ基板説明
「電池3V」と各「音声選択ジャンパ」（４つ）の内、
どれかをショートさせると発音開始です。
（本来は1箇所だけハンダブリッジされていて、
基板中央のスイッチを押すと通電する。）
■音声出力方式
結論からいうと、入手したサウンドロップはふたつとも再生周波数 f 128kHz、分解能 5bit（内、1bitは符号bit）の PWM
で発音していました。
下はサウンドロップのスピーカー（圧電式？）出力端子をオシロで観測した波形です。 音声出力中はスピーカー端子のどちらか一方に 約7.8μs毎（逆数を取ると 128kHz）に 3V程度のパルスが発生します。 このパルスの幅がいろいろ変化しますが、観測した範囲では全て 0.5μsの倍数と見れば いい様です（0.1μsほど短いことも多いですが）。
パルスなしが幅ゼロ(0)とし、順に 0.5μs(1)、1.0μs(2)…、7.5μs(15)と数値化 できます（2進数ならキリ番で、4bitで表現可）。
また、振幅が正ならスピーカー端子Aにパルスを、負なら端子Bにパルスを出力するルールと すれば、実測と合致します。これをスピーカー自身がローパスフィルタの役目も果たして いると考えれば、音声の波形信号を再現できている訳です。
尚、5bit（符号も含めて）量子化では荒いのと、128kHzなんて音源は普通存在しないように 思われるので、データ化の際の真のサンプリング周波数 fs は 128kHzの整数分の１である可能性が高いです。
サウンドロップ スピーカー端子出力波形
1ch 2ch ともスピーカー端子 - GND間の測定です。
画面右の「デルタ」は2パルス分の時間間隔
ですから1パルス分なら倍の128kHzになります。
上記波形の測定状態
ミノムシクリップについている抵抗のリード線で
ジャンパ用ランドをつついて発音させています。
■再生周波数について
サウンドロップの基板にはチップ抵抗が1個載っていて Vcc(3V)にプルアップされています。 2個とも 「３３４」、つまり 330kΩでしたが、これが再生周波数を決定するようです。 ここに並列に 200kΩを接触させると、パルス発生周波数がだいたい倍の 248kHz に変化して再生音もピッチが高くなりました（早回し）。抵抗値を変更すれば周波数（≒音質）を下げる代わりに記録時間を長くしたりできる訳です。
（実際そうした品種が存在するのかどうかは知りませんが）
ところで、入手したハルヒシリーズ方の「大好き」の3人の内2人はどのキャラが 喋っているか十分識別できるのですが、一人だけ変に声が高くて分かりませんでした （消去法でいくと”ハルヒ”の筈ですが）。
これって、データ化の際に間違えたか、メモリーが足りなかったのでサンプリング 周波数を落として記録・製品化している可能性はないでしょうか？（で他と同じ 周波数で再生するので早回しになっている）
■ちょっと考察
さて、基板上の黒い封止樹脂の中に入っている半導体の ROM容量はどのくらいでしょう？音声データは思いっきり単純に計算すると、128kHz * 5bit = 640kbps のデータレートになります。 さすがに無駄が過ぎるので実際は（128の約数である）16kHzで原音をサンプリング した 8bit量子化データを符号1bit + 7bit(0-127)として、後者をあるルールに従って 8回に分けて出しているのかな？ こう考えるとデータレートは 16kHz * 8bit = 128kbpsになります。
別種の音声もあわせて最大6秒記録できるとすると、ざっと 768kbit。 まだ勿体ない使い方なので、更に DPCM や ADPCMで圧縮記録して容量を低く抑えている 可能性が高いです（この項目の数字はあくまで推測です）。
■今後
パルスの周期と幅の時間単位から、最低でも 4.096MHz（128kHz * 16 * 2） で記録できる 2chロジアナでスピーカー端子の信号を取り込んで、分かっている ルールで規格化（整形）すれば、サウンドロップの出力データ（デジタル!!）が ロス無く入手できる訳です。これをまたデジタル処理のローパスフィルタを通せば、 PCでかなり忠実に再生できる のではないでしょうか。
まあ、サウンドロップ用にデータ変換した時点で相当劣化しているので音質的には 意義は薄いですが、ハルヒの音声の違和感の件は周波数を下げて再生して、推測が 合ってるか調査したいです（マイクがあれば録音した方がよほど手っ取り早いが）。
という訳で、まずやるべきはロジアナの製作ですね。
外部から別の音声データで上書きできればベストなんですが、さすがに マスクROM化されてて無理だろうなあ… それにしてもこれを 200円で販売して 利益出してるんだから凄いですね。ボタン電池も二つついてくるし。
2007/07/06(Fri) 公開
続 サウンドロップの解析
■結論 Ver. Up版
音声出力方式と音声データ周波数ロジアナを自作、データ解析した結果、サウンドロップの音声出力方式を、より正確に表すと
128kHz動作の5bit符号付 PWM-DAC と併用した「ΔΣD/Aコンバータ」らしい、
と分かりました。
またΔΣDAC（私は「デルタ シグマ ダック」または「デルタ シグマ DAコンバータ」と読んでいます」）の 動作周波数(128kHz)は変えずに、DACに入力する音声データの再生（サンプリング）周波数を 変更して使っています。
そちらの周波数は PWM-DACの出力値の変化周期から推測が可能で、 サウンドロップによっていろいろな数値〜 手持ちの中では 最高で 21.3kHz、最低で 7.53kHz 〜 が見つかりました（取りうる値は 128/整数 kHz ）。
音声データを記録している ROM容量は一定（どのサウンドロップも同じ）で、これに 収まるように再生時間との兼ね合いで適時調整していると思われます。
任意データ上書きの可能性
シリーズごとに基板を変えている（見た目の変化は Pxx の文字くらいですが）、 更に同シリーズ内でも3〜8種（ A,B,C,...H） 基板に 分かれている、極めつけは ジャンパで出力音声が変わる なんて使い方を している以上、論理的に考えれば夫々異なるマスクROMで生産している訳で、 上書きはまず不可能 でしょう。
もし、上書きできるのなら一種類の基板だけ生産して後から一種類のデータ だけ書き込んでおけばいいのですから。
同様に、ワンタイム（1回だけ書き込み可能）の可能性も非常に薄いです。
以下、詳細
■端子名 追加「機動戦士ガンダム 赤い彗星編」（これで3つ目）を購入して分解した所、基板に シルク文字が追加されており、初校(4/26)で「機能不明」だったジャンパ（ランド）は REST（リセット？） になっていました。
ただ、 ハルヒもの の実験ではここをいじっても音声出力が停止したり、「大好き」3人分の順番が リセットされたりはしません。 赤い彗星 自身は、実験する前に、うっかり音が出ないところまで分解してしまいました。
もしかすると リセット ではなく、スペルどおり "REST（余り）" なのでしょうか？
また、スピーカー端子ですが、後述のデータ解析により、極性があることが分かりました。
但し、あくまで数値処理上の区別であり、実際にスピーカー自身に極性があるという意味では ありません。
赤い彗星編の基板 台詞は「冗談ではない!」（ジャンパ変更で 歩行音）
■ロジアナを作る
以前からオプティマイズさんの カメレオンUSB+ロジアナ基板キット を所有していましたが、これは記録メモリが 4Mbit(512KB)です。 サウンドロップの音声データを約3秒間連続記録するとなると、最低でも 2ch x 4MHz x 3/ 8 ≒ 3MB の メモリーが必要になるので不足します。
そこで、ミミックUSB FX2 の USBアナライザを ベースにして、長時間記録可能なロジアナを製作しました。
こちらは FPGA内に 72Kbit分（使っているのは 64Kbit分）しかメモリがありませんが、 測定データを随時ホストPCに送る方式なので、USB2.0のスピードで転送が間に合う 限りでなら、記録時間をかなり延ばせます。
但し、「480Mbpsだから 60MB/s だ」 なんてのは考えが甘すぎで、USB2.0 の HighSpeed通信は （瞬間最大じゃなくて）30MB/s出せればグレート!! なくらいの実力しかありません。
ロジアナ仕様
- サンプリング周波数
- Max 48MHz Min 11.7kHz(48/1〜4095の整数 MHz)
（サウンドロップ測定では 8MHz を使用（4.096MHzは作れないので）) - チャンネル数
- 1〜8 但し、FPGA内回路では 16CH分用意済 （同 2CH)
- 測定信号
- 3.3Vレベルまで （同 3V信号）
- トリガ
- レベルトリガ および エッジトリガ (同 レベルトリガ使用)
- 波形表示
- なし! 現状、測定データのバイナリファイル出力のみ
（同 別途解析プログラムで PWMデータとして数値化）
ロジアナとしては肝心の波形グラフィック表示を作っておらず、実用の域に達して いないと判断し、公開はしません。
■解析
スピーカー端子各chのパルス長さと前回パルスからの相対位置を調査した結果
- CH- とした方にだけ 1/128kHz(約7.8μs)を超える長いパルスが存在する。
これは PWM値 '-16' が連続していると見なせばよい(CH+ 側に '+16' 相当のパルスは存在しない)。
- CH+ と CH- 同時にパルス発生開始はない。必ず CH+ と CH- のどちらか一方にだけ
パルス出力するか 0値（±どちらもパルスなし）になる。
結局、PWM値は -16〜-1(CH- にパルス)、 0（パルスなし）、+1〜+15(CH+ にパルス） の 32段階 符号付5bit と見なせる。
- パルス幅の度数分布（※1）より、PWM値をきれいに分離できると分かった。
- 現在のPWM値と次の時間の PWM値の2次元分布（※2）をとって見ると、
現在値と同じか、±1の値の登場確率が高い → 再生方式に関係
以下の 16進ダンプリストは ハルヒ-「眼鏡属性って〜」 の観測データを変換した 5bit符号付 PWM値のバイナリデータ（一部抜粋）です。 8bitPCM WAVEファイル変換のために 8倍して 符号付8bitデータにしています。
-
WAVEファイルにするためにはヘッダを追加して、更に、MSBを反転し無符号8bitデータに直す
必要あります。出来上がったファイルはサンプリング周波数 128kHz でも（私の PCでは）拒否せず
再生してくれました。平均化処理して周波数下げたほうが高音ノイズが消えて私の好みです。
08 08 08 08 08 08 08 08 00 00 00 00 00 00 00 00 F8 F8 F8 00 F8 F8 F8 00 F0 F0 F0 F8 F0 F0 F0 F8 E8 E8 E8 F0 E8 E8 E8 F0 E8 E8 E8 F0 E8 E8 E8 F0 E0 E0 E0 E8 E0 E0 E0 E8 D8 D8 D8 E0 D8 D8 D8 E0 D0 D0 D0 D8 D0 D0 D0 D8 D0 D0 D0 D8 D0 D0 D0 D8 C8 C8 C8 D0 C8 C8 C8 D0 C0 C0 C0 C8 C0 C0 C0 C8 C0 C0 C0 C8 C0 C0 C0 C8
これを眺めると、一種類のPWM値か、隣接する（±1しか違わない）2つの PWM値のくり返しが 8回(かその倍数)続くケースが多いです。これは 参考文献1 の ΔΣDAC の動作と合致します。 8回ごとに使用値が切り替わっていることから、サンプリング周波数16kHz、 符号付8bit（-128〜+127）の元（入力）PCMデータを、128kHz周期の PWM値を 8回使って 平均表現していると考えると辻褄が合います（キリのいい周波数だし、 PWM 5bit + log2 8 ＝ 8bit を表現可能）。
これより、ΔΣ変調方式の DACで音声出力している と判断しました。
但し、世間でよく耳にする 1bitΔΣではなく、いわば、 5bit(PWM-DAC)ΔΣ です。
5bitPWM DAC + ΔΣのやっていること（簡易説明）
PWMの 符号付5bitを 8倍して扱うと、 -128, -120〜-8, 0, +8〜+112,+120 の 8刻み 32段階 の振幅が出力（表現）可能で、左記に存在する丁度の振幅値を出力したい場合は説明不要。
ここで、中間の振幅値、例えば +61 を出力したい場合は、前後の振幅値 +60 と +68を 使って、+60 +60 +60 +68 +60 +60 +60 +60 とすればよい（8回のうち、1回だけ +68 なので平均すれば (60x7 + 68)/8 = 61 ）。 同様に、+67 ならば +60を1回、+68を7回出力すればよい。
出力値の決定方法は簡単なプログラム（または回路）で実現できます（参考文献1/2）。
符号付8bit は -128〜-1, 0, +1〜+127 なので上記の方法では +121〜+127 の7通りが 表現不可能です。PWM DAC が -128から +128(or +127)までの等間隔32段階出力とすると みなして動作させればいいのですが、その場合 今度は振幅0丁度 を表現する出力が ないことになり、代わりに 正(x>0)の最小値と 負(x<0)の最大値 が交互に 現れることで平均値 0とすることになります（実際、1bitΔΣDACでは 振幅±0 （つまり無音）で '01010101…' 出力となります。初めて 1bitアンプの説明を読んだ ときは騙されている気分になりました）。
しかし、サウンドロップの変換データを見るとそうしたデータ列は少なく、0(パルスなし) が続くデータの方が多い（また、そこまでキッチリ追求するなら、出力パルス幅を 想定した振幅値に正確に合わせる、つまりパルスなしのデータがない筈）ので、 やっぱり、PWMの振幅表現範囲は-128〜+120 8刻みで済ませて、+120以上は +120で飽和 扱いにしていると思われます。 まあ、サウンドロップは音質を追求するものではないのでメーカーの中の人も 目をつぶっているのでしょう。
元データへの変換方法
8回ごとに入力データが切り替わる(= 128k/8 = 16kHz)場合、これはもう簡単で、 8倍する前の PWM値を単純に 8個ずつ足していけばOKです。これで -128〜+120範囲の 振幅値が得られます。
理想的には加算する 8個の振幅値は高々2種類になる筈ですが、自作の変換ソフトの バグで為に境界がずれて3〜4種類になることがあります。
境界がずれるのは PWM値'0'（8倍バイナリでは 00h/パルスなし） と'-16'（同80h/ 信号が Hになりっぱなし）が連続して発生するときにパルス数(1/128kHz換算での) 計算が不正確なためです（観測したパルス周期が理想値 62.5から 1ずれてるだけ でも 1/128kHz x 60数発続いたらパルス一つ分丸々の誤差が出る）。
'0'と '-16'以外の振幅値は必ず 1/128kHz 7.8μs以内のパルスになるのでカウントミスは 発生しません。
16kHz以外のデータの存在と、本当の音声データの再生周波数
上記のように全ての音声データが 再生周波数=16kHzだと判断して一旦本htmlを編集したのですが、 最終確認で各音声データのバイナリデータを眺めていると、切り替わり周期が 8になっていないものが 見つかりました。
-
というか、実は例題以外は全部 8以外でした。
この、DACへの入力の切り替わり周期が本当の音声データの再生（サンプリング）周波数になります。
そこで、統計処理で切り替わり周期を求めるプログラム（PWM出力振幅値が現在値より '±2' 以上(8倍バイナリでは 10h以上)変化したら、そこは確実に境界 と分かる）を新たに作って、 手持ちのサウンドロップ 3つを（ジャンパ切り替え も使用）を全部調べ直しました。
追試の為、7/5(木)に ルパンシリーズをゲットして来て、合計4個になりました。
