Loquelaがライブおよび2パスの端末内音声入力を構築する方法
バッチ専用のオフライン音声入力から、端末内のライブ途中結果と最終精度を高める任意の第2パスへ移行するLoquelaの内側を紹介します。
Loquelaの端末内音声入力は、常に単純なプライバシー境界を重視してきました。音声モデルをダウンロードし、利用者が音声入力を開始したときだけ録音し、端末上で認識を実行し、得られたテキストを使用中のAndroid欄へ入力します。
v0.15までは、すべての端末内モデルが同じ時間方式を使っていました。Loquelaが発話を集め、Stopを待ち、録音全体をオフライン認識器へ渡します。これがバッチ認識です。現在Loquelaが掲載するすべての端末内モデルで動作しますが、利用者がまだ話している間に本物の端末内テキストを表示できません。
バージョン0.15はこの基盤を変えます。1つのモデルですべてできると装うことなく、同じキーボード体験の裏でBatch、Streaming、Two-passの認識プランを実行できます。
バージョン0.15.1は、意図的により公開された次の段階です。ベータテスターは、初の本格的なライブ端末内モデルをインストールし、3つの動作を自分で選べます。アプリではBatch、Sequential、Bothと呼びます。「Streaming」と「two-pass」は技術用語として有用ですが、設定では利用者が実際に体験する動作を表します。
3つのモード、3つの明確な約束
BatchはStopまで待ち、1つのオフラインモデルに文字起こしを依頼します。既定のままで、これまでのLoquelaモデルカタログに対応し続けます。
Sequentialは音声が届く間にNemotronを動かします。単語は置き換え可能な入力中テキストとして順に表示されるため、エディターに重複断片を残さず現在の仮説を改善できます。
Bothは先にSequentialを動かし、発話全体を別のバッチモデルへ渡します。途中テキストを安全に置き換えられる間だけ、第2の結果を正式なものとして扱います。利用者がカーソルを移動し、テキストを編集し、メッセージを送り、または欄を離れた場合、Loquelaは遅れて届いた修正を作業の上に適用しません。
これは利用者の選択であり、無断のフォールバックではありません。Nemotronがない場合もSequentialとBothは選択状態のまま表示し、モデルのインストールが必要と説明します。密かにBatchへ戻さず、Voice Modelsへ直接案内します。
Batchはなくならない
Batch認識は回答を作る前に発話全体を確認できます。冒頭の句が曖昧な場合や、文の後半を聞くとモデルの判断が良くなる場合に有用です。
計算の余裕もあります。Stop後に長い発話を処理するのに数秒必要なら遅く感じますが、話し続ける間にライブ処理の待ち行列が増え続けることはありません。
そのためLoquelaは既存のバッチ認識経路と、互換性のあるインストール済みモデルをすべて維持します。新しい構造は戦略を追加するもので、実績ある経路を流行の認識器1つで置き換えるものではありません。
Streamingが変えること
ネイティブのストリーミングモデルは、発話中に小さなまとまりを受け取ります。まとまりの間で認識状態を保持し、音声が増えると現在の仮説を修正できます。
Androidでは、途中の単語は入力中テキストに置くべきです。これは暫定的なので、キーボードは重複断片を次々に確定せず置き換えられます。Loquelaは任意のRemoteリアルタイム文字起こしですでにこの契約を使っています。バージョン0.15では、分離された端末内認識プロセスにも同じ機能を導入しました。
マイクはプロセス境界のキーボード側に残ります。1つの長時間接続が順序どおりの音声サンプルを認識器へ送り、コールバックが変更された途中結果、終端イベント、最終文字起こし、または内容を含まない失敗分類を返します。音声フレームごとの個別IPC呼び出しを避け、既存の端末内モデル用クラッシュ隔離を維持します。
Streamingは必ずしもbatchより文脈が少ないわけではありません。すでに話された内容を状態に保持します。違いは、現在の推測を表示する前に未来の単語を聞けないことです。だから途中結果は見た目でも技術的にも暫定でなければなりません。
Two-passが加えること
Two-passは2つの時間方式を組み合わせます。
- 利用者の発話中にストリーミングパッケージが即時の端末内テキストを作ります。
- Loquelaは進行中セッションの発話音声を保持します。
- Stop後、別のバッチパッケージが発話全体を受け取ります。
- 最終結果が、安全なままの入力中テキストを置き換えるか完成させます。
第2パスは汎用AI書き換えではありません。仕事はあくまで文字起こしで、発話全体を考慮できるモデルによって実際の発言を復元します。Loquelaは口調、意図、書き手を無断で変える文章生成器を挿入しません。
Two-passはどちらかのモデルに保存される属性でもありません。ストリーミングパッケージはそのままストリーミング、バッチパッケージはそのままバッチです。利用者向けモードが互換性のある組を作り、コストを見えるようにします。
この分離は重要です。2パスは高コストになり得ます。2つのモデルアーカイブは保存容量を多く使います。両方の認識器をメモリに置けば最終修正は速くなりますが、ピークメモリが増えます。Stop後にだけ最終モデルを読み込めば重なりは減りますが、初回遅延が増えます。軽量バッチモデルは無理なく動いても、大型ストリーミングモデルを十分改善しない場合があります。強力な確定モデルが最も高価な組み合わせになることもあります。
実際の発話と端末で修正効果に意味がある場合にだけ昇格します。
第2モデルの選択には有益な緊張関係があります。小型の確定モデルは常駐しやすい一方、6億パラメーターのストリーミングモデルを第2デコードに見合うほど改善しない場合があります。Whisper Turboのような大型モデルは有用な修正をしやすいものの、そのアーカイブと実行メモリをNemotronと組み合わせるのが高コストなケースです。構造が存在するという理由ではなく、ベータ測定がどの組み合わせを勧めるべきか決めます。
Nemotronが最初の本格的なストリーミング候補である理由
Loquelaは、sherpa-onnxのAndroid対応オンライン認識器を通じて、NVIDIAのNemotron 3.5 ASR Streaming 0.6Bを評価しています。
NVIDIAの重みはNeMo環境で学習されていますが、LoquelaはNVIDIAのPython runtimeを組み込まず、CUDAも必要としません。Sherpa-onnxがモデルをONNXへ書き出し、Loquelaが端末内音声モデルですでに使うAndroidネイティブruntime群で実行します。
Nemotronは6億パラメーターのキャッシュ対応FastConformer-RNNTモデルです。NVIDIAは80 msから1120 msまで5つの遅延構成を公開しています。Loquelaは560 msパッケージから始めます。早い途中結果と認識品質の妥当な中間点だからであり、デスクトップのベンチマークが端末への適合を証明したからではありません。
モデルカードは、文字起こし対応済み19ロケール、広範囲対応13ロケール、追加学習が必要な適応対応8ロケールを区別しています。今後の証拠がない限り、Loquelaが表示するのは対応済みまたは広範囲対応の32ロケールだけです。公開された560 msの結果では自動言語検出による英語精度の低下があるため、英語を既定にします。多言語検出を意図的なトレードオフとして選ぶ場合はAutoも使えます。
構造図ではなく端末が決める
端末内ストリーミング認識器は、到着する音声より先に処理を進める必要があります。リアルタイム係数1.0は損益分岐にすぎず、温まった端末、負荷の高い前面アプリ、通常のスケジューリング変動の余裕がありません。Loquelaの昇格目標は、持続的なリアルタイム係数0.5以下と、熱が蓄積した反復セッションでも音声待ち行列が増えない証拠です。
検証では3つの時間を分けます。
- Cold preparationはモデルとネイティブruntimeの読み込み時間を測ります。
- Warm speech-to-first-partialは、認識器の準備後に有用なライブテキストが出る速さを測ります。
- Stop-to-finalは、発話終了後に利用者が待つ時間を測ります。
速度は条件の1つにすぎません。実際の低性能、中性能、高性能端末で、反復セッション中の安定したネイティブメモリ、プロセス終了後の復旧、通常および特殊なAndroidエディターでの安全な動作、テキストの欠落や重複がないことも確認する必要があります。
バッテリーはbatchとの比率だけでなく、絶対的な製品コストとして測ります。有用な値は、一般的な発話1回のエネルギーと、明示した音声入力量での1日予測コストです。熱による速度低下は、リアルタイム性と待ち行列の保証を直接破るため、別の正しさの問題です。
560 msがある性能帯でわずかに届かない場合、Loquelaはその帯を諦める前に1120 msパッケージを測定できます。先読みが増え、認識器の呼び出し回数が減りますが、途中結果の遅延増加に見合うほど端末処理量が改善するかは推測せず測定します。
v0.15.1を変えた実機の失敗
OnePlus端末でPlayからインストールしたv0.15.0を初めて試したところ、通常のJVMテストやビルド成功では見つからない失敗が発生しました。すべての端末内モデルが、音声データが完全に転送されていないと報告しました。Androidログでは、分離された認識器が予定サンプル数を受け取る前に、信頼性付きファイル記述子パイプが接続先の終了を報告していました。
Loquelaは整合性検査を弱めませんでした。バージョン0.15.1では転送を通常のAndroidパイプに変更し、別の予定サンプル数と明示的な完了信号を維持しました。Android instrumentationテストは、同じパイプ手順で実際のfloatサンプルを書き込み、正常なEOFまで読み、実機で正確な順序を確認します。
この区別は重要です。コンパイルはAPIが一致すること、byte-array単体テストはフレーム処理が正しいことを証明しますが、実際のプロセス境界をまたぐAndroidファイル記述子の動作はどちらも証明しません。ベータがプラットフォーム統合の失敗を見つけ、回帰テストはその層を直接対象にしました。
v0.15.1で利用可能になるもの
Nemotronの560 msパッケージをベータインストール向けに掲載します。音声設定ではSequentialとBothを常に表示し、Nemotronがない場合はセットアップ案内を出します。削除または破損した選択は選択状態のまま修復が必要と表示し、Loquelaが認識モードを無断で入れ替えることはありません。
Moonshine v2 TinyとBaseも、大幅に小さい英語バッチモデルとしてベータカタログに入ります。Tinyは旧パッケージの約108 MBから約30 MBへ、Baseは約251 MBから約111 MBへ縮小します。旧パッケージは既存インストールで使えますが、新規提供を終了し、代替品へ案内します。
Moonshine v2はNemotronとは異なる基盤部分を試します。結合デコーダーの.ort構成には、明示的なruntime profile、検出、検証、復旧、オフライン設定対応が必要です。Nemotronは慣れたencoder、decoder、joiner、tokenのファイル役割を再利用しますが、新しいオンライン認識戦略がそれらを開く必要があります。ファイル形状だけでモデルの実行方法を決めてはいけません。
ベータテスターに試してほしいこと
Sequentialで最も役立つのは、きれいなデモ文だけではありません。短い命令、長い音声入力、名前、専門用語、間、温まった状態での反復、入力中テキストを積極的に操作するエディターを試してください。遅延の増加、単語の重複や欠落、編集後の危険な置き換え、アプリ切り替え後の動作を確認してください。
Bothでは、最終結果を表示中のSequential仮説と比較してください。第2パスが句読点だけを変えたり、無用な揺れを生んだりするなら追加コストに見合いません。手作業で直すはずの誤りを安定して除けるかが重要です。
末尾の単語や文が消えるParakeet利用者は、新しいdecoder-tailベータテストを使えます。取得した発話後に制御された無音を足し、以前の音声転送不具合とデコーダー動作を同じ問題と扱うことなく、transducerへ追加の末尾文脈を与えます。実測比較でより良い値が分かるまで既定値は0です。
Settingsのフィードバックショートカットも同じベータ思想です。機能要望、不具合報告、その他の観察は、製品固有のサブメニューに隠さず、一般設定から1回のタップで届くべきです。
プライバシーはモードごとに明示される
Batch、Streaming、Two-passの端末内認識は、音声を端末上に保ちます。セッション音声は永続録音として保存せず、進行中の認識プランに使います。Two-passは依頼された最終デコードに必要な時間だけ保持します。
任意のRemote文字起こしは、独自のアカウントとプライバシー境界を持つ別のネットワークモードです。診断保持は、発話テキストや音声ではなく、上限付きで内容を含まない失敗情報を保存します。
目標はテキストを早く出すだけではありません。最終精度を弱めず、計算コストを隠さず、入力する本人から制御を奪わずに、ライブで非公開の音声入力を可能にすることです。
現在の製品境界は、v0.15.1パッチノート、Voice Models、プライバシーをご覧ください。