Come Loquela sta costruendo la digitazione vocale locale in tempo reale e in due passaggi
Il passaggio di Loquela dalla sola dettatura offline batch ai risultati parziali locali in tempo reale, con un secondo passaggio facoltativo per la precisione finale.
La digitazione vocale locale di Loquela ha sempre privilegiato un confine semplice: scaricare un modello, registrare solo quando l'utente avvia la dettatura, riconoscere sul telefono e inserire il testo nel campo Android attivo.
Fino alla v0.15 tutti i modelli locali seguivano lo stesso ritmo. Loquela raccoglieva l'enunciato, attendeva Stop e consegnava l'intera registrazione a un riconoscitore offline. È il riconoscimento batch: funziona con tutti i modelli locali attualmente elencati, ma non può mostrare autentico testo locale mentre si parla.
La versione 0.15 cambia questa base. Loquela può eseguire piani Batch, Streaming o Two-pass nella stessa esperienza di tastiera, senza fingere che un modello svolga tutti e tre i compiti.
La versione 0.15.1 compie il passo successivo, volutamente più pubblico: i beta tester possono installare il primo vero modello locale in tempo reale e scegliere i tre comportamenti. L'app li chiama Batch, Sequential e Both. “Streaming” e “two-pass” restano utili termini tecnici, ma le impostazioni descrivono l'esperienza effettiva.
Tre modalità, tre promesse chiare
Batch attende Stop e chiede la trascrizione a un modello offline. Resta la modalità predefinita e supporta il catalogo consolidato di Loquela.
Sequential esegue Nemotron mentre arriva il parlato. Le parole appaiono in sequenza come testo in composizione sostituibile: l'ipotesi può migliorare senza lasciare frammenti duplicati nell'editor.
Both esegue prima Sequential, poi invia l'intero enunciato a un modello batch separato. Il secondo risultato è autorevole solo finché il testo provvisorio può essere sostituito in sicurezza. Se l'utente sposta il cursore, modifica, invia o lascia il campo, Loquela non deve sovrascrivere il suo lavoro con una correzione tardiva.
Sono scelte dell'utente, non ripieghi silenziosi. Se Nemotron manca, Sequential e Both restano visibilmente selezionati e spiegano che va installato. L'app collega direttamente Voice Models invece di tornare di nascosto a Batch.
Batch non scompare
Il riconoscimento batch può esaminare l'intero enunciato prima di rispondere. È utile se una frase iniziale è ambigua o se il modello beneficia di ciò che viene detto dopo.
Ha anche requisiti temporali più tolleranti. Se un telefono impiega diversi secondi dopo Stop per elaborare un lungo enunciato, il risultato può sembrare lento, ma il riconoscitore non accumula una coda crescente mentre la persona continua a parlare.
Loquela mantiene quindi il percorso batch e ogni modello installato compatibile. La nuova architettura aggiunge strategie, senza sostituire una strada collaudata con un unico riconoscitore di moda.
Cosa cambia con Streaming
Un modello streaming nativo riceve piccoli blocchi durante il parlato. Mantiene uno stato di riconoscimento in cache tra i blocchi e può rivedere l'ipotesi all'arrivo di altro audio.
Su Android queste parole parziali appartengono al testo in composizione. È provvisorio: la tastiera può sostituirlo senza inserire una scia di frammenti duplicati. Loquela usa già questo contratto per la trascrizione Remote facoltativa in tempo reale. La versione 0.15 porta la capacità nel processo locale isolato.
Il microfono resta sul lato tastiera del confine tra processi. Una connessione audio duratura porta campioni ordinati al riconoscitore; i callback restituiscono parziali aggiornati, eventi di fine enunciato, trascrizione finale o categorie di errore prive di contenuti. Si evita così una chiamata IPC per ogni frame audio, conservando l'isolamento dai crash dei modelli locali.
Streaming non è automaticamente meno contestuale di Batch: conserva il parlato precedente nello stato in cache. La differenza è che non può sentire parole future prima di mostrare l'ipotesi corrente. I parziali devono quindi restare provvisori sia visivamente sia tecnicamente.
Cosa aggiunge Two-pass
Two-pass combina i due ritmi:
- Un pacchetto streaming produce subito testo locale mentre l'utente parla.
- Loquela conserva l'audio dell'enunciato per la sessione attiva.
- Dopo Stop, un pacchetto batch separato riceve l'intero enunciato.
- Il risultato finale sostituisce o completa il testo in composizione ancora modificabile in sicurezza.
Il secondo passaggio non è una riscrittura generale con IA. Il compito resta trascrivere: recuperare le parole con un modello che considera tutto l'enunciato. Loquela non inserisce un generatore di prosa che cambi silenziosamente tono, intento o paternità.
Two-pass non è neppure una proprietà memorizzata in uno dei modelli. Il pacchetto streaming resta streaming, quello batch resta batch. La modalità utente crea una coppia compatibile e ne rende visibile il costo.
La separazione conta perché due passaggi possono costare molto. Due archivi occupano più spazio. Tenere entrambi i riconoscitori residenti può accelerare la correzione finale ma aumenta il picco di memoria. Caricare il modello finale solo dopo Stop riduce la sovrapposizione ma aggiunge latenza a freddo. Un modello batch leggero può stare comodamente in memoria senza migliorare uno streaming molto più grande; un finalizzatore più forte può creare la coppia più costosa.
La funzione merita di essere promossa solo se il vantaggio di correzione è significativo su enunciati e telefoni reali.
La scelta del secondo modello presenta una tensione utile. Un finalizzatore piccolo è facile da tenere residente, ma potrebbe non migliorare abbastanza uno streaming da 600 milioni di parametri da giustificare un'altra decodifica. Un modello più grande come Whisper Turbo ha più probabilità di correggere bene, ma abbinarne archivio e memoria runtime a Nemotron è il caso costoso. Sono le misure beta, non l'esistenza dell'architettura, a decidere se una coppia merita una raccomandazione.
Perché Nemotron è il primo serio candidato streaming
Loquela sta valutando Nemotron 3.5 ASR Streaming 0.6B di NVIDIA tramite il riconoscitore online sherpa-onnx compatibile con Android.
I pesi NVIDIA sono stati addestrati nell'ecosistema NeMo, ma Loquela non incorpora il runtime Python NVIDIA né richiede CUDA. Sherpa-onnx esporta il modello in ONNX e lo esegue nella stessa famiglia di runtime nativi Android già usata da Loquela.
Nemotron è un FastConformer-RNNT da 600 milioni di parametri progettato per la cache. NVIDIA pubblica cinque configurazioni di latenza da 80 ms a 1120 ms. Loquela parte da 560 ms come punto intermedio plausibile tra parziali precoci e qualità, non perché un benchmark desktop ne provi l'adeguatezza al telefono.
La scheda distingue 19 varianti linguistiche pronte alla trascrizione, 13 a copertura ampia e 8 pronte all'adattamento ma bisognose di ulteriore addestramento. Loquela esporrà solo le 32 pronte o ampiamente coperte, salvo nuove evidenze. L'inglese è predefinito perché i risultati a 560 ms mostrano una perdita misurabile di precisione inglese con il rilevamento automatico. Auto resta disponibile quando il riconoscimento multilingue è un compromesso deliberato.
Decide il telefono, non il diagramma architetturale
Un riconoscitore locale streaming deve elaborare più rapidamente dell'audio in arrivo. Un fattore tempo reale di 1.0 è solo pareggio, senza margine per calore, app in primo piano occupate o normali picchi di pianificazione. L'obiettivo di promozione Loquela è un fattore sostenuto pari o inferiore a 0.5, con prove che la coda audio non cresca durante sessioni ripetute a dispositivo caldo.
La validazione separa tre tempi:
- La preparazione a freddo misura il caricamento di modello e runtime nativo.
- Il tempo a caldo dalla voce al primo parziale misura quanto presto compaia testo utile dopo che il riconoscitore è pronto.
- Il tempo da Stop al risultato finale misura l'attesa al termine dell'enunciato.
La velocità è solo un requisito. Telefoni fisici di fascia bassa, media e alta devono mostrare memoria nativa stabile tra sessioni, recupero dopo la morte del processo, comportamento sicuro in editor comuni e insoliti, senza perdita o duplicazione di testo.
La batteria è misurata come costo assoluto, non solo rispetto a Batch. Il dato utile è l'energia per enunciato tipico più il costo giornaliero proiettato a un volume di dettatura dichiarato. Il rallentamento termico è un problema di correttezza distinto, perché può violare direttamente le garanzie di tempo reale e coda.
Se 560 ms manca di poco l'obiettivo in una fascia, Loquela può misurare 1120 ms prima di rinunciarvi. Offre maggiore anticipazione e meno chiamate al riconoscitore, ma occorre misurare se il guadagno di throughput giustifica la latenza aggiunta ai parziali.
Il problema sul telefono fisico che ha cambiato v0.15.1
Il primo test della v0.15.0 installata da Play su OnePlus ha trovato un problema invisibile ai normali test JVM e a una build riuscita. Ogni modello locale segnalava audio trasferito incompletamente. I log Android mostravano che la pipe affidabile tramite descrittore di file dichiarava terminata l'estremità remota prima che il riconoscitore isolato ricevesse il numero previsto di campioni.
Loquela non ha indebolito il controllo d'integrità. La versione 0.15.1 usa una pipe Android ordinaria, mantenendo separati conteggio atteso dei campioni e segnale esplicito di fine. Un test strumentato scrive ora campioni float reali nello stesso protocollo, legge fino a EOF pulito e verifica la sequenza esatta su hardware fisico.
La distinzione conta: compilare prova la compatibilità delle API, e un test di array di byte la logica di framing, ma nessuno prova i descrittori Android attraverso il vero confine di processo. La beta ha trovato un errore di integrazione della piattaforma; la regressione ora verifica direttamente quel livello.
Cosa rende disponibile v0.15.1
Il pacchetto Nemotron 560 ms è elencato per l'installazione beta. Sequential e Both sono sempre visibili nelle impostazioni vocali, con invito alla configurazione se Nemotron manca. Una selezione eliminata o danneggiata resta selezionata ma chiaramente da riparare; Loquela non cambia la modalità in silenzio.
Moonshine v2 Tiny e Base entrano nel catalogo beta come modelli batch inglesi molto più piccoli. Tiny scende da circa 108 MB a 30 MB, Base da circa 251 MB a 111 MB. I vecchi pacchetti restano utilizzabili per le installazioni esistenti, ma non sono più offerti per nuove installazioni e indicano i sostituti.
Moonshine v2 esercita una parte diversa della base rispetto a Nemotron. Il layout del decoder unificato .ort richiede profilo runtime esplicito, individuazione, convalida, recupero e configurazione offline. Nemotron riutilizza i ruoli noti di encoder, decoder, joiner e token, ma i file devono essere aperti dalla nuova strategia online. La sola forma dei file non deve mai decidere come eseguire un modello.
Cosa dovrebbero provare i beta tester
I test Sequential utili non sono solo frasi demo pulite. Provate comandi brevi, dettatura lunga, nomi, termini tecnici, pause, sessioni ripetute a caldo ed editor che manipolano aggressivamente il testo in composizione. Osservate ritardo crescente, parole ripetute o mancanti, sostituzioni pericolose dopo modifiche e comportamento cambiando app.
Per Both, confrontate il risultato finale con l'ipotesi Sequential visibile. Un secondo passaggio che cambia solo punteggiatura o provoca continui rimaneggiamenti non giustifica il costo. Conta eliminare affidabilmente errori che altrimenti richiederebbero correzioni manuali.
Chi usa Parakeet e perde l'ultima parola o frase può provare il nuovo test beta della coda del decoder. Aggiunge silenzio controllato dopo l'enunciato, fornendo contesto finale al trasduttore senza confondere il precedente bug di trasferimento con il comportamento del decoder. Il valore predefinito resta zero finché confronti reali non ne individuano uno migliore.
Il collegamento feedback in Settings segue la stessa filosofia beta: richieste, bug e osservazioni devono essere a un tocco dalle impostazioni generali, non nascosti in un sottomenu specifico.
La privacy resta esplicita e specifica per modalità
Batch, Streaming e Two-pass locali mantengono l'audio sul dispositivo. L'audio di sessione serve al piano attivo, senza diventare registrazione persistente. Two-pass lo conserva solo per il tempo necessario alla decodifica finale richiesta.
La trascrizione Remote facoltativa resta una modalità di rete separata, con propri confini di account e privacy. La diagnostica conserva informazioni limitate sugli errori, prive di contenuti, non testo dettato o audio.
L'obiettivo non è soltanto mostrare testo prima. È rendere possibile la dettatura privata in tempo reale senza ridurre la precisione finale, nascondere i costi di calcolo o togliere controllo a chi scrive.
Vedi le note v0.15.1, i Modelli vocali e la Privacy per i limiti attuali del prodotto.