Loquela
Recherche

Comment Loquela développe la saisie vocale locale en direct et en deux passes

Les coulisses du passage de la dictée hors ligne par lots au texte local en direct, avec une seconde passe facultative pour la précision finale.

10 min de lectureRecherche vérifiée 2026-08-13

La saisie vocale locale de Loquela a toujours privilégié une limite simple : télécharger un modèle, enregistrer seulement lorsque la personne lance la dictée, reconnaître sur le téléphone et insérer le texte dans le champ Android actif.

Jusqu'à v0.15, tous les modèles locaux suivaient le même rythme. Loquela recueillait l'énoncé, attendait Stop, puis transmettait l'enregistrement entier au moteur hors ligne. C'est la reconnaissance par lots : compatible avec tous les modèles locaux actuellement répertoriés, mais incapable d'afficher du véritable texte local pendant la parole.

La version 0.15 modifie cette base. Loquela peut exécuter des plans Batch, Streaming ou Two-pass dans la même expérience de clavier, sans prétendre qu'un modèle remplit les trois rôles.

La version 0.15.1 franchit l'étape suivante, volontairement plus publique : les testeurs peuvent installer le premier véritable modèle local en direct et choisir les trois comportements. L'application les appelle Batch, Sequential et Both. « Streaming » et « two-pass » restent utiles en ingénierie, mais les réglages décrivent l'expérience vécue.

Trois modes, trois engagements clairs

Batch attend Stop avant de demander la transcription à un modèle hors ligne. Il reste le mode par défaut et conserve le catalogue établi de Loquela.

Sequential exécute Nemotron à mesure que la parole arrive. Les mots apparaissent successivement comme texte en composition remplaçable : l'hypothèse peut s'améliorer sans laisser de fragments en double dans l'éditeur.

Both exécute Sequential, puis confie l'énoncé complet à un modèle par lots distinct. Le second résultat ne fait autorité que si le texte provisoire peut encore être remplacé sans risque. Si la personne déplace le curseur, modifie le texte, envoie le message ou quitte le champ, Loquela ne doit pas écraser son travail par une correction tardive.

Ce sont des choix, pas des replis silencieux. Sans Nemotron, Sequential et Both restent visiblement sélectionnés et indiquent qu'il faut installer le modèle. L'application renvoie directement à Voice Models au lieu de revenir discrètement à Batch.

Batch ne disparaît pas

La reconnaissance par lots examine tout l'énoncé avant de répondre. C'est précieux lorsqu'une première expression est ambiguë ou que la suite de la phrase aide le modèle.

Elle tolère aussi mieux un calcul lent. Si un téléphone prend plusieurs secondes après Stop pour traiter une longue phrase, le résultat semble lent, mais le moteur n'accumule pas une file d'attente croissante pendant que la personne continue de parler.

Loquela conserve donc son parcours par lots et tous les modèles installés compatibles. La nouvelle architecture ajoute des stratégies ; elle ne remplace pas une voie éprouvée par un unique moteur à la mode.

Ce que change Streaming

Un modèle natif de streaming reçoit de petits blocs pendant la parole. Il conserve un état de reconnaissance en cache entre les blocs et révise son hypothèse à mesure que l'audio arrive.

Sur Android, ces mots partiels appartiennent au texte en composition. Provisoire, il peut être remplacé sans valider une traînée de fragments en double. Loquela utilise déjà ce contrat pour la transcription Remote facultative en temps réel. La version 0.15 apporte cette capacité au processus local isolé.

Le microphone reste du côté du clavier dans la séparation des processus. Une connexion audio durable transporte les échantillons ordonnés au moteur ; des rappels renvoient les résultats partiels modifiés, événements de fin d'énoncé, transcription finale ou catégorie d'échec sans contenu. Cela évite un appel IPC par trame audio et préserve l'isolation des plantages des modèles locaux.

Streaming n'est pas automatiquement moins contextuel que Batch : il conserve la parole passée dans son cache. La différence est qu'il ne peut pas entendre les mots futurs avant d'afficher son hypothèse. Les résultats partiels doivent donc rester provisoires, visuellement comme techniquement.

Ce qu'ajoute Two-pass

Two-pass combine les deux rythmes :

  1. Un paquet de streaming produit immédiatement du texte local pendant la parole.
  2. Loquela conserve l'audio de l'énoncé pour la session active.
  3. Après Stop, un paquet par lots distinct reçoit l'énoncé complet.
  4. Le résultat final remplace ou complète le texte en composition encore modifiable sans risque.

La seconde passe n'est pas une réécriture générale par IA. Elle transcrit toujours : retrouver les paroles avec un modèle pouvant considérer l'énoncé entier. Loquela n'insère pas de générateur de prose modifiant silencieusement ton, intention ou paternité.

Two-pass n'est pas non plus une propriété de l'un des modèles. Un paquet de streaming reste tel quel, comme un paquet par lots. Le mode destiné à l'utilisateur forme une paire compatible et rend son coût visible.

La séparation compte, car deux passes peuvent coûter cher. Deux archives occupent plus de stockage. Garder les deux moteurs en mémoire accélère potentiellement la correction finale mais augmente le pic mémoire. Charger le finaliseur après Stop réduit le chevauchement mais ajoute un démarrage à froid. Un petit modèle par lots peut tenir facilement sans améliorer un modèle de streaming bien plus grand ; un finaliseur plus puissant peut former la paire la plus coûteuse.

La fonction ne mérite d'être mise en avant que si la correction est réellement utile sur de vrais énoncés et téléphones.

Le choix du second modèle crée une tension utile. Un petit finaliseur est plus facile à garder en mémoire, mais peut trop peu améliorer un modèle de streaming de 600 millions de paramètres pour justifier un second décodage. Un modèle comme Whisper Turbo a davantage de chances d'apporter des corrections utiles, mais associer son archive et sa mémoire d'exécution à Nemotron est coûteux. Les mesures bêta, pas l'existence de l'architecture, décident d'une recommandation.

Pourquoi Nemotron est le premier candidat sérieux au streaming

Loquela évalue le Nemotron 3.5 ASR Streaming 0.6B de NVIDIA via le moteur de reconnaissance en flux sherpa-onnx compatible Android.

Les poids NVIDIA ont été entraînés dans NeMo, mais Loquela n'intègre pas l'environnement Python de NVIDIA et n'exige pas CUDA. Sherpa-onnx exporte le modèle en ONNX et l'exécute dans la même famille de moteurs natifs Android déjà utilisée par Loquela.

Nemotron est un modèle FastConformer-RNNT de 600 millions de paramètres conçu pour le cache. NVIDIA publie cinq configurations de latence, de 80 ms à 1120 ms. Loquela commence par 560 ms, compromis plausible entre premiers résultats et qualité, et non parce qu'un benchmark sur ordinateur prouverait son adéquation au téléphone.

La fiche distingue 19 variantes linguistiques prêtes pour la transcription, 13 à couverture large et 8 prêtes à être adaptées mais nécessitant un affinage supplémentaire. Loquela n'exposera que les 32 premières, sauf preuves ultérieures. L'anglais est choisi par défaut car les résultats publiés à 560 ms montrent une pénalité mesurable de précision en anglais avec la détection automatique. Auto reste disponible lorsque cette détection multilingue est un compromis délibéré.

Le téléphone décide, pas le schéma d'architecture

Un moteur local en flux doit aller plus vite que l'audio entrant. Un facteur temps réel de 1.0 ne fait qu'équilibrer la charge, sans marge pour un téléphone chaud, une application occupée ou les variations normales d'ordonnancement. La cible de promotion de Loquela est un facteur soutenu inférieur ou égal à 0.5, avec preuve que la file audio ne grossit pas au fil de sessions répétées sur téléphone échauffé.

La validation distingue trois durées :

  • La préparation à froid mesure le chargement du modèle et du moteur natif.
  • Le délai à chaud entre parole et premier résultat partiel mesure l'apparition de texte utile une fois le moteur prêt.
  • Le délai entre Stop et résultat final mesure l'attente après l'énoncé.

La vitesse n'est qu'un critère. Les téléphones physiques d'entrée, de milieu et de haut de gamme doivent aussi montrer une mémoire native stable sur plusieurs sessions, la récupération après arrêt du processus, un comportement sûr dans des éditeurs ordinaires ou atypiques, sans texte perdu ni dupliqué.

La batterie est mesurée comme coût absolu, pas seulement par rapport à Batch. La mesure utile est l'énergie par énoncé typique et le coût quotidien projeté pour un volume de dictée indiqué. La limitation thermique est aussi un enjeu de correction : elle peut casser directement les garanties de temps réel et de file d'attente.

Si 560 ms échoue de peu sur une catégorie, Loquela peut mesurer le paquet 1120 ms avant d'y renoncer. Il offre plus d'anticipation et moins d'appels au moteur, mais il faut mesurer si son débit justifie la latence partielle accrue, pas le supposer.

L'échec sur téléphone qui a changé v0.15.1

Le premier essai de v0.15.0 installée depuis Play sur un OnePlus a révélé un défaut invisible aux tests JVM et à une compilation réussie. Tous les modèles locaux signalaient un transfert audio incomplet. Les journaux Android montraient que le canal fiable par descripteur de fichier déclarait l'autre extrémité morte avant réception du nombre attendu d'échantillons par le moteur isolé.

Loquela n'a pas affaibli le contrôle d'intégrité. La version 0.15.1 utilise un canal Android ordinaire tout en conservant le nombre attendu d'échantillons séparé et un signal explicite de fin. Un test d'instrumentation écrit désormais de vrais échantillons float par ce même protocole, les lit jusqu'à une fin de fichier propre et vérifie la séquence exacte sur matériel physique.

La nuance compte : compiler prouve la cohérence des API et un test de tableau d'octets prouve le découpage, mais ni l'un ni l'autre ne prouve le comportement des descripteurs Android entre les processus réels. La bêta a révélé un défaut d'intégration de plateforme ; le test de régression cible maintenant cette couche.

Ce que v0.15.1 rend disponible

Le paquet Nemotron 560 ms est proposé en bêta. Sequential et Both sont toujours visibles dans les réglages vocaux, avec une invitation à installer Nemotron s'il manque. Une sélection supprimée ou endommagée reste choisie mais clairement à réparer ; Loquela ne change pas discrètement le mode.

Moonshine v2 Tiny et Base entrent aussi au catalogue bêta comme modèles anglais par lots bien plus petits. Tiny passe d'environ 108 MB à 30 MB ; Base d'environ 251 MB à 111 MB. Les anciens paquets restent utilisables pour les installations existantes, mais ne sont plus proposés aux nouvelles et renvoient vers leurs remplaçants.

Moonshine v2 sollicite une autre partie des fondations que Nemotron. Son décodeur fusionné .ort exige profil d'exécution explicite, découverte, validation, récupération et configuration hors ligne. Nemotron reprend les rôles connus d'encodeur, décodeur, joiner et jetons, mais ces fichiers doivent être ouverts par la nouvelle stratégie de reconnaissance en flux. Leur forme seule ne doit jamais décider de l'exécution.

Ce que les testeurs devraient essayer

Les essais Sequential utiles ne se limitent pas à des phrases de démonstration nettes. Essayez commandes courtes, longues dictées, noms, termes techniques, pauses, sessions répétées à chaud et éditeurs manipulant fortement le texte en composition. Surveillez retard croissant, mots répétés ou absents, remplacement dangereux après modification et comportement au changement d'application.

Pour Both, comparez le résultat final à l'hypothèse Sequential visible. Une seconde passe qui ne change que la ponctuation ou remue inutilement le texte ne justifie pas son coût. Le signal important est l'élimination fiable d'erreurs nécessitant sinon une correction manuelle.

Les utilisateurs Parakeet perdant le dernier mot ou la dernière phrase peuvent essayer le nouveau test bêta de fin de décodage. Il ajoute un silence contrôlé après l'énoncé pour donner davantage de contexte final au transducteur, sans confondre l'ancien défaut de transfert audio et le comportement du décodeur. La valeur par défaut reste zéro en attendant de vraies comparaisons.

Le raccourci de commentaires dans Settings suit la même philosophie : demandes de fonctions, signalements et observations doivent être à un appui des réglages généraux, pas cachés dans un sous-menu spécialisé.

La confidentialité reste explicite et propre à chaque mode

Batch, Streaming et Two-pass locaux gardent l'audio sur l'appareil. L'audio de session sert au plan actif, sans devenir un enregistrement persistant. Two-pass ne le conserve que le temps du décodage final demandé.

La transcription Remote facultative reste un mode réseau distinct, avec ses propres limites de compte et de confidentialité. Les diagnostics conservent des informations d'échec bornées et sans contenu, plutôt que du texte dicté ou de l'audio.

Le but n'est pas seulement d'afficher le texte plus tôt. Il est de rendre possible la dictée privée en direct sans réduire la précision finale, cacher les coûts de calcul ou retirer le contrôle à la personne qui écrit.

Consultez les notes v0.15.1, les Modèles vocaux et la Confidentialité pour les limites actuelles.