Loquela
Pesquisa

Como o Loquela está desenvolvendo digitação por voz local ao vivo e em duas etapas

Por dentro da evolução do ditado offline em lote para texto parcial local ao vivo e uma segunda etapa opcional para melhorar a precisão final.

10 min de leituraPesquisa verificada 2026-08-13

A digitação por voz local do Loquela sempre priorizou um limite simples de privacidade: baixar um modelo de fala, gravar apenas quando o usuário inicia o ditado, reconhecer no celular e inserir o texto resultante no campo ativo do Android.

Até a v0.15, todos os modelos locais seguiam o mesmo ritmo. O Loquela coletava a fala, esperava Stop e entregava a gravação completa a um reconhecedor offline. Isso é reconhecimento em lote. Funciona com todos os modelos locais atualmente listados, mas não mostra texto local genuíno enquanto a pessoa ainda fala.

A versão 0.15 muda essa base. O Loquela pode executar planos Batch, Streaming ou Two-pass na mesma experiência de teclado sem fingir que um modelo faz as três tarefas.

A versão 0.15.1 dá o próximo passo, intencionalmente mais público: testadores beta podem instalar o primeiro modelo local realmente ao vivo e escolher os três comportamentos. O app os chama de Batch, Sequential e Both. “Streaming” e “two-pass” continuam úteis na engenharia, mas as configurações descrevem a experiência do usuário.

Três modos, três promessas claras

Batch espera Stop e pede a transcrição a um modelo offline. Continua sendo o padrão e aceita o catálogo já estabelecido do Loquela.

Sequential executa Nemotron enquanto a fala chega. As palavras aparecem em sequência como texto em composição substituível, permitindo melhorar a hipótese atual sem deixar fragmentos duplicados no editor.

Both executa Sequential primeiro e entrega a fala completa a um modelo em lote separado. O segundo resultado só é definitivo enquanto o texto provisório puder ser substituído com segurança. Se o usuário move o cursor, edita, envia a mensagem ou sai do campo, o Loquela não deve aplicar uma correção atrasada sobre seu trabalho.

São escolhas do usuário, não alternativas silenciosas. Se Nemotron estiver ausente, Sequential e Both continuam visivelmente selecionados e explicam que é preciso instalá-lo. O app leva diretamente a Voice Models em vez de voltar discretamente para Batch.

Batch não vai desaparecer

O reconhecimento em lote examina a fala completa antes de responder. Isso pode ser valioso quando uma frase inicial é ambígua ou quando o modelo se beneficia do que veio depois na sentença.

Também oferece mais flexibilidade de processamento. Se um celular leva vários segundos após Stop para processar uma fala longa, o resultado pode parecer lento, mas o reconhecedor não acumula uma fila ao vivo cada vez maior enquanto a pessoa continua falando.

Por isso, o Loquela mantém o caminho de reconhecimento em lote e todos os modelos instalados compatíveis. A nova arquitetura acrescenta estratégias; não substitui um caminho comprovado por um único reconhecedor da moda.

O que Streaming muda

Um modelo de streaming nativo recebe pequenos blocos enquanto a fala acontece. Mantém um estado de reconhecimento em cache entre blocos e pode revisar a hipótese conforme chega mais áudio.

No Android, essas palavras parciais pertencem ao texto em composição. Ele é provisório: o teclado pode substituí-lo sem confirmar uma sequência de fragmentos duplicados. O Loquela já usa esse contrato na transcrição Remote opcional em tempo real. A versão 0.15 leva a mesma capacidade ao processo local isolado.

O microfone permanece no lado do teclado da fronteira entre processos. Uma conexão de áudio duradoura transporta amostras ordenadas ao reconhecedor, enquanto callbacks devolvem parciais alteradas, eventos de fim de fala, a transcrição final ou uma categoria de falha sem conteúdo. Isso evita uma chamada IPC por quadro de áudio e preserva o isolamento de falhas dos modelos locais.

Streaming não é automaticamente menos contextual que lote. Ele conserva o que já foi dito no estado em cache. A diferença é não poder ouvir palavras futuras antes de mostrar a hipótese atual. Por isso, os parciais devem permanecer provisórios tanto visualmente quanto tecnicamente.

O que Two-pass acrescenta

Two-pass combina os dois ritmos:

  1. Um pacote de streaming produz texto local imediato enquanto o usuário fala.
  2. O Loquela mantém o áudio da fala durante a sessão ativa.
  3. Depois de Stop, um pacote em lote separado recebe a fala completa.
  4. O resultado final substitui ou completa o texto em composição que ainda pode ser alterado com segurança.

A segunda etapa não é uma reescrita geral por IA. Sua tarefa continua sendo transcrever: recuperar o que foi dito com um modelo capaz de considerar a fala completa. O Loquela não insere um gerador de prosa que muda silenciosamente tom, intenção ou autoria.

Two-pass também não é uma propriedade armazenada em um dos modelos. Um pacote de streaming continua sendo de streaming, e um pacote em lote continua sendo de lote. O modo apresentado ao usuário cria um par compatível e torna seu custo visível.

Essa separação importa porque duas etapas podem custar caro. Dois arquivos de modelos ocupam mais armazenamento. Manter ambos os reconhecedores carregados pode acelerar a correção final, mas aumenta o pico de memória. Carregar o finalizador apenas após Stop reduz a sobreposição, mas acrescenta latência de partida a frio. Um modelo em lote leve pode caber bem e ainda não melhorar um modelo de streaming muito maior, enquanto um finalizador mais forte pode formar o par mais caro.

O recurso só merece promoção se a correção trouxer benefício significativo em falas e celulares reais.

Há uma tensão útil na escolha do segundo modelo. Um finalizador pequeno é mais fácil de manter na memória, mas talvez não melhore o suficiente um modelo de streaming de 600 milhões de parâmetros para justificar outra decodificação. Um modelo maior, como Whisper Turbo, tem mais chance de corrigir bem, mas combinar seu arquivo e sua memória de execução com Nemotron é o caso caro. Medições do beta, não a mera existência da arquitetura, determinam se um par merece recomendação.

Por que Nemotron é o primeiro candidato sério para streaming

O Loquela avalia o Nemotron 3.5 ASR Streaming 0.6B da NVIDIA pelo reconhecedor online do sherpa-onnx compatível com Android.

Os pesos da NVIDIA foram treinados no ecossistema NeMo, mas o Loquela não incorpora o ambiente Python da NVIDIA nem exige CUDA. Sherpa-onnx exporta o modelo para ONNX e o executa pela mesma família de runtime nativo Android já usada nos modelos locais do Loquela.

Nemotron é um modelo FastConformer-RNNT de 600 milhões de parâmetros com uso de cache. A NVIDIA publica cinco configurações de latência, de 80 ms a 1120 ms. O Loquela começa pelo pacote de 560 ms como ponto intermediário plausível entre parciais rápidas e qualidade, não porque um teste de desktop prove sua adequação ao celular.

A ficha do modelo distingue 19 localidades prontas para transcrição, 13 com cobertura ampla e 8 prontas para adaptação que exigem ajuste adicional. O Loquela só exporá as 32 prontas ou de cobertura ampla, salvo novas evidências. Inglês é o padrão porque os resultados publicados de 560 ms mostram perda mensurável de precisão em inglês com detecção automática de idioma. Auto continua disponível quando o usuário escolhe conscientemente essa troca pela detecção multilíngue.

Quem decide é o celular, não o diagrama da arquitetura

Um reconhecedor local em streaming precisa processar mais rápido que a chegada do áudio. Fator de tempo real de 1.0 apenas empata, sem folga para um celular quente, um app ocupado em primeiro plano ou variações normais de agendamento. A meta de promoção do Loquela é fator sustentado de no máximo 0.5, junto de evidência de que a fila de áudio não cresce em sessões repetidas com o aparelho aquecido.

A validação separa três tempos:

  • Preparação a frio mede o carregamento do modelo e do runtime nativo.
  • Da fala à primeira parcial, já aquecido, mede quanto demora para aparecer texto útil depois de o reconhecedor estar pronto.
  • De Stop ao resultado final mede a espera depois de terminar de falar.

Velocidade é apenas um critério. Celulares físicos de entrada, intermediários e topo de linha também precisam mostrar memória nativa estável em sessões repetidas, recuperação após encerramento do processo, comportamento seguro em editores Android comuns e incomuns, sem perda ou duplicação de texto.

A bateria é medida como custo absoluto do produto, não só como razão em relação a Batch. O número útil é energia por fala típica e custo diário projetado para um volume declarado de ditado. A redução de desempenho por temperatura é uma preocupação separada de correção, pois pode quebrar diretamente as garantias de tempo real e de fila.

Se 560 ms ficar perto de atender uma categoria, o Loquela pode medir o pacote de 1120 ms antes de desistir dela. Ele oferece mais contexto futuro e menos chamadas ao reconhecedor, mas é preciso medir se o ganho de vazão justifica a latência adicional das parciais.

A falha no celular físico que mudou a v0.15.1

O primeiro teste da v0.15.0 instalada pelo Play em um OnePlus encontrou uma falha que testes JVM comuns e uma compilação bem-sucedida não revelavam. Todos os modelos locais informavam transferência incompleta do áudio. Os logs do Android mostravam que o pipe confiável de descritor de arquivo declarava a outra ponta encerrada antes de o reconhecedor isolado receber a quantidade esperada de amostras.

O Loquela não enfraqueceu a verificação de integridade. A versão 0.15.1 troca o transporte por um pipe Android comum, preservando a contagem esperada separada e o sinal explícito de conclusão. Um teste de instrumentação Android agora escreve amostras float reais pelo mesmo protocolo, lê até EOF limpo e verifica a sequência exata em hardware físico.

A distinção importa: compilar prova compatibilidade de APIs, e um teste de array de bytes prova a lógica de enquadramento, mas nenhum prova o comportamento de descritores Android na fronteira real entre processos. O beta encontrou uma falha de integração da plataforma, e a regressão agora testa diretamente essa camada.

O que a v0.15.1 disponibiliza

O pacote Nemotron de 560 ms está listado para instalação beta. Sequential e Both ficam sempre visíveis nas configurações de voz, com convite para configurar quando Nemotron falta. Uma seleção excluída ou danificada continua selecionada, mas claramente exige reparo; o Loquela não troca silenciosamente o modo escolhido.

Moonshine v2 Tiny e Base também entram no catálogo beta como modelos em lote muito menores para inglês. Tiny cai de cerca de 108 MB no pacote antigo para aproximadamente 30 MB; Base passa de cerca de 251 MB para 111 MB. Os pacotes antigos continuam utilizáveis em instalações existentes, mas saem das novas instalações e indicam seus substitutos.

Moonshine v2 exercita outra parte da base em relação a Nemotron. Seu layout de decodificador combinado .ort exige perfil de runtime explícito, descoberta, validação, recuperação e configuração offline. Nemotron reutiliza os papéis conhecidos de encoder, decoder, joiner e tokens, mas esses arquivos precisam ser abertos pela nova estratégia de reconhecimento online. A forma dos arquivos nunca deve decidir sozinha como executar um modelo.

O que os testadores beta devem experimentar

Os testes mais úteis de Sequential não são só frases limpas de demonstração. Experimente comandos curtos, ditado longo, nomes, termos técnicos, pausas, sessões repetidas com o aparelho quente e editores que alteram agressivamente o texto em composição. Observe atraso crescente, palavras repetidas ou ausentes, substituição insegura após edição e comportamento ao trocar de app.

Em Both, compare o resultado final com a hipótese Sequential visível. Uma segunda etapa que só troca pontuação ou provoca alterações desnecessárias não justifica o custo. O sinal importante é remover de modo confiável erros que exigiriam correção manual.

Usuários de Parakeet que veem a última palavra ou frase desaparecer podem usar o novo teste beta de cauda do decodificador. Ele acrescenta uma quantidade controlada de silêncio após a fala capturada, dando contexto final ao transdutor sem confundir o antigo erro de transferência com o comportamento do decodificador. O padrão continua zero até comparações reais apontarem um valor melhor.

O atalho de feedback em Settings segue a mesma filosofia beta: pedidos de recursos, relatos de erros e observações devem estar a um toque das configurações gerais, não escondidos em um submenu específico.

A privacidade continua explícita e própria de cada modo

Batch, Streaming e Two-pass locais mantêm o áudio no dispositivo. O áudio da sessão serve ao plano de reconhecimento ativo, em vez de virar gravação persistente. Two-pass o retém apenas pelo tempo necessário à decodificação final solicitada.

A transcrição Remote opcional continua sendo um modo de rede separado, com seus próprios limites de conta e privacidade. A retenção de diagnóstico guarda informações limitadas de falha, sem conteúdo, não texto ditado ou áudio.

A meta não é só mostrar texto antes. É tornar possível o ditado privado ao vivo sem enfraquecer a precisão final, esconder o custo de processamento ou tirar o controle de quem digita.

Veja as notas da v0.15.1, Modelos de voz e Privacidade para os limites atuais do produto.