Loquela
연구

Loquela가 실시간 및 2단계 로컬 음성 입력을 만드는 방법

배치 전용 오프라인 받아쓰기에서 로컬 실시간 중간 결과와 최종 정확도를 위한 선택형 두 번째 단계로 이동하는 Loquela의 내부 이야기입니다.

7 분 분량연구 확인일 2026-08-13

Loquela의 로컬 음성 입력은 늘 단순한 개인정보 보호 경계를 우선했습니다. 음성 모델을 다운로드하고, 사용자가 받아쓰기를 시작할 때만 녹음하고, 휴대전화에서 인식을 실행한 뒤 결과 텍스트를 활성 Android 필드에 입력합니다.

v0.15 전까지 모든 로컬 모델은 하나의 시간 처리 방식을 따랐습니다. Loquela가 발화를 모으고 Stop을 기다린 다음 전체 녹음을 오프라인 인식기에 전달했습니다. 이것이 배치 인식입니다. Loquela가 현재 나열하는 모든 로컬 모델에서 작동하지만, 사용자가 말하는 동안 실제 로컬 텍스트를 표시할 수는 없습니다.

버전 0.15는 이 기반을 바꿉니다. 하나의 모델이 세 가지 일을 모두 할 수 있는 것처럼 가장하지 않고, 같은 키보드 경험 뒤에서 Batch, Streaming, Two-pass 인식 계획을 실행할 수 있습니다.

버전 0.15.1은 의도적으로 더 공개적인 다음 단계입니다. 베타 테스터가 최초의 실제 실시간 로컬 모델을 설치하고 세 가지 동작을 직접 선택할 수 있습니다. 앱에서는 Batch, Sequential, Both라고 부릅니다. “Streaming”과 “two-pass”는 여전히 유용한 기술 용어지만, 설정은 사용자가 실제로 경험하는 내용을 설명합니다.

세 가지 모드, 세 가지 분명한 약속

Batch는 Stop까지 기다린 뒤 하나의 오프라인 모델에 전사를 요청합니다. 기본값으로 유지되며 기존 Loquela 모델 카탈로그를 계속 지원합니다.

Sequential은 음성이 들어오는 동안 Nemotron을 실행합니다. 단어가 교체 가능한 작성 중 텍스트로 순서대로 나타나므로, 편집기에 중복 조각을 남기지 않고 현재 가설을 개선할 수 있습니다.

Both는 먼저 Sequential을 실행한 뒤 전체 발화를 별도 배치 모델에 보냅니다. 임시 텍스트를 안전하게 교체할 수 있는 동안에만 두 번째 결과를 공식 결과로 봅니다. 사용자가 커서를 옮기거나 텍스트를 편집하거나 메시지를 보내거나 필드를 떠나면 Loquela는 늦게 온 수정을 사용자의 작업 위에 적용하지 않습니다.

이는 사용자 선택이며 조용한 대체 동작이 아닙니다. Nemotron이 없으면 Sequential과 Both는 선택된 상태로 계속 보이며 모델 설치가 필요하다고 설명합니다. 몰래 Batch로 되돌리지 않고 Voice Models로 바로 연결합니다.

Batch는 사라지지 않는다

Batch 인식은 답을 만들기 전에 전체 발화를 살펴볼 수 있습니다. 초반 구문이 모호하거나 문장 뒤쪽을 들으면 판단이 나아지는 모델에 유용합니다.

연산 방식도 여유롭습니다. Stop 이후 긴 발화를 처리하는 데 몇 초가 걸리면 느리게 느껴질 수 있지만, 사용자가 계속 말하는 동안 실시간 처리 대기열이 끝없이 쌓이지는 않습니다.

따라서 Loquela는 기존 배치 인식 경로와 호환되는 설치 모델을 모두 유지합니다. 새 아키텍처는 전략을 추가하는 것이지, 검증된 경로를 유행하는 인식기 하나로 바꾸는 것이 아닙니다.

Streaming이 바꾸는 것

네이티브 스트리밍 모델은 말하는 중에 작은 조각을 받습니다. 조각 사이에 캐시된 인식 상태를 유지하고 오디오가 더 들어오면 현재 가설을 수정할 수 있습니다.

Android에서 중간 단어는 작성 중 텍스트에 있어야 합니다. 작성 중 텍스트는 임시이므로 키보드가 중복 조각을 편집기에 줄줄이 확정하지 않고 교체할 수 있습니다. Loquela는 선택형 Remote 실시간 전사에서 이미 이 계약을 사용합니다. 버전 0.15는 격리된 로컬 인식 프로세스에도 같은 기능을 가져옵니다.

마이크는 프로세스 경계의 키보드 쪽에 남습니다. 하나의 장기 오디오 연결이 순서 있는 샘플을 인식기에 보내고, 콜백은 변경된 중간 결과, 종단 이벤트, 최종 전사 또는 콘텐츠 없는 실패 분류를 반환합니다. 오디오 프레임마다 별도 IPC 호출을 피하고 기존 로컬 모델의 비정상 종료 격리를 유지합니다.

Streaming이 자동으로 batch보다 문맥이 적은 것은 아닙니다. 이미 말한 내용을 캐시 상태에 보관합니다. 차이는 현재 추측을 표시하기 전에 미래 단어를 들을 수 없다는 것입니다. 따라서 중간 결과는 화면에서도 기술적으로도 임시 상태여야 합니다.

Two-pass가 더하는 것

Two-pass는 두 시간 처리 방식을 결합합니다.

  1. 사용자가 말하는 동안 스트리밍 패키지가 즉시 로컬 텍스트를 만듭니다.
  2. Loquela는 활성 세션의 발화 오디오를 보관합니다.
  3. Stop 이후 별도 배치 패키지가 전체 발화를 받습니다.
  4. 최종 결과가 아직 안전한 작성 중 텍스트를 교체하거나 완성합니다.

두 번째 단계는 범용 AI 재작성이 아닙니다. 역할은 여전히 전사이며 전체 발화를 고려할 수 있는 모델로 실제 말한 내용을 복원합니다. Loquela는 어조, 의도, 작성자 정체성을 몰래 바꾸는 문장 생성기를 삽입하지 않습니다.

Two-pass는 어느 모델에 저장되는 속성도 아닙니다. 스트리밍 패키지는 계속 스트리밍 패키지이고 배치 패키지는 계속 배치 패키지입니다. 사용자 모드가 호환되는 쌍을 만들고 비용을 드러냅니다.

이 분리는 중요합니다. 2단계 처리는 비쌀 수 있습니다. 두 모델 아카이브는 저장 공간을 더 씁니다. 두 인식기를 메모리에 두면 최종 수정은 빠르지만 최대 메모리가 늘어납니다. Stop 이후에만 최종 모델을 불러오면 겹침은 줄지만 첫 지연이 늘어납니다. 저렴한 배치 모델은 편하게 맞아도 훨씬 큰 스트리밍 모델을 충분히 개선하지 못할 수 있고, 강력한 확정 모델이 가장 비싼 조합일 수 있습니다.

실제 발화와 휴대전화에서 수정 효과가 의미 있을 때만 기능을 승격합니다.

두 번째 모델 선택에는 유용한 긴장이 있습니다. 작은 확정 모델은 메모리에 유지하기 쉽지만 6억 파라미터 스트리밍 모델을 두 번째 디코딩 비용만큼 개선하지 못할 수 있습니다. Whisper Turbo 같은 큰 모델은 가치 있는 수정을 할 가능성이 높지만 해당 아카이브와 실행 메모리를 Nemotron과 짝짓는 것이 비싼 경우입니다. 아키텍처의 존재가 아니라 베타 측정이 어떤 조합을 추천할지 결정합니다.

Nemotron이 첫 번째 진지한 스트리밍 후보인 이유

Loquela는 sherpa-onnx의 Android 호환 온라인 인식기를 통해 NVIDIA의 Nemotron 3.5 ASR Streaming 0.6B를 평가하고 있습니다.

NVIDIA 가중치는 NeMo 환경에서 학습되었지만 Loquela는 NVIDIA Python runtime을 내장하거나 CUDA를 요구하지 않습니다. Sherpa-onnx가 모델을 ONNX로 내보내고 Loquela가 로컬 음성 모델에 이미 사용하는 Android 네이티브 runtime 계열에서 실행합니다.

Nemotron은 6억 파라미터의 캐시 인식 FastConformer-RNNT 모델입니다. NVIDIA는 80 ms부터 1120 ms까지 다섯 지연 구성을 공개합니다. Loquela는 560 ms 패키지로 시작합니다. 초기 중간 결과와 인식 품질 사이의 타당한 중간점이기 때문이지, 데스크톱 벤치마크가 휴대전화 적합성을 증명했기 때문은 아닙니다.

모델 카드는 전사 준비 19개 로캘, 폭넓은 지원 13개 로캘, 추가 미세 조정이 필요한 적응 준비 8개 로캘을 구분합니다. 향후 증거가 없다면 Loquela는 준비 또는 폭넓은 지원에 해당하는 32개 로캘만 표시합니다. 공개 560 ms 결과에서 자동 언어 감지가 영어 정확도에 손실을 보여 영어를 기본으로 합니다. 다국어 감지를 의도적인 절충점으로 선택할 때는 Auto도 사용할 수 있습니다.

아키텍처 그림이 아니라 휴대전화가 결정한다

로컬 스트리밍 인식기는 들어오는 오디오보다 앞서야 합니다. 실시간 계수 1.0은 겨우 손익분기점이며 따뜻해진 휴대전화, 바쁜 전면 앱, 일반적인 스케줄링 변동을 위한 여유가 없습니다. Loquela의 승격 목표는 지속 실시간 계수 0.5 이하와, 열이 오른 반복 세션에서도 오디오 대기열이 늘지 않는다는 증거입니다.

검증은 세 가지 시간을 나눕니다.

  • Cold preparation은 모델과 네이티브 runtime을 불러오는 시간을 측정합니다.
  • Warm speech-to-first-partial은 인식기 준비 후 유용한 실시간 텍스트가 나타나는 속도를 측정합니다.
  • Stop-to-final은 발화를 마친 뒤 사용자가 기다리는 시간을 측정합니다.

속도는 조건 중 하나일 뿐입니다. 실제 저사양, 중간, 플래그십 기기는 반복 세션의 안정된 네이티브 메모리, 프로세스 종료 후 복구, 일반적이거나 특이한 Android 편집기에서의 안전한 동작, 텍스트 손실과 중복 없음도 보여야 합니다.

배터리는 batch 대비 비율뿐 아니라 절대적인 제품 비용으로 측정합니다. 유용한 수치는 일반적인 발화당 에너지와 명시된 받아쓰기 양에서 예상되는 하루 비용입니다. 발열 제한은 실시간성과 대기열 보장을 직접 깨뜨릴 수 있으므로 별도의 정확성 문제입니다.

560 ms가 어떤 등급에서 근소하게 실패하면 Loquela는 해당 등급을 포기하기 전에 1120 ms 패키지를 측정할 수 있습니다. 더 많이 미리 보고 인식기 호출은 적지만, 휴대전화 처리량 향상이 늘어난 중간 결과 지연을 정당화하는지는 가정하지 말고 측정해야 합니다.

v0.15.1을 바꾼 실제 휴대전화 오류

OnePlus 기기에서 Play 설치 v0.15.0을 처음 시험했을 때 일반 JVM 테스트와 성공한 빌드로는 드러나지 않는 실패가 나타났습니다. 모든 로컬 모델이 음성 오디오가 완전히 전달되지 않았다고 보고했습니다. Android 로그는 격리된 인식기가 예상 샘플 수를 받기 전에 신뢰성 파일 설명자 파이프가 원격 쪽 종료를 보고했음을 보여 줬습니다.

Loquela는 무결성 검사를 약화하지 않았습니다. 버전 0.15.1은 별도 예상 샘플 수와 명시적 완료 신호를 유지하면서 전송을 일반 Android 파이프로 바꿨습니다. Android instrumentation 테스트는 같은 파이프 프로토콜로 실제 float 샘플을 쓰고 정상 EOF까지 읽어 실제 하드웨어에서 정확한 순서를 검증합니다.

이 구분은 중요합니다. 컴파일은 API가 맞물린다는 사실을, byte-array 단위 테스트는 프레이밍 논리를 증명하지만, 앱의 실제 프로세스 경계를 가로지르는 Android 파일 설명자 동작은 둘 다 증명하지 않습니다. 베타가 플랫폼 수준 통합 실패를 찾았고 회귀 테스트는 이제 해당 계층을 직접 겨냥합니다.

v0.15.1이 제공하는 것

Nemotron의 560 ms 패키지를 베타 설치용으로 나열합니다. 음성 설정에 Sequential과 Both를 항상 표시하고 Nemotron이 없으면 설정 안내를 보여 줍니다. 삭제되거나 손상된 선택은 선택 상태로 남지만 복구가 필요하다고 표시하며 Loquela는 사용자의 인식 모드를 몰래 바꾸지 않습니다.

Moonshine v2 Tiny와 Base도 훨씬 작은 영어 배치 모델로 베타 카탈로그에 들어갑니다. Tiny는 기존 패키지 약 108 MB에서 약 30 MB로, Base는 약 251 MB에서 약 111 MB로 줄어듭니다. 기존 패키지는 현재 설치에서 쓸 수 있지만 신규 설치 제공을 종료하고 대체 모델로 안내합니다.

Moonshine v2는 Nemotron과 다른 기반 부분을 시험합니다. 병합 디코더 .ort 구조에는 명시적인 runtime profile, 탐색, 검증, 복구, 오프라인 구성 지원이 필요합니다. Nemotron은 익숙한 encoder, decoder, joiner, token 파일 역할을 재사용하지만 새로운 온라인 인식 전략이 해당 파일을 열어야 합니다. 파일 형태만으로 모델 실행 방식을 결정해서는 안 됩니다.

베타 테스터가 시도할 것

가장 유용한 Sequential 테스트는 깨끗한 데모 문장만이 아닙니다. 짧은 명령, 긴 받아쓰기, 이름, 기술 용어, 멈춤, 따뜻해진 반복 세션, 작성 중 텍스트를 적극적으로 조작하는 편집기를 시험하세요. 지연 증가, 단어 반복이나 누락, 편집 후 위험한 교체, 앱 전환 뒤 동작을 확인하세요.

Both에서는 최종 결과와 화면에 보인 Sequential 가설을 비교하세요. 두 번째 단계가 문장 부호만 바꾸거나 흔들림을 더한다면 추가 비용을 정당화하지 못합니다. 수동 수정이 필요했을 오류를 안정적으로 제거하는지가 핵심 신호입니다.

마지막 단어나 문장이 사라지는 Parakeet 사용자는 새 decoder-tail 베타 테스트를 사용할 수 있습니다. 캡처한 발화 뒤에 제어된 무음을 더해 이전 오디오 전달 오류와 디코더 동작을 같은 문제로 가장하지 않고 transducer에 추가 끝 문맥을 제공합니다. 실제 비교가 더 나은 값을 찾을 때까지 기본값은 0입니다.

Settings 피드백 바로 가기도 같은 베타 철학의 일부입니다. 기능 요청, 버그 신고, 기타 관찰은 제품별 하위 메뉴에 숨기지 말고 일반 설정에서 한 번의 탭으로 닿아야 합니다.

개인정보 보호는 모드별로 명시된다

Batch, Streaming, Two-pass 로컬 인식은 오디오를 기기에 보관합니다. 세션 오디오는 영구 녹음으로 저장하지 않고 활성 인식 계획에 사용합니다. Two-pass는 요청한 최종 디코딩을 수행하는 데 필요한 동안만 보관합니다.

선택형 Remote 전사는 자체 계정 및 개인정보 경계가 있는 별도 네트워크 모드입니다. 진단 보관은 받아쓴 텍스트나 오디오 대신 제한된 콘텐츠 없는 실패 정보를 저장합니다.

목표는 단순히 텍스트를 더 빨리 표시하는 것이 아닙니다. 최종 정확도를 약화하거나 연산 비용을 숨기거나 입력하는 사람의 통제권을 빼앗지 않고 실시간 비공개 받아쓰기를 가능하게 하는 것입니다.

현재 제품 경계는 v0.15.1 패치 노트, Voice Models, 개인정보 보호에서 확인하세요.