Loquela
Nghiên cứu

Cách Loquela xây dựng nhập liệu giọng nói cục bộ trực tiếp và hai lượt

Bên trong quá trình Loquela chuyển từ đọc chính tả ngoại tuyến chỉ theo lô sang văn bản tạm cục bộ trực tiếp và lượt thứ hai tùy chọn để tăng độ chính xác cuối.

12 phút đọcĐã kiểm tra nghiên cứu 2026-08-13

Nhập liệu giọng nói cục bộ của Loquela luôn ưu tiên một ranh giới quyền riêng tư đơn giản: tải mô hình giọng nói, chỉ ghi khi người dùng bắt đầu đọc chính tả, chạy nhận dạng trên điện thoại rồi chèn văn bản kết quả vào trường Android đang hoạt động.

Trước v0.15, mọi mô hình cục bộ đều theo cùng một mô hình thời gian. Loquela thu câu nói, chờ Stop rồi đưa toàn bộ bản ghi cho trình nhận dạng ngoại tuyến. Đó là nhận dạng theo lô. Cách này hoạt động với mọi mô hình cục bộ Loquela đang liệt kê nhưng không thể hiển thị văn bản cục bộ thực sự khi người dùng vẫn đang nói.

Phiên bản 0.15 thay đổi nền tảng đó. Loquela giờ có thể chạy kế hoạch nhận dạng Batch, Streaming hoặc Two-pass phía sau cùng một trải nghiệm bàn phím mà không giả vờ một mô hình làm được cả ba việc.

Phiên bản 0.15.1 thực hiện bước tiếp theo, có chủ ý công khai hơn: người thử nghiệm beta có thể cài mô hình cục bộ trực tiếp thực sự đầu tiên và tự chọn cả ba hành vi. Ứng dụng gọi chúng là Batch, Sequential và Both. “Streaming” và “two-pass” vẫn hữu ích về kỹ thuật, còn phần cài đặt mô tả điều người dùng thực sự trải nghiệm.

Ba chế độ, ba lời hứa rõ ràng

Batch chờ đến Stop rồi yêu cầu một mô hình ngoại tuyến tạo bản chép lời. Đây vẫn là mặc định và tiếp tục hỗ trợ danh mục mô hình lâu nay của Loquela.

Sequential chạy Nemotron khi lời nói đang đến. Các từ xuất hiện theo thứ tự dưới dạng văn bản soạn thảo có thể thay thế, vì vậy giả thuyết hiện tại có thể cải thiện mà không để lại mảnh trùng trong trình soạn thảo.

Both chạy Sequential trước rồi gửi toàn bộ câu nói cho một mô hình batch riêng. Kết quả thứ hai chỉ có thẩm quyền khi văn bản tạm vẫn an toàn để thay. Nếu người dùng di chuyển con trỏ, sửa văn bản, gửi tin hoặc rời trường, Loquela không được áp dụng sửa đổi muộn đè lên công việc của họ.

Đây là lựa chọn của người dùng, không phải đường lùi âm thầm. Nếu thiếu Nemotron, Sequential và Both vẫn hiển thị là đã chọn và giải thích rằng cần cài mô hình. Ứng dụng liên kết thẳng tới Voice Models thay vì lặng lẽ đưa người dùng về Batch.

Batch sẽ không biến mất

Nhận dạng Batch có thể xem toàn bộ câu nói trước khi đưa ra đáp án. Điều này hữu ích khi cụm đầu mơ hồ hoặc mô hình hưởng lợi từ phần được nói sau trong câu.

Nó cũng có mô hình tính toán dễ chịu hơn. Nếu điện thoại cần vài giây xử lý câu dài sau Stop, kết quả có thể chậm, nhưng trình nhận dạng không tích lũy hàng đợi trực tiếp ngày càng dài trong khi người dùng tiếp tục nói.

Vì vậy Loquela giữ lộ trình nhận dạng batch hiện có và mọi mô hình tương thích đã cài. Kiến trúc mới bổ sung chiến lược, không thay lộ trình đã được chứng minh bằng một trình nhận dạng thời thượng duy nhất.

Streaming thay đổi điều gì

Mô hình trực tuyến gốc nhận các đoạn nhỏ khi lời nói còn diễn ra. Nó giữ trạng thái nhận dạng đã lưu giữa các đoạn và có thể sửa giả thuyết hiện tại khi có thêm âm thanh.

Trên Android, các từ tạm thuộc về văn bản soạn thảo. Văn bản này mang tính tạm thời: bàn phím có thể thay thế mà không chèn cả chuỗi mảnh trùng vào trình soạn thảo. Loquela đã dùng hợp đồng này cho phiên âm Remote thời gian thực tùy chọn. Phiên bản 0.15 đưa khả năng tương tự vào tiến trình nhận dạng cục bộ tách biệt.

Mic vẫn ở phía bàn phím của ranh giới tiến trình. Một kết nối âm thanh tồn tại lâu đưa các mẫu đúng thứ tự tới trình nhận dạng, còn callback trả về phần tạm đã đổi, sự kiện điểm kết, bản chép lời cuối hoặc loại lỗi không có nội dung. Cách này tránh một lệnh IPC riêng cho mỗi khung âm thanh và giữ cách ly sự cố đang dùng cho mô hình cục bộ.

Streaming không tự động có ít ngữ cảnh hơn batch. Nó giữ phần đã nói trong trạng thái đã lưu. Khác biệt là nó không thể nghe từ tương lai trước khi hiển thị phỏng đoán hiện tại. Vì vậy phần tạm phải luôn mang tính tạm thời cả về hiển thị lẫn kỹ thuật.

Two-pass bổ sung điều gì

Two-pass kết hợp hai mô hình thời gian:

  1. Gói trực tuyến tạo văn bản cục bộ ngay khi người dùng nói.
  2. Loquela giữ âm thanh câu nói cho phiên đang hoạt động.
  3. Sau Stop, một gói batch riêng nhận toàn bộ câu nói.
  4. Kết quả cuối thay hoặc hoàn tất văn bản soạn thảo vẫn an toàn.

Lượt thứ hai không phải viết lại bằng AI tổng quát. Nhiệm vụ vẫn là phiên âm: khôi phục điều đã nói bằng mô hình có thể xét toàn bộ câu. Loquela không chèn bộ tạo văn xuôi âm thầm đổi giọng điệu, ý định hay quyền tác giả.

Two-pass cũng không phải thuộc tính lưu trên một trong hai mô hình. Gói trực tuyến vẫn là gói trực tuyến và gói batch vẫn là gói batch. Chế độ người dùng tạo một cặp tương thích và làm rõ chi phí.

Sự tách biệt quan trọng vì two-pass có thể đắt. Hai tệp mô hình dùng nhiều dung lượng hơn. Giữ cả hai trình nhận dạng trong bộ nhớ giúp sửa cuối nhanh nhưng tăng bộ nhớ đỉnh. Chỉ tải mô hình cuối sau Stop giảm chồng lấn nhưng tăng độ trễ lạnh. Mô hình batch rẻ có thể vừa thoải mái nhưng không cải thiện mô hình trực tuyến lớn hơn; bộ hoàn tất mạnh hơn lại có thể là cặp tốn nhất.

Tính năng chỉ được quảng bá khi lợi ích sửa lỗi có ý nghĩa trên câu nói và điện thoại thực.

Việc chọn mô hình thứ hai có một mâu thuẫn hữu ích. Bộ hoàn tất nhỏ dễ giữ trong bộ nhớ nhưng có thể không cải thiện mô hình trực tuyến 600 triệu tham số đủ để biện minh cho lần giải mã thứ hai. Mô hình lớn như Whisper Turbo có khả năng sửa giá trị hơn, nhưng ghép tệp và bộ nhớ chạy của nó với Nemotron là trường hợp tốn kém. Phép đo beta, không phải sự tồn tại của kiến trúc, quyết định cặp nào đáng được đề xuất.

Vì sao Nemotron là ứng viên trực tuyến nghiêm túc đầu tiên

Loquela đang đánh giá Nemotron 3.5 ASR Streaming 0.6B của NVIDIA qua trình nhận dạng trực tuyến tương thích Android của sherpa-onnx.

Trọng số NVIDIA được huấn luyện trong hệ sinh thái NeMo, nhưng Loquela không nhúng runtime Python của NVIDIA hay yêu cầu CUDA. Sherpa-onnx xuất mô hình sang ONNX và chạy qua cùng họ runtime gốc Android mà Loquela đã dùng cho mô hình giọng nói cục bộ.

Nemotron là mô hình FastConformer-RNNT 600 triệu tham số có nhận biết bộ nhớ đệm. NVIDIA công bố năm cấu hình độ trễ từ 80 ms đến 1120 ms. Loquela bắt đầu bằng gói 560 ms vì đây là điểm giữa hợp lý giữa phần tạm sớm và chất lượng nhận dạng, không phải vì chuẩn đo máy tính chứng minh nó phù hợp với điện thoại.

Thẻ mô hình phân biệt 19 locale sẵn sàng phiên âm, 13 locale phủ rộng và 8 locale sẵn sàng thích ứng cần tinh chỉnh thêm. Loquela chỉ hiển thị 32 locale sẵn sàng hoặc phủ rộng trừ khi có bằng chứng mới. Tiếng Anh là mặc định vì kết quả 560 ms đã công bố cho thấy phát hiện ngôn ngữ tự động làm giảm độ chính xác tiếng Anh. Auto vẫn có khi phát hiện đa ngôn ngữ là đánh đổi chủ ý của người dùng.

Điện thoại, không phải sơ đồ kiến trúc, quyết định

Trình nhận dạng trực tuyến cục bộ phải đi trước âm thanh đầu vào. Hệ số thời gian thực 1.0 chỉ hòa vốn, không chừa chỗ cho điện thoại nóng, ứng dụng tiền cảnh bận hoặc dao động lập lịch bình thường. Mục tiêu quảng bá của Loquela là hệ số duy trì 0.5 trở xuống, kèm bằng chứng hàng đợi âm thanh không tăng qua các phiên lặp khi máy đã ấm.

Quy trình xác thực tách ba thời gian:

  • Chuẩn bị lạnh đo thời gian tải mô hình và runtime gốc.
  • Từ lời nói ấm đến phần tạm đầu đo tốc độ xuất hiện văn bản trực tiếp hữu ích sau khi trình nhận dạng sẵn sàng.
  • Từ Stop đến kết quả cuối đo thời gian chờ sau khi người dùng nói xong.

Tốc độ chỉ là một cổng. Điện thoại thật cấp thấp, trung và cao còn phải cho thấy bộ nhớ gốc ổn định qua nhiều phiên, khôi phục sau khi tiến trình chết, hoạt động an toàn trong trình soạn thảo Android bình thường và khác thường, không mất hay lặp văn bản.

Pin được đo như chi phí sản phẩm tuyệt đối, không chỉ là tỷ lệ so với batch. Con số hữu ích là năng lượng cho mỗi câu nói điển hình cộng chi phí hằng ngày dự kiến ở mức đọc chính tả đã nêu. Giảm xung do nhiệt là vấn đề đúng sai riêng vì có thể trực tiếp phá cam kết thời gian thực và hàng đợi.

Nếu 560 ms chỉ thiếu một chút ở một cấp, Loquela có thể đo gói 1120 ms trước khi bỏ cấp đó. Gói này nhìn trước nhiều hơn và gọi trình nhận dạng ít hơn, nhưng mức cải thiện thông lượng điện thoại có đủ bù độ trễ phần tạm tăng hay không phải được đo, không được giả định.

Lỗi trên điện thoại thật đã thay đổi v0.15.1

Lần thử v0.15.0 cài từ Play đầu tiên trên thiết bị OnePlus phát hiện lỗi mà kiểm thử JVM thông thường và bản dựng thành công không thể thấy. Mọi mô hình cục bộ báo rằng âm thanh chưa truyền đủ. Nhật ký Android cho thấy pipe mô tả tệp đáng tin cậy đã báo đầu xa chết trước khi trình nhận dạng tách biệt nhận đủ số mẫu dự kiến.

Loquela không làm yếu kiểm tra toàn vẹn. Phiên bản 0.15.1 đổi kênh truyền sang pipe Android thông thường trong khi giữ số mẫu dự kiến riêng và tín hiệu hoàn tất rõ ràng. Kiểm thử instrumentation Android giờ ghi mẫu float thực qua cùng giao thức pipe, đọc đến EOF sạch và xác minh đúng chuỗi trên phần cứng thật.

Sự khác biệt này quan trọng: biên dịch chứng minh API khớp, kiểm thử đơn vị mảng byte chứng minh logic đóng khung, nhưng không cái nào chứng minh hành vi mô tả tệp Android qua ranh giới tiến trình thật của ứng dụng. Beta phát hiện lỗi tích hợp cấp nền tảng và kiểm thử hồi quy giờ nhắm đúng lớp đó.

Những gì v0.15.1 cung cấp

Gói 560 ms của Nemotron được liệt kê cho cài đặt beta. Sequential và Both luôn hiện trong cài đặt giọng nói, có lời nhắc thiết lập khi thiếu Nemotron. Lựa chọn bị xóa hoặc hỏng vẫn được chọn nhưng báo cần sửa; Loquela không âm thầm đổi chế độ nhận dạng của người dùng.

Moonshine v2 Tiny và Base cũng vào danh mục beta như mô hình batch tiếng Anh nhỏ hơn nhiều. Tiny giảm từ khoảng 108 MB của gói cũ xuống khoảng 30 MB, Base từ khoảng 251 MB xuống khoảng 111 MB. Gói cũ vẫn dùng được cho bản cài hiện có nhưng dừng cài mới và hướng người dùng tới bản thay thế.

Moonshine v2 thử phần nền tảng khác với Nemotron. Bố cục merged-decoder .ort cần hồ sơ runtime, khám phá, xác thực, phục hồi và hỗ trợ cấu hình ngoại tuyến rõ ràng. Nemotron dùng lại vai trò tệp encoder, decoder, joiner và token quen thuộc, nhưng chiến lược nhận dạng trực tuyến mới phải mở các tệp đó. Hình dạng tệp không bao giờ được tự quyết cách mô hình chạy.

Người thử nghiệm beta nên thử gì

Thử nghiệm Sequential hữu ích nhất không chỉ là câu trình diễn sạch. Hãy thử lệnh ngắn, đọc chính tả dài, tên, thuật ngữ kỹ thuật, khoảng dừng, phiên lặp khi máy ấm và trình soạn thảo thay đổi mạnh văn bản soạn thảo. Theo dõi độ trễ tăng, từ lặp hay mất, thay thế không an toàn sau sửa và hành vi sau chuyển ứng dụng.

Với Both, so sánh kết quả cuối với giả thuyết Sequential nhìn thấy. Lượt hai chỉ đổi dấu câu hoặc gây xáo trộn chưa xứng chi phí thêm. Tín hiệu quan trọng là nó có loại lỗi vốn cần sửa tay một cách ổn định hay không.

Người dùng Parakeet bị mất từ hoặc câu cuối có thể dùng bài thử beta phần đuôi decoder mới. Nó thêm khoảng lặng có kiểm soát sau câu đã thu, cho transducer thêm ngữ cảnh cuối mà không giả vờ lỗi truyền âm thanh trước đó và hành vi decoder là cùng một vấn đề. Mặc định vẫn là không cho đến khi so sánh thực tìm được giá trị tốt hơn.

Lối tắt phản hồi trong Settings thuộc cùng triết lý beta: yêu cầu tính năng, báo lỗi và nhận xét khác nên cách màn hình cài đặt chung một lần chạm, không bị giấu trong menu con dành riêng cho sản phẩm.

Quyền riêng tư vẫn theo từng chế độ và rõ ràng

Nhận dạng cục bộ Batch, Streaming và Two-pass giữ âm thanh trên thiết bị. Âm thanh phiên được dùng cho kế hoạch nhận dạng đang hoạt động thay vì lưu bản ghi lâu dài. Two-pass chỉ giữ đủ lâu để thực hiện giải mã cuối đã yêu cầu.

Phiên âm Remote tùy chọn vẫn là chế độ mạng riêng với ranh giới tài khoản và quyền riêng tư riêng. Lưu giữ chẩn đoán chỉ giữ thông tin lỗi có giới hạn, không có nội dung, thay vì văn bản đọc chính tả hay âm thanh.

Mục tiêu không chỉ là làm văn bản xuất hiện sớm hơn. Mục tiêu là cho phép đọc chính tả riêng tư trực tiếp mà không làm yếu độ chính xác cuối, che chi phí tính toán hay lấy quyền kiểm soát khỏi người đang gõ.

Xem ghi chú bản vá v0.15.1, Voice Models và Quyền riêng tư để biết ranh giới sản phẩm hiện tại.