Loquela কীভাবে লাইভ ও two-pass স্থানীয় voice typing তৈরি করছে
শুধু batch offline dictation থেকে live local partial এবং final accuracy-এর জন্য optional second pass-এ Loquela-র যাত্রার ভেতরের গল্প।
Loquela-র local voice typing শুরু থেকেই একটি সহজ privacy boundary মানে: speech model download করুন, user dictation শুরু করলেই শুধু record করুন, phone-এ recognition চালান এবং ফলের text active Android field-এ ঢোকান।
v0.15 পর্যন্ত প্রতিটি local model একই timing model মানত। Loquela utterance সংগ্রহ করত, Stop-এর জন্য অপেক্ষা করত, তারপর সম্পূর্ণ recording offline recognizer-কে দিত। এটিই batch recognition। বর্তমানে তালিকাভুক্ত সব local model-এ এটি কাজ করে, কিন্তু কেউ কথা বলার সময় সত্যিকারের local text দেখাতে পারে না।
Version 0.15 এই ভিত্তি বদলায়। একই keyboard experience-এর পেছনে Loquela এখন Batch, Streaming বা Two-pass recognition plan চালাতে পারে, কোনো এক model তিনটি কাজই করতে পারে এমন ভান না করে।
Version 0.15.1 পরের, ইচ্ছাকৃতভাবে আরও public ধাপ: beta tester প্রথম সত্যিকারের live local model install করতে এবং তিনটি behavior নিজে বেছে নিতে পারেন। App এগুলোকে Batch, Sequential ও Both বলে। “Streaming” ও “two-pass” engineering term হিসেবে কার্যকর, কিন্তু settings user আসলে কী দেখবেন তা বলে।
তিনটি mode, তিনটি স্পষ্ট প্রতিশ্রুতি
Batch Stop পর্যন্ত অপেক্ষা করে, তারপর একটি offline model-এর কাছে transcript চায়। এটি default এবং Loquela-র প্রতিষ্ঠিত model catalog সমর্থন করে।
Sequential speech আসার সময় Nemotron চালায়। বদলানো যায় এমন composing text হিসেবে শব্দ ধারাবাহিকভাবে আসে, তাই editor-এ duplicate fragment না রেখেই current hypothesis উন্নত হতে পারে।
Both প্রথমে Sequential চালায়, তারপর সম্পূর্ণ utterance আলাদা batch model-কে দেয়। Provisional text নিরাপদে বদলানো যায় ততক্ষণই second result authoritative। User cursor সরালে, text edit করলে, message পাঠালে বা field ছাড়লে Loquela তাদের কাজের ওপর late correction বসাবে না।
এগুলো user choice, silent fallback নয়। Nemotron না থাকলে Sequential ও Both selected-ই দেখা যায় এবং model install দরকার বলে। App নীরবে Batch-এ ফেরত না দিয়ে সরাসরি Voice Models-এ link দেয়।
Batch বাদ যাচ্ছে না
Batch recognition answer তৈরির আগে সম্পূর্ণ utterance পরীক্ষা করতে পারে। শুরুর phrase ambiguous হলে বা sentence-এর পরের অংশ শুনে model উপকৃত হলে এটি মূল্যবান।
এর compute model-ও সহনশীল। Phone-এর Stop-এর পরে দীর্ঘ utterance process করতে কয়েক second লাগলে result slow মনে হতে পারে, কিন্তু user কথা চালিয়ে যাওয়ার সময় recognizer-এর live backlog ক্রমেই বাড়ে না।
তাই Loquela current batch recognizer path ও প্রতিটি compatible installed model রাখে। নতুন architecture strategy যোগ করে; প্রমাণিত path-কে একটি fashionable recognizer দিয়ে বদলায় না।
Streaming কী বদলায়
Native streaming model speech চলাকালেই ছোট chunk পায়। Chunk-এর মাঝে cached recognition state রাখে এবং আরও audio এলে current hypothesis সংশোধন করতে পারে।
Android-এ partial word composing text-এ থাকা উচিত। Composing text provisional: keyboard editor-এ duplicate fragment-এর trail commit না করেই এটি replace করতে পারে। Optional Remote realtime transcription-এ Loquela এই contract আগেই ব্যবহার করে। Version 0.15 isolated local recognition process-এ একই capability আনে।
Microphone process boundary-এর keyboard side-এই থাকে। দীর্ঘস্থায়ী একটি audio connection ordered sample recognizer-এ নিয়ে যায়; callback বদলানো partial, endpoint event, final transcript বা content-free failure category ফেরায়। এতে প্রতিটি audio frame-এর জন্য আলাদা IPC call লাগে না এবং local model-এর বর্তমান crash isolation থাকে।
Streaming স্বয়ংক্রিয়ভাবে batch-এর চেয়ে কম contextual নয়। Cached state-এ আগে বলা অংশ থাকে। পার্থক্য হলো current guess দেখানোর আগে এটি future word শুনতে পারে না। তাই partial দৃশ্যত ও technically provisional থাকতে হবে।
Two-pass কী যোগ করে
Two-pass timing model দুইটি মিলিয়ে দেয়:
- User কথা বলার সময় streaming package তাৎক্ষণিক local text দেয়।
- Active session-এর utterance audio Loquela ধরে রাখে।
- Stop-এর পরে আলাদা batch package সম্পূর্ণ utterance পায়।
- Final result এখনো নিরাপদ composing text-কে replace বা complete করে।
Second pass general AI rewrite নয়। তার কাজ এখনো transcription: সম্পূর্ণ utterance বিবেচনা করতে পারে এমন model দিয়ে বলা কথা উদ্ধার করা। Loquela tone, intent বা authorship নীরবে বদলানো prose generator ঢোকায় না।
Two-pass কোনো model-এ stored property-ও নয়। Streaming package streaming-ই থাকে, batch package batch-ই থাকে। User-facing mode compatible pair তৈরি করে এবং cost দেখায়।
এই separation জরুরি, কারণ two-pass ব্যয়বহুল হতে পারে। দুই model archive বেশি storage নেয়। দুই recognizer resident রাখলে final correction দ্রুত হয় কিন্তু peak memory বাড়ে। Stop-এর পর final model load করলে overlap কমে কিন্তু cold latency বাড়ে। Cheap batch model আরামে fit করেও বড় streaming model-কে উন্নত না করতে পারে; শক্তিশালী finalizer-ই হয়তো সবচেয়ে ব্যয়বহুল pairing।
Real utterance ও real phone-এ correction benefit meaningful হলেই feature promotion পাবে।
Second model বাছাইয়ে উপকারী tension আছে। Small finalizer resident রাখা সহজ, কিন্তু 600 million parameter streaming model-কে second decode-এর cost justify করার মতো উন্নত নাও করতে পারে। Whisper Turbo-র মতো বড় model মূল্যবান correction দেওয়ার সম্ভাবনা বেশি, কিন্তু তার archive ও runtime memory Nemotron-এর সঙ্গে মেলানোই expensive case। Architecture আছে বলেই নয়, beta measurement ঠিক করবে কোন pairing recommendation পাওয়ার যোগ্য।
Nemotron কেন প্রথম গুরুতর streaming candidate
Loquela sherpa-onnx-এর Android-compatible online recognizer দিয়ে NVIDIA-র Nemotron 3.5 ASR Streaming 0.6B যাচাই করছে।
NVIDIA weight NeMo ecosystem-এ trained, কিন্তু Loquela NVIDIA-র Python runtime embed করে না বা CUDA চায় না। Sherpa-onnx model-কে ONNX-এ export করে এবং Loquela-র current local speech model-এর একই Android native runtime family-তে চালায়।
Nemotron একটি 600 million parameter cache-aware FastConformer-RNNT model। NVIDIA 80 ms থেকে 1120 ms পর্যন্ত পাঁচটি latency configuration প্রকাশ করে। Loquela 560 ms package দিয়ে শুরু করে, কারণ early partial ও recognition quality-এর মাঝামাঝি এটি সম্ভাব্য ভারসাম্য; desktop benchmark phone-এর উপযোগিতা প্রমাণ করে বলে নয়।
Model card 19টি transcription-ready locale, 13টি broad-coverage locale ও additional fine-tuning দরকার এমন 8টি adaptation-ready locale আলাদা করে। পরে evidence না আসা পর্যন্ত Loquela শুধু 32টি ready বা broad-coverage locale দেখাবে। Published 560 ms result-এ automatic language detection-এর English accuracy penalty দেখা যায় বলে English default। Multilingual detection user-এর deliberate tradeoff হলে Auto থাকে।
Architecture diagram নয়, phone সিদ্ধান্ত নেয়
Local streaming recognizer-কে incoming audio-এর চেয়ে এগিয়ে থাকতে হয়। Real-time factor 1.0 শুধু break-even; warm phone, busy foreground app বা স্বাভাবিক scheduling burst-এর জায়গা থাকে না। Loquela-র promotion target sustained real-time factor 0.5 বা কম, সঙ্গে repeated thermally warmed session-এ audio backlog না বাড়ার evidence।
Validation তিনটি timing আলাদা করে:
- Cold preparation model ও native runtime load-এর সময় মাপে।
- Warm speech-to-first-partial recognizer ready হওয়ার পর useful live text কত দ্রুত আসে তা মাপে।
- Stop-to-final utterance শেষ করার পর user কতক্ষণ অপেক্ষা করেন তা মাপে।
Speed একটি gate মাত্র। Physical low-, mid- ও flagship-tier phone-এ repeated session জুড়ে stable native memory, process death-এর পরে recovery, সাধারণ ও অস্বাভাবিক Android editor-এ safe behavior এবং text loss বা duplication না থাকাও প্রমাণ করতে হবে।
Battery-কে batch-এর ratio নয়, absolute product cost হিসেবে মাপা হয়। দরকারি number হলো typical utterance প্রতি energy এবং stated dictation volume-এ projected daily cost। Thermal throttling আলাদা correctness concern, কারণ এটি real-time ও backlog guarantee সরাসরি ভাঙতে পারে।
560 ms কোনো tier-এ অল্পের জন্য ব্যর্থ হলে tier বাদ দেওয়ার আগে Loquela 1120 ms package মাপতে পারে। এতে lookahead বেশি ও recognizer invocation কম, কিন্তু phone throughput যথেষ্ট বাড়ে কি না এবং added partial latency গ্রহণযোগ্য কি না অনুমান নয়, মাপতে হবে।
যে physical-phone failure v0.15.1 বদলে দিয়েছে
OnePlus device-এ প্রথম Play-installed v0.15.0 test এমন failure দেখায়, যা সাধারণ JVM test ও successful build ধরতে পারেনি। প্রতিটি local model বলছিল voice audio সম্পূর্ণ transfer হয়নি। Android log-এ দেখা যায় isolated recognizer expected sample count পাওয়ার আগেই reliable file-descriptor pipe remote side dead বলেছে।
Loquela integrity check দুর্বল করেনি। Version 0.15.1 transport-কে ordinary Android pipe-এ বদলেছে, আলাদা expected-sample count ও explicit finish signal রেখে। Android instrumentation test এখন একই pipe protocol দিয়ে real float sample লেখে, clean EOF পর্যন্ত পড়ে এবং physical hardware-এ exact sequence verify করে।
এই distinction জরুরি: compile প্রমাণ করে API মেলে, byte-array unit test framing logic প্রমাণ করে, কিন্তু app-এর real process boundary জুড়ে Android file-descriptor behavior কোনোটিই প্রমাণ করে না। Beta platform-level integration failure ধরেছে, আর regression test এখন সরাসরি সেই layer target করে।
v0.15.1 কী উপলভ্য করে
Nemotron-এর 560 ms package beta install-এর জন্য listed। Voice settings-এ Sequential ও Both সবসময় দেখা যায়, Nemotron না থাকলে setup prompt আসে। Deleted বা damaged selection selected-ই থাকে কিন্তু repair দরকার বলে; Loquela user-এর recognition mode নীরবে বদলায় না।
Moonshine v2 Tiny ও Base অনেক ছোট English batch model হিসেবে beta catalog-এ এসেছে। Tiny পুরোনো package-এর প্রায় 108 MB থেকে প্রায় 30 MB, Base প্রায় 251 MB থেকে প্রায় 111 MB। পুরোনো package current install-এ চলে, কিন্তু new install থেকে retired এবং replacement-এর দিকে user-কে নির্দেশ করে।
Moonshine v2 foundation-এর Nemotron-এর চেয়ে আলাদা অংশ পরীক্ষা করে। Merged-decoder .ort layout-এর জন্য explicit runtime profile, discovery, validation, recovery ও offline configuration support দরকার। Nemotron পরিচিত encoder, decoder, joiner ও token file role পুনর্ব্যবহার করে, কিন্তু নতুন online recognizer strategy-কে file-গুলো খুলতে হয়। শুধু file shape দেখে model কীভাবে চলবে তা কখনো ঠিক করা যাবে না।
Beta tester-রা কী চেষ্টা করবেন
সবচেয়ে useful Sequential test শুধু clean demo sentence নয়। Short command, long dictation, name, technical term, pause, warm repeated session ও composing text আক্রমণাত্মকভাবে বদলানো editor চেষ্টা করুন। Delay বাড়ছে কি না, word repeat বা missing হচ্ছে কি না, edit-এর পরে unsafe replacement হচ্ছে কি না এবং app switch-এর পরে behavior কেমন দেখুন।
Both-এর জন্য final result-কে visible Sequential hypothesis-এর সঙ্গে তুলনা করুন। Second pass শুধু punctuation বদলালে বা churn আনলে extra cost অর্জন করেনি। আসল signal হলো এটি manual correction লাগত এমন error নির্ভরযোগ্যভাবে সরায় কি না।
যেসব Parakeet user-এর শেষ word বা sentence হারায়, তারা নতুন decoder-tail beta test ব্যবহার করতে পারেন। এটি captured utterance-এর পরে controlled silence যোগ করে, earlier audio-transfer bug ও decoder behavior-কে একই problem না ধরেই transducer-কে অতিরিক্ত trailing context দেয়। Real comparison ভালো value না দেখানো পর্যন্ত default zero।
Settings feedback shortcut একই beta philosophy-র অংশ: feature request, bug report ও অন্য observation general settings screen থেকে এক tap দূরে থাকা উচিত, product-specific submenu-তে লুকিয়ে নয়।
Privacy mode-ভিত্তিক ও স্পষ্ট থাকে
Batch, Streaming ও Two-pass local recognition audio device-এই রাখে। Session audio persistent recording হিসেবে save না করে active recognition plan-এর জন্য ব্যবহৃত হয়। Requested final decode করতে যতটুকু দরকার Two-pass ততক্ষণই রাখে।
Optional Remote transcription নিজস্ব account ও privacy boundary-সহ আলাদা network mode। Diagnostic retention dictated text বা audio-এর বদলে bounded, content-free failure information রাখে।
লক্ষ্য শুধু text আগে দেখানো নয়। Final accuracy দুর্বল না করে, compute cost না লুকিয়ে এবং typing করা মানুষের control না কেড়ে live private dictation সম্ভব করা।
বর্তমান product boundary জানতে v0.15.1 patch notes, Voice Models ও Privacy দেখুন।