Loquela स्थानीय लाइव और दो-पास वॉइस टाइपिंग कैसे बना रहा है
केवल बैच ऑफ़लाइन वॉइस टाइपिंग से लाइव स्थानीय आंशिक टेक्स्ट और अंतिम सटीकता के लिए वैकल्पिक दूसरी पास तक Loquela के बदलाव की जानकारी।
Loquela की स्थानीय वॉइस टाइपिंग हमेशा सरल गोपनीयता सीमा को प्राथमिकता देती रही है: वॉइस मॉडल डाउनलोड करें, उपयोगकर्ता के वॉइस टाइपिंग शुरू करने पर ही रिकॉर्ड करें, फ़ोन पर पहचान चलाएँ और परिणाम का टेक्स्ट Android के सक्रिय फ़ील्ड में डालें।
v0.15 तक हर स्थानीय मॉडल एक ही समय-क्रम पर काम करता था। Loquela बोली गई बात इकट्ठी करता, Stop का इंतज़ार करता और फिर पूरी रिकॉर्डिंग ऑफ़लाइन पहचान इंजन को देता था। यही बैच पहचान है। यह Loquela की मौजूदा सूची के हर स्थानीय मॉडल के साथ काम करती है, लेकिन किसी के बोलते रहने के दौरान वास्तविक स्थानीय लाइव टेक्स्ट नहीं दिखा सकती।
वर्ज़न 0.15 इस आधार को बदलता है। Loquela अब उसी कीबोर्ड अनुभव में Batch, Streaming या Two-pass पहचान योजनाएँ चला सकता है, बिना यह मानने के कि एक मॉडल तीनों काम कर सकता है।
वर्ज़न 0.15.1 अगला, जानबूझकर अधिक सार्वजनिक कदम लेता है: बीटा परीक्षक पहला वास्तविक लाइव स्थानीय मॉडल इंस्टॉल कर सकते हैं और तीनों व्यवहार खुद चुन सकते हैं। ऐप इन्हें Batch, Sequential और Both कहता है। “Streaming” और “two-pass” उपयोगी इंजीनियरिंग शब्द बने रहते हैं, लेकिन सेटिंग बताती है कि उपयोगकर्ता वास्तव में क्या अनुभव करता है।
तीन मोड, तीन स्पष्ट वादे
Batch Stop तक प्रतीक्षा करता है और फिर एक ऑफ़लाइन मॉडल से ट्रांसक्रिप्ट माँगता है। यह डिफ़ॉल्ट बना रहता है और Loquela के स्थापित मॉडल कैटलॉग को समर्थित करता है।
Sequential आवाज़ आते समय Nemotron चलाता है। शब्द बदलने योग्य, बन रहे टेक्स्ट के रूप में क्रम से दिखते हैं, ताकि मौजूदा अनुमान संपादक में डुप्लिकेट अंश छोड़े बिना बेहतर हो सके।
Both पहले Sequential चलाता है और फिर पूरी बोली गई बात अलग बैच मॉडल को भेजता है। दूसरा परिणाम तभी निर्णायक है जब अस्थायी टेक्स्ट को बदलना सुरक्षित रहे। उपयोगकर्ता कर्सर हिला दे, टेक्स्ट संपादित करे, संदेश भेज दे या फ़ील्ड छोड़ दे, तो Loquela को उसके काम पर देर से आया सुधार लागू नहीं करना चाहिए।
ये उपयोगकर्ता के चुनाव हैं, चुपचाप अपनाए जाने वाले विकल्प नहीं। Nemotron न होने पर Sequential और Both चुने हुए दिखते रहते हैं और बताते हैं कि मॉडल इंस्टॉल करना होगा। ऐप उपयोगकर्ता को चुपचाप Batch में वापस लाने के बजाय सीधे वॉइस मॉडल से जोड़ता है।
Batch बना रहेगा
बैच पहचान जवाब देने से पहले पूरी बोली गई बात देख सकती है। यह तब उपयोगी है जब शुरुआती वाक्यांश अस्पष्ट हो या मॉडल को वाक्य में बाद में कही गई बात सुनने से फ़ायदा हो।
इसका गणना का तरीका भी धीमे प्रोसेसिंग को अधिक आसानी से सहता है। Stop के बाद लंबी बात प्रोसेस करने में फ़ोन को कई सेकंड लगें तो परिणाम धीमा लग सकता है, लेकिन उपयोगकर्ता के बोलते रहने के साथ पहचान इंजन पर बढ़ता हुआ लाइव काम जमा नहीं हो रहा होता।
इसलिए Loquela मौजूदा बैच पहचान का रास्ता और हर संगत इंस्टॉल किया मॉडल बनाए रखता है। नई संरचना रणनीतियाँ जोड़ती है; वह सिद्ध रास्ते को किसी एक लोकप्रिय पहचान इंजन से नहीं बदलती।
Streaming क्या बदलता है
मूल रूप से स्ट्रीमिंग के लिए बना मॉडल बात जारी रहते हुए छोटे ऑडियो हिस्से लेता है। वह हिस्सों के बीच पहचान की स्थिति कैश में रखता है और अधिक ऑडियो आने पर अपना मौजूदा अनुमान सुधार सकता है।
Android में ये आंशिक शब्द बन रहे टेक्स्ट, यानी composing text, में होने चाहिए। यह अस्थायी टेक्स्ट है: कीबोर्ड इसे संपादक में डुप्लिकेट अंश स्थायी रूप से डाले बिना बदल सकता है। Loquela वैकल्पिक Remote रियलटाइम ट्रांसक्रिप्शन में यह अनुबंध पहले से इस्तेमाल करता है। वर्ज़न 0.15 यही क्षमता अलग-थलग स्थानीय पहचान प्रक्रिया में लाता है।
माइक्रोफ़ोन प्रक्रिया की सीमा के कीबोर्ड वाले पक्ष पर रहता है। लंबे समय तक चलने वाला एक ऑडियो कनेक्शन पहचान इंजन तक क्रमबद्ध सैंपल पहुँचाता है, जबकि कॉलबैक बदले हुए आंशिक परिणाम, बात खत्म होने के इवेंट, अंतिम ट्रांसक्रिप्ट या सामग्री-रहित विफलता श्रेणी लौटाते हैं। इससे हर ऑडियो फ़्रेम के लिए अलग IPC कॉल नहीं चाहिए और स्थानीय मॉडल का मौजूदा क्रैश अलगाव बना रहता है।
Streaming में अपने आप Batch से कम संदर्भ नहीं होता। वह पहले बोली गई बात कैश में रखता है। अंतर यह है कि अपना मौजूदा अनुमान दिखाने से पहले वह भविष्य के शब्द नहीं सुन सकता। इसलिए आंशिक परिणाम दिखने में और तकनीकी रूप से अस्थायी रहने चाहिए।
Two-pass क्या जोड़ता है
Two-pass दोनों समय-क्रम जोड़ता है:
- उपयोगकर्ता के बोलते समय स्ट्रीमिंग पैकेज तुरंत स्थानीय टेक्स्ट बनाता है।
- सक्रिय सत्र के लिए Loquela बोली गई बात का ऑडियो रखता है।
- Stop के बाद अलग बैच पैकेज पूरी बात प्राप्त करता है।
- अंतिम परिणाम उस बन रहे टेक्स्ट को बदलता या पूरा करता है जिसे अभी बदलना सुरक्षित है।
दूसरी पास सामान्य AI पुनर्लेखन नहीं है। उसका काम अब भी ट्रांसक्रिप्शन है: ऐसे मॉडल से कही गई बात प्राप्त करना जो पूरी बात को ध्यान में रख सके। Loquela ऐसा गद्य जनरेटर नहीं जोड़ता जो चुपचाप लहजा, मंशा या लेखकीय अधिकार बदल दे।
Two-pass किसी एक मॉडल में रखी हुई विशेषता भी नहीं है। स्ट्रीमिंग पैकेज स्ट्रीमिंग ही रहता है और बैच पैकेज बैच ही। उपयोगकर्ता वाला मोड संगत जोड़ी बनाता है और उसकी लागत दिखाता है।
यह अलगाव ज़रूरी है, क्योंकि दो पास महँगी पड़ सकती हैं। दो मॉडल आर्काइव अधिक स्टोरेज लेते हैं। दोनों पहचान इंजन मेमोरी में रखने से अंतिम सुधार तेज़ हो सकता है, लेकिन अधिकतम मेमोरी बढ़ती है। अंतिम मॉडल Stop के बाद ही लोड करने से दोनों के साथ मेमोरी में रहने का समय घटता है, लेकिन पहली बार लोड करने की देरी जुड़ती है। हल्का बैच मॉडल आराम से समा सकता है, फिर भी बहुत बड़े स्ट्रीमिंग मॉडल को बेहतर न बना पाए; अधिक सक्षम फ़ाइनलाइज़र की जोड़ी सबसे महँगी पड़ सकती है।
यह सुविधा तभी आगे बढ़ाने योग्य है जब वास्तविक बोली गई बात और वास्तविक फ़ोन पर सुधार का लाभ सार्थक हो।
दूसरा मॉडल चुनने में उपयोगी तनाव है। छोटा फ़ाइनलाइज़र मेमोरी में रखना आसान है, लेकिन शायद वह 60 करोड़ पैरामीटर वाले स्ट्रीमिंग मॉडल को इतना बेहतर न करे कि दूसरी डिकोडिंग उचित हो। Whisper Turbo जैसा बड़ा मॉडल उपयोगी सुधार की अधिक संभावना रखता है, लेकिन उसके आर्काइव और रनटाइम मेमोरी को Nemotron के साथ जोड़ना महँगा मामला है। किसी खास जोड़ी को सुझाना चाहिए या नहीं, यह बीटा माप तय करते हैं, केवल संरचना का मौजूद होना नहीं।
Nemotron पहला गंभीर स्ट्रीमिंग उम्मीदवार क्यों है
Loquela NVIDIA के Nemotron 3.5 ASR Streaming 0.6B का मूल्यांकन Android-संगत sherpa-onnx स्ट्रीमिंग पहचान इंजन से कर रहा है।
NVIDIA के वेट NeMo परिवेश में प्रशिक्षित हुए थे, लेकिन Loquela NVIDIA का Python रनटाइम साथ नहीं जोड़ता और CUDA नहीं माँगता। Sherpa-onnx मॉडल को ONNX में निर्यात करके उसी Android नेटिव रनटाइम परिवार से चलाता है जिसे Loquela पहले से स्थानीय वॉइस मॉडल के लिए इस्तेमाल करता है।
Nemotron 60 करोड़ पैरामीटर वाला, कैश का उपयोग करने वाला FastConformer-RNNT मॉडल है। NVIDIA 80 ms से 1120 ms तक पाँच लेटेंसी कॉन्फ़िगरेशन प्रकाशित करता है। Loquela 560 ms पैकेज से शुरू करता है, क्योंकि वह जल्दी आंशिक परिणाम और पहचान की गुणवत्ता के बीच एक संभावित मध्य बिंदु है; इसलिए नहीं कि किसी डेस्कटॉप बेंचमार्क ने उसे फ़ोन के लिए सही साबित कर दिया है।
मॉडल कार्ड ट्रांसक्रिप्शन के लिए तैयार 19 लोकैल, व्यापक कवरेज वाले 13 लोकैल और अनुकूलन के लिए तैयार 8 लोकैल अलग करता है, जिन्हें अतिरिक्त फ़ाइन-ट्यूनिंग चाहिए। बाद के प्रमाण अधिक समर्थन न दें तो Loquela केवल तैयार या व्यापक कवरेज वाले 32 लोकैल दिखाएगा। अंग्रेज़ी डिफ़ॉल्ट है, क्योंकि प्रकाशित 560 ms परिणामों में भाषा अपने आप पहचानने से अंग्रेज़ी की सटीकता में मापने योग्य कमी दिखती है। जब उपयोगकर्ता बहुभाषी पहचान का यह समझौता जानबूझकर चुने, तब Auto उपलब्ध रहता है।
निर्णय फ़ोन करता है, संरचना का चित्र नहीं
स्थानीय स्ट्रीमिंग पहचान इंजन को आने वाले ऑडियो से आगे रहना चाहिए। रियलटाइम फ़ैक्टर 1.0 होने का मतलब केवल बराबरी है। इसमें गर्म फ़ोन, व्यस्त सामने वाले ऐप या सामान्य शेड्यूलिंग उतार-चढ़ाव के लिए गुंजाइश नहीं बचती। Loquela का आगे बढ़ाने का लक्ष्य लगातार 0.5 या उससे कम रियलटाइम फ़ैक्टर है, साथ में यह प्रमाण कि बार-बार सत्र चलने से गर्म हुए फ़ोन पर ऑडियो का लंबित काम नहीं बढ़ता।
जाँच तीन समय अलग करती है:
- कोल्ड तैयारी मॉडल और नेटिव रनटाइम लोड करने का समय मापती है।
- वार्म स्थिति में बोलना शुरू होने से पहला आंशिक परिणाम दिखने तक का समय बताता है कि पहचान इंजन तैयार होने के बाद उपयोगी लाइव टेक्स्ट कितनी जल्दी दिखता है।
- Stop से अंतिम परिणाम तक का समय बताता है कि बात पूरी होने के बाद उपयोगकर्ता कितना इंतज़ार करता है।
गति केवल एक कसौटी है। कम, मध्यम और फ़्लैगशिप श्रेणी के वास्तविक फ़ोन पर बार-बार सत्रों में स्थिर नेटिव मेमोरी, प्रक्रिया बंद होने के बाद रिकवरी, सामान्य और असामान्य Android संपादक में सुरक्षित व्यवहार, और टेक्स्ट न खोने या दोहराने का प्रमाण भी चाहिए।
बैटरी केवल Batch के अनुपात के रूप में नहीं, प्रोडक्ट की वास्तविक लागत के रूप में मापी जाती है। उपयोगी संख्या है एक सामान्य बोली गई बात पर ऊर्जा और बताई गई दैनिक वॉइस मात्रा पर अनुमानित रोज़ाना लागत। गर्मी से गति घटाना अलग शुद्धता संबंधी चिंता है, क्योंकि वह रियलटाइम और लंबित काम की गारंटी सीधे तोड़ सकता है।
यदि 560 ms पैकेज किसी श्रेणी में थोड़ा चूकता है, तो उस श्रेणी को छोड़ने से पहले Loquela 1120 ms पैकेज माप सकता है। वह आगे के अधिक ऑडियो को देखता है और पहचान इंजन को कम बार बुलाता है, लेकिन क्या उससे फ़ोन का प्रोसेसिंग प्रदर्शन इतना बढ़ता है कि आंशिक परिणाम की अतिरिक्त देरी उचित हो, यह मानने के बजाय मापना होगा।
वास्तविक फ़ोन की वह विफलता जिसने v0.15.1 बदला
OnePlus डिवाइस पर Play से इंस्टॉल किए v0.15.0 की पहली जाँच में ऐसी विफलता मिली जो सामान्य JVM परीक्षण और सफल बिल्ड नहीं दिखा सकते थे। हर स्थानीय मॉडल बता रहा था कि वॉइस ऑडियो पूरा स्थानांतरित नहीं हुआ। Android लॉग में दिखा कि विश्वसनीय फ़ाइल-डिस्क्रिप्टर पाइप ने दूर वाले सिरे को बंद बताया, इससे पहले कि अलग-थलग पहचान इंजन अपेक्षित सैंपल संख्या प्राप्त करता।
Loquela ने अखंडता की जाँच कमज़ोर नहीं की। वर्ज़न 0.15.1 परिवहन को सामान्य Android पाइप में बदलता है, जबकि अपेक्षित सैंपल का अलग हिसाब और स्पष्ट समाप्ति संकेत बनाए रखता है। Android इंस्ट्रुमेंटेशन परीक्षण अब उसी पाइप प्रोटोकॉल से वास्तविक फ़्लोट सैंपल लिखता है, उन्हें साफ़ EOF तक पढ़ता है और वास्तविक हार्डवेयर पर सटीक क्रम जाँचता है।
यह अंतर ज़रूरी है: कंपाइल होना API के मेल का प्रमाण है और बाइट ऐरे यूनिट परीक्षण फ़्रेमिंग तर्क का, लेकिन दोनों में से कोई ऐप की वास्तविक प्रक्रिया सीमा के पार Android फ़ाइल-डिस्क्रिप्टर का व्यवहार सिद्ध नहीं करता। बीटा ने प्लेटफ़ॉर्म स्तर की एकीकरण विफलता पकड़ी और अब रिग्रेशन परीक्षण सीधे उसी स्तर को परखता है।
v0.15.1 क्या उपलब्ध कराता है
Nemotron का 560 ms पैकेज बीटा इंस्टॉल के लिए सूचीबद्ध है। Sequential और Both वॉइस सेटिंग में हमेशा दिखाई देते हैं और Nemotron न होने पर सेटअप का संदेश आता है। हटाया या क्षतिग्रस्त चयन चुना रहता है, लेकिन सुधार की ज़रूरत स्पष्ट दिखती है; Loquela उपयोगकर्ता का पहचान मोड चुपचाप नहीं बदलता।
Moonshine v2 Tiny और Base भी अंग्रेज़ी के बहुत छोटे बैच मॉडल के रूप में बीटा कैटलॉग में आते हैं। पुराने पैकेज की तुलना में Tiny लगभग 108 MB से लगभग 30 MB और Base लगभग 251 MB से लगभग 111 MB हो जाता है। पुराने पैकेज मौजूदा इंस्टॉल में काम करते हैं, लेकिन नए इंस्टॉल से हटाए जाते हैं और उपयोगकर्ताओं को उनके स्थानापन्न की ओर भेजते हैं।
Moonshine v2 आधार के उस हिस्से का उपयोग करता है जो Nemotron से अलग है। उसके मिले हुए डिकोडर वाले .ort लेआउट को स्पष्ट रनटाइम प्रोफ़ाइल, खोज, जाँच, रिकवरी और ऑफ़लाइन कॉन्फ़िगरेशन समर्थन चाहिए। Nemotron एन्कोडर, डिकोडर, जॉइनर और टोकन फ़ाइल की परिचित भूमिकाएँ दोबारा इस्तेमाल करता है, लेकिन वे फ़ाइलें नई स्ट्रीमिंग पहचान रणनीति से खुलनी चाहिए। केवल फ़ाइल का आकार-प्रकार कभी तय नहीं करना चाहिए कि मॉडल कैसे चलेगा।
बीटा परीक्षक क्या आज़माएँ
Sequential की सबसे उपयोगी जाँच केवल साफ़ डेमो वाक्य नहीं हैं। छोटे कमांड, लंबी वॉइस टाइपिंग, नाम, तकनीकी शब्द, विराम, गर्म फ़ोन पर बार-बार सत्र और बन रहे टेक्स्ट में बहुत बदलाव करने वाले संपादक आज़माएँ। बढ़ती देरी, दोहराए या गायब शब्द, संपादन के बाद असुरक्षित बदलाव और ऐप बदलने के बाद के व्यवहार पर ध्यान दें।
Both में अंतिम परिणाम की तुलना दिखाई दे रहे Sequential अनुमान से करें। दूसरी पास केवल विराम चिह्न बदलती हो या बेवजह बदलाव करती हो तो उसकी अतिरिक्त लागत उचित नहीं हुई। उपयोगी संकेत यह है कि क्या वह भरोसेमंद ढंग से वे गलतियाँ हटाती है जिन्हें अन्यथा हाथ से सुधारना पड़ता।
जिन Parakeet उपयोगकर्ताओं का अंतिम शब्द या वाक्य गायब होता है, वे नया decoder-tail बीटा परीक्षण इस्तेमाल कर सकते हैं। यह कैप्चर की गई बात के बाद नियंत्रित मात्रा में मौन जोड़ता है, जिससे ट्रांसड्यूसर को अतिरिक्त अंतिम संदर्भ मिलता है। यह पुराने ऑडियो ट्रांसफ़र बग और डिकोडर व्यवहार को एक ही समस्या नहीं मानता। वास्तविक तुलना बेहतर मान न बताए तब तक डिफ़ॉल्ट शून्य रहता है।
सेटिंग का फ़ीडबैक शॉर्टकट इसी बीटा सोच का हिस्सा है: सुविधा अनुरोध, बग रिपोर्ट और दूसरे अवलोकन सामान्य सेटिंग स्क्रीन से एक टैप दूर होने चाहिए, किसी प्रोडक्ट-विशिष्ट उपमेन्यू में छिपे नहीं।
गोपनीयता हर मोड के लिए स्पष्ट रहती है
Batch, Streaming और Two-pass स्थानीय पहचान ऑडियो डिवाइस पर रखती हैं। सत्र का ऑडियो स्थायी रिकॉर्डिंग के रूप में सहेजने के बजाय सक्रिय पहचान योजना में इस्तेमाल होता है। Two-pass उसे केवल अनुरोधित अंतिम डिकोड करने जितनी देर रखता है।
वैकल्पिक Remote ट्रांसक्रिप्शन अलग नेटवर्क मोड रहता है, जिसकी अपनी खाता और गोपनीयता सीमा है। निदान में बोले गए टेक्स्ट या ऑडियो के बजाय सीमित, सामग्री-रहित विफलता जानकारी रखी जाती है।
लक्ष्य केवल टेक्स्ट जल्दी दिखाना नहीं है। लक्ष्य अंतिम सटीकता कम किए बिना, गणना की लागत छिपाए बिना और टाइप करने वाले व्यक्ति का नियंत्रण छीने बिना लाइव निजी वॉइस टाइपिंग संभव बनाना है।
मौजूदा प्रोडक्ट सीमा के लिए v0.15.1 के रिलीज़ नोट्स, वॉइस मॉडल और गोपनीयता देखें।