كيف يطوّر Loquela الكتابة الصوتية المحلية المباشرة وبمرحلتين
من الإملاء المحلي الدفعي إلى نصوص جزئية محلية مباشرة، مع مرحلة ثانية اختيارية لتحسين الدقة النهائية.
فضّلت الكتابة الصوتية المحلية في Loquela دائمًا حدًا بسيطًا للخصوصية: تنزيل نموذج كلام، والتسجيل فقط عندما يبدأ المستخدم الإملاء، والتعرف على الهاتف، ثم إدخال النص في حقل Android النشط.
حتى v0.15، اتبعت النماذج المحلية نمط توقيت واحدًا. يجمع Loquela العبارة وينتظر Stop ثم يسلّم التسجيل كاملًا إلى محرك دون إنترنت. هذا هو التعرف الدفعي، ويعمل مع كل النماذج المحلية المدرجة حاليًا، لكنه لا يعرض نصًا محليًا حقيقيًا أثناء استمرار الكلام.
يغيّر الإصدار 0.15 هذا الأساس. يستطيع Loquela تشغيل خطط Batch أو Streaming أو Two-pass ضمن تجربة لوحة المفاتيح نفسها دون الادعاء بأن نموذجًا واحدًا يؤدي المهام الثلاث.
يخطو الإصدار 0.15.1 الخطوة التالية الأكثر علنية عمدًا: يستطيع المختبرون تثبيت أول نموذج محلي مباشر حقيقي واختيار السلوكيات الثلاثة بأنفسهم. يسميها التطبيق Batch وSequential وBoth. ويظل “Streaming” و“two-pass” مصطلحين هندسيين مفيدين، لكن الإعدادات تصف تجربة المستخدم الفعلية.
ثلاثة أوضاع وثلاثة وعود واضحة
ينتظر Batch الضغط على Stop ثم يطلب التفريغ من نموذج يعمل دون إنترنت. ويبقى افتراضيًا ويدعم كتالوج Loquela المستقر.
يشغّل Sequential نموذج Nemotron أثناء وصول الكلام. تظهر الكلمات بالتتابع كنص قيد التكوين قابل للاستبدال، فتتحسن الفرضية الحالية دون ترك أجزاء مكررة في المحرر.
يشغّل Both وضع Sequential أولًا، ثم يرسل العبارة كاملة إلى نموذج دفعي منفصل. ولا تكون النتيجة الثانية معتمدة إلا ما دام استبدال النص المؤقت آمنًا. إذا حرّك المستخدم المؤشر أو عدّل النص أو أرسل الرسالة أو غادر الحقل، فلا يجوز لـLoquela تطبيق تصحيح متأخر فوق عمله.
هذه خيارات للمستخدم وليست بدائل صامتة. إذا غاب Nemotron، يظل Sequential وBoth محددين بوضوح مع شرح ضرورة تثبيته. ويربط التطبيق مباشرة بـVoice Models بدلًا من العودة خفيةً إلى Batch.
Batch لن يختفي
يستطيع التعرف الدفعي فحص العبارة كاملة قبل الإجابة. وهذا مفيد عند غموض عبارة مبكرة أو استفادة النموذج مما يأتي لاحقًا في الجملة.
وهو أكثر تسامحًا في الحساب أيضًا. إذا احتاج الهاتف عدة ثوانٍ بعد Stop لمعالجة عبارة طويلة، قد تبدو النتيجة بطيئة، لكن المحرك لا يراكم طابورًا مباشرًا متزايدًا أثناء استمرار الكلام.
لذلك يحتفظ Loquela بمساره الدفعي الحالي وكل نموذج مثبت متوافق. تضيف البنية الجديدة استراتيجيات ولا تستبدل مسارًا مثبتًا بمحرك واحد رائج.
ما الذي يغيّره Streaming؟
يتلقى نموذج بث أصيل مقاطع صغيرة أثناء الكلام. ويحتفظ بحالة التعرف في ذاكرة مؤقتة بين المقاطع، ويستطيع مراجعة فرضيته مع وصول مزيد من الصوت.
في Android، تنتمي الكلمات الجزئية إلى النص قيد التكوين. إنه مؤقت؛ تستطيع لوحة المفاتيح استبداله دون تثبيت سلسلة أجزاء مكررة. يستخدم Loquela هذا العقد بالفعل لتفريغ Remote الاختياري في الوقت الحقيقي. وينقل الإصدار 0.15 القدرة نفسها إلى عملية التعرف المحلية المعزولة.
يبقى الميكروفون في جانب لوحة المفاتيح من حد العمليات. يحمل اتصال صوتي طويل العمر عينات مرتبة إلى المحرك، بينما تعيد الاستدعاءات الراجعة النصوص الجزئية المتغيرة وأحداث نهاية العبارة والنص النهائي أو فئة إخفاق خالية من المحتوى. يتجنب ذلك استدعاء IPC لكل إطار صوت ويحافظ على عزل الأعطال المستخدم للنماذج المحلية.
ليس Streaming أقل سياقية تلقائيًا من المعالجة الدفعية. فهو يحتفظ بما قيل في حالته المؤقتة. الفرق أنه لا يسمع الكلمات القادمة قبل عرض تخمينه الحالي، ولذلك يجب أن تبقى النتائج الجزئية مؤقتة بصريًا وتقنيًا.
ما الذي يضيفه Two-pass؟
يجمع Two-pass نمطي التوقيت:
- تنتج حزمة البث نصًا محليًا فوريًا أثناء كلام المستخدم.
- يحتفظ Loquela بصوت العبارة للجلسة النشطة.
- بعد Stop، تستقبل حزمة دفعية منفصلة العبارة كاملة.
- تستبدل النتيجة النهائية النص قيد التكوين الذي ما زال آمن التعديل أو تكمله.
المرحلة الثانية ليست إعادة صياغة عامة بالذكاء الاصطناعي. تظل مهمتها التفريغ: استعادة ما قيل باستخدام نموذج ينظر إلى العبارة كاملة. ولا يدرج Loquela مولد نصوص يغيّر النبرة أو القصد أو نسبة الكلام إلى صاحبه بصمت.
وليست Two-pass خاصية مخزنة في أي من النموذجين. تظل حزمة البث حزمة بث، والدفعية دفعية. ينشئ الوضع الظاهر للمستخدم زوجًا متوافقًا ويوضح التكلفة.
هذا الفصل مهم لأن المرحلتين قد تكونان مكلفتين. يشغل أرشيفان مساحة أكبر. وإبقاء المحركين محملين قد يسرّع التصحيح النهائي لكنه يرفع ذروة الذاكرة. تحميل النموذج النهائي بعد Stop فقط يقلل التداخل لكنه يضيف تأخير بدء بارد. قد يتسع نموذج دفعي خفيف بسهولة دون تحسين نموذج بث أكبر بكثير، بينما قد يشكّل نموذج نهائي أقوى الزوج الأعلى تكلفة.
لا تستحق الميزة الترويج إلا إذا كان نفع التصحيح ملموسًا في عبارات وهواتف حقيقية.
هناك مفاضلة مفيدة عند اختيار النموذج الثاني. يسهل إبقاء نموذج نهائي صغير في الذاكرة، لكنه قد لا يحسّن نموذج بث ذي 600 مليون معلمة بما يبرر فك ترميز ثانٍ. نموذج أكبر مثل Whisper Turbo أرجح لتقديم تصحيحات نافعة، لكن جمع أرشيفه وذاكرة تشغيله مع Nemotron هو الحالة المكلفة. تقرر قياسات النسخة التجريبية، لا مجرد وجود البنية، إن كان زوج معين يستحق التوصية.
لماذا Nemotron أول مرشح جاد للبث؟
يقيّم Loquela نموذج NVIDIA المسمى Nemotron 3.5 ASR Streaming 0.6B عبر محرك sherpa-onnx المتدفق المتوافق مع Android.
دُرّبت أوزان NVIDIA ضمن NeMo، لكن Loquela لا يضم بيئة Python الخاصة بـNVIDIA ولا يتطلب CUDA. يصدّر sherpa-onnx النموذج إلى ONNX ويشغّله عبر عائلة بيئات Android الأصلية نفسها التي يستخدمها Loquela للنماذج المحلية.
Nemotron نموذج FastConformer-RNNT يستفيد من الذاكرة المؤقتة ويضم 600 مليون معلمة. تنشر NVIDIA خمسة إعدادات تأخير من 80 ms إلى 1120 ms. يبدأ Loquela بحزمة 560 ms كنقطة وسط معقولة بين النتائج المبكرة والجودة، لا لأن معيارًا على الحاسوب أثبت ملاءمتها للهاتف.
تميز بطاقة النموذج بين 19 إعدادًا لغويًا جاهزًا للتفريغ و13 واسع التغطية و8 جاهزة للتكييف تحتاج إلى ضبط إضافي. سيعرض Loquela الـ32 الجاهزة أو واسعة التغطية فقط، ما لم تدعم أدلة لاحقة المزيد. الإنجليزية افتراضية لأن نتائج 560 ms المنشورة تُظهر تراجعًا قابلًا للقياس في دقتها مع اكتشاف اللغة تلقائيًا. ويظل Auto متاحًا عندما يختار المستخدم عن قصد مفاضلة الاكتشاف متعدد اللغات.
الهاتف يقرر، لا مخطط البنية
يجب أن يسبق محرك البث المحلي الصوت الوارد في المعالجة. معامل وقت حقيقي قدره 1.0 يحقق التعادل فقط، دون هامش لهاتف دافئ أو تطبيق أمامي مشغول أو تقلبات جدولة عادية. هدف Loquela للترويج هو معامل مستمر لا يتجاوز 0.5، مع دليل على عدم نمو طابور الصوت خلال جلسات متكررة بعد ارتفاع حرارة الجهاز.
يفصل التحقق بين ثلاثة أزمنة:
- يقيس التحضير البارد تحميل النموذج وبيئة التشغيل الأصلية.
- يقيس الزمن من الكلام إلى أول نتيجة جزئية بعد الاستعداد سرعة ظهور نص مفيد عندما يصبح المحرك جاهزًا.
- يقيس الزمن من Stop إلى النتيجة النهائية انتظار المستخدم بعد انتهاء العبارة.
السرعة شرط واحد فقط. يجب أن تُظهر هواتف فعلية اقتصادية ومتوسطة ورائدة ذاكرة أصلية مستقرة عبر جلسات متكررة، واستردادًا بعد موت العملية، وسلوكًا آمنًا في المحررات المعتادة وغير المعتادة، دون فقد نص أو تكراره.
تُقاس البطارية كتكلفة مطلقة للمنتج لا كنسبة إلى Batch فقط. الرقم المفيد هو الطاقة لكل عبارة نموذجية مع تكلفة يومية متوقعة لحجم إملاء معلن. ويشكل خفض الأداء الحراري مسألة صحة تشغيل مستقلة لأنه قد ينقض ضمانات الوقت الحقيقي وطابور الصوت مباشرة.
إذا أخفقت 560 ms بفارق ضئيل في فئة أجهزة، يمكن قياس حزمة 1120 ms قبل التخلي عنها. توفر سياقًا استباقيًا أكبر واستدعاءات أقل للمحرك، لكن يجب قياس ما إذا كانت زيادة المعالجة تبرر تأخير النتائج الجزئية، لا افتراض ذلك.
الإخفاق على هاتف فعلي الذي غيّر v0.15.1
كشف أول اختبار لـv0.15.0 المثبت من Play على OnePlus مشكلة لم تكشفها اختبارات JVM العادية أو البناء الناجح. أبلغ كل نموذج محلي عن عدم انتقال الصوت كاملًا. وأظهرت سجلات Android أن قناة واصف الملف الموثوقة أبلغت عن موت طرفها الآخر قبل تلقي المحرك المعزول العدد المتوقع من العينات.
لم يضعف Loquela فحص السلامة. ينتقل الإصدار 0.15.1 إلى قناة Android عادية مع الحفاظ على العدد المتوقع المنفصل وإشارة إنهاء صريحة. يكتب اختبار أجهزة Android الآن عينات float حقيقية عبر البروتوكول نفسه، ويقرأ حتى EOF سليم، ويتحقق من التسلسل الدقيق على عتاد فعلي.
هذا الفرق مهم: يثبت البناء توافق الواجهات، ويثبت اختبار مصفوفة البايتات منطق التأطير، لكن لا يثبت أيهما سلوك واصفات Android عبر حد العمليات الحقيقي. كشفت النسخة التجريبية إخفاق تكامل على مستوى المنصة، ويستهدف اختبار منع التراجع تلك الطبقة مباشرة الآن.
ما يتيحه v0.15.1
تُدرج حزمة Nemotron ذات 560 ms للتثبيت التجريبي. يظهر Sequential وBoth دائمًا في إعدادات الصوت، مع مطالبة بالإعداد عند غياب Nemotron. يظل الاختيار المحذوف أو التالف محددًا لكنه يظهر بوضوح حاجته للإصلاح؛ ولا يبدّل Loquela الوضع خفيةً.
يدخل Moonshine v2 Tiny وBase أيضًا الكتالوج التجريبي كنموذجين دفعيين للإنجليزية أصغر بكثير. ينخفض Tiny من نحو 108 MB إلى 30 MB، وBase من نحو 251 MB إلى 111 MB. وتظل الحزم القديمة قابلة للاستخدام في التثبيتات الحالية، لكنها تُسحب من التثبيتات الجديدة وتوجّه إلى بدائلها.
يختبر Moonshine v2 جانبًا مختلفًا من الأساس عن Nemotron. يتطلب تخطيط مفكك الترميز المدمج .ort ملف تشغيل صريحًا واكتشافًا وتحققًا واستردادًا ودعم إعداد دون إنترنت. يعيد Nemotron استخدام أدوار ملفات encoder وdecoder وjoiner والرموز المألوفة، لكن يجب فتحها باستراتيجية التعرف المتدفق الجديدة. لا يجوز أن يحدد شكل الملف وحده كيفية تشغيل النموذج.
ما الذي ينبغي للمختبرين تجربته؟
ليست اختبارات Sequential المفيدة مجرد جمل عرض واضحة. جرّبوا أوامر قصيرة وإملاء طويلًا وأسماء ومصطلحات تقنية وتوقفات وجلسات متكررة دافئة ومحررات تعبث بقوة بالنص قيد التكوين. راقبوا التأخير المتزايد والكلمات المكررة أو المفقودة والاستبدال غير الآمن بعد التعديل والسلوك بعد تبديل التطبيقات.
في Both، قارنوا النتيجة النهائية بفرضية Sequential الظاهرة. مرحلة ثانية لا تفعل سوى تغيير الترقيم أو إعادة تغييرات بلا فائدة لا تبرر تكلفتها. الإشارة المهمة هي إزالة أخطاء كانت ستحتاج إلى تصحيح يدوي بصورة موثوقة.
يمكن لمستخدمي Parakeet الذين يفقدون آخر كلمة أو جملة تجربة اختبار نهاية مفكك الترميز التجريبي الجديد. يضيف مقدارًا مضبوطًا من الصمت بعد العبارة، ليمنح النموذج سياقًا ختاميًا إضافيًا دون الخلط بين عيب نقل الصوت السابق وسلوك مفكك الترميز. ويبقى الافتراضي صفرًا حتى تحدد المقارنات الفعلية قيمة أفضل.
اختصار الملاحظات في Settings جزء من الفلسفة التجريبية نفسها: يجب أن تبعد طلبات الميزات وبلاغات الأخطاء والملاحظات نقرة واحدة عن الإعدادات العامة، لا أن تُخفى في قائمة فرعية خاصة بالمنتج.
تظل الخصوصية صريحة وخاصة بكل وضع
تبقي أوضاع Batch وStreaming وTwo-pass المحلية الصوت على الجهاز. يُستخدم صوت الجلسة لخطة التعرف النشطة بدلًا من حفظه كتسجيل دائم. ولا يحتفظ به Two-pass إلا بقدر ما يلزم لفك الترميز النهائي المطلوب.
يظل تفريغ Remote الاختياري وضع شبكة منفصلًا بحدوده الخاصة للحساب والخصوصية. وتحتفظ التشخيصات بمعلومات إخفاق محدودة وخالية من المحتوى بدلًا من النص المملى أو الصوت.
ليس الهدف إظهار النص أبكر فقط، بل إتاحة إملاء خاص مباشر دون إضعاف الدقة النهائية أو إخفاء تكلفة الحساب أو سحب التحكم من الشخص الذي يكتب.
راجع ملاحظات v0.15.1 ونماذج الصوت والخصوصية لحدود المنتج الحالية.