Loquela กำลังสร้างการพิมพ์ด้วยเสียงสดและสองรอบภายในเครื่องอย่างไร
เบื้องหลังการเปลี่ยนจากการป้อนตามคำบอกออฟไลน์แบบ batch เท่านั้น ไปสู่ข้อความชั่วคราวสดภายในเครื่องและรอบที่สองแบบเลือกใช้เพื่อความแม่นยำสุดท้าย
การพิมพ์ด้วยเสียงภายในเครื่องของ Loquela ให้ความสำคัญกับขอบเขตความเป็นส่วนตัวที่เรียบง่ายเสมอ: ดาวน์โหลดโมเดลเสียง บันทึกเฉพาะเมื่อผู้ใช้เริ่มป้อนตามคำบอก ทำการรู้จำบนโทรศัพท์ แล้วใส่ข้อความผลลัพธ์ลงในช่อง Android ที่ใช้งาน
ก่อน v0.15 โมเดลภายในเครื่องทุกตัวใช้รูปแบบเวลาเดียวกัน Loquela เก็บคำพูด รอ Stop แล้วส่งเสียงบันทึกทั้งหมดให้ตัวรู้จำออฟไลน์ นี่คือการรู้จำแบบ batch ซึ่งทำงานกับโมเดลภายในเครื่องทุกตัวที่ Loquela แสดงอยู่ แต่ไม่สามารถแสดงข้อความภายในเครื่องอย่างแท้จริงขณะที่ผู้ใช้ยังพูด
เวอร์ชัน 0.15 เปลี่ยนรากฐานนั้น Loquela เรียกใช้แผนรู้จำ Batch, Streaming หรือ Two-pass เบื้องหลังประสบการณ์แป้นพิมพ์เดียวกันได้ โดยไม่แสร้งว่าโมเดลเดียวทำงานทั้งสามอย่างได้
เวอร์ชัน 0.15.1 ก้าวไปขั้นถัดไปที่ตั้งใจเปิดเผยมากขึ้น: ผู้ทดสอบเบต้าติดตั้งโมเดลสดภายในเครื่องอย่างแท้จริงตัวแรกและเลือกพฤติกรรมทั้งสามเองได้ แอปเรียกว่า Batch, Sequential และ Both คำว่า “Streaming” และ “two-pass” ยังมีประโยชน์ทางวิศวกรรม แต่การตั้งค่าอธิบายสิ่งที่ผู้ใช้พบจริง
สามโหมด สามคำสัญญาที่ชัดเจน
Batch รอจนกด Stop แล้วขอข้อความจากโมเดลออฟไลน์หนึ่งตัว ยังคงเป็นค่าเริ่มต้นและรองรับแค็ตตาล็อกโมเดลเดิมของ Loquela
Sequential เรียก Nemotron ขณะเสียงเข้ามา คำจะปรากฏตามลำดับเป็นข้อความร่างที่แทนที่ได้ จึงปรับสมมติฐานปัจจุบันได้โดยไม่ทิ้งเศษข้อความซ้ำในช่องแก้ไข
Both เรียก Sequential ก่อน แล้วส่งคำพูดทั้งหมดให้โมเดล batch แยก ผลลัพธ์ที่สองถือเป็นหลักเฉพาะเมื่อข้อความชั่วคราวยังปลอดภัยที่จะแทน หากผู้ใช้ย้ายเคอร์เซอร์ แก้ข้อความ ส่งข้อความ หรือออกจากช่อง Loquela ต้องไม่ใช้การแก้ไขที่มาช้าทับงานของผู้ใช้
นี่คือตัวเลือกของผู้ใช้ ไม่ใช่การถอยกลับเงียบ ๆ หากไม่มี Nemotron โหมด Sequential และ Both ยังแสดงว่าเลือกอยู่และอธิบายว่าต้องติดตั้งโมเดล แอปลิงก์ตรงไป Voice Models แทนการลดกลับ Batch โดยไม่แจ้ง
Batch จะไม่หายไป
การรู้จำ Batch ตรวจคำพูดทั้งหมดก่อนให้คำตอบได้ ซึ่งมีค่าเมื่อวลีช่วงต้นกำกวมหรือโมเดลได้ประโยชน์จากการได้ยินส่วนถัดมาในประโยค
รูปแบบการคำนวณก็ผ่อนปรนกว่า หากโทรศัพท์ใช้เวลาหลายวินาทีประมวลผลคำพูดยาวหลัง Stop ผลอาจรู้สึกช้า แต่ตัวรู้จำไม่ได้สะสมคิวสดที่ยาวขึ้นเรื่อย ๆ ขณะผู้ใช้พูดต่อ
Loquela จึงเก็บเส้นทางตัวรู้จำ batch เดิมและโมเดลที่ติดตั้งซึ่งเข้ากันได้ทุกตัว สถาปัตยกรรมใหม่เพิ่มกลยุทธ์ ไม่ได้แทนเส้นทางที่พิสูจน์แล้วด้วยตัวรู้จำยอดนิยมเพียงตัวเดียว
สิ่งที่ Streaming เปลี่ยน
โมเดลสตรีมแบบเนทีฟรับช่วงเล็ก ๆ ขณะยังพูด เก็บสถานะรู้จำที่แคชไว้ระหว่างช่วง และแก้สมมติฐานปัจจุบันเมื่อมีเสียงเพิ่ม
บน Android คำชั่วคราวควรอยู่ในข้อความร่าง ข้อความร่างยังไม่ถาวร: แป้นพิมพ์แทนที่ได้โดยไม่ใส่เศษซ้ำต่อเนื่องในช่องแก้ไข Loquela ใช้ข้อตกลงนี้กับการถอดเสียง Remote แบบเรียลไทม์ที่เลือกใช้แล้ว เวอร์ชัน 0.15 นำความสามารถเดียวกันมาสู่กระบวนการรู้จำภายในเครื่องที่แยกออก
ไมโครโฟนยังอยู่ฝั่งแป้นพิมพ์ของขอบเขตกระบวนการ การเชื่อมต่อเสียงระยะยาวหนึ่งเส้นส่งตัวอย่างตามลำดับให้ตัวรู้จำ ส่วน callback ส่งคืนข้อความชั่วคราวที่เปลี่ยน เหตุการณ์จุดสิ้นสุด ข้อความสุดท้าย หรือประเภทความล้มเหลวที่ไม่มีเนื้อหา วิธีนี้เลี่ยงการเรียก IPC แยกทุกเฟรมเสียงและคงการแยกข้อขัดข้องที่ใช้กับโมเดลภายในเครื่อง
Streaming ไม่ได้มีบริบทน้อยกว่า batch โดยอัตโนมัติ มันเก็บสิ่งที่พูดแล้วในสถานะแคช ความต่างคือไม่อาจได้ยินคำในอนาคตก่อนแสดงการคาดเดาปัจจุบัน ดังนั้นข้อความชั่วคราวต้องดูและทำงานเป็นของชั่วคราวเสมอ
สิ่งที่ Two-pass เพิ่ม
Two-pass รวมรูปแบบเวลาสองแบบ:
- แพ็กเกจสตรีมสร้างข้อความภายในเครื่องทันทีขณะผู้ใช้พูด
- Loquela เก็บเสียงคำพูดไว้สำหรับเซสชันที่ใช้งาน
- หลัง Stop แพ็กเกจ batch แยกได้รับคำพูดทั้งหมด
- ผลสุดท้ายแทนหรือเติมข้อความร่างที่ยังปลอดภัย
รอบที่สองไม่ใช่การเขียนใหม่ด้วย AI ทั่วไป หน้าที่ของมันยังเป็นการถอดเสียง: กู้สิ่งที่พูดโดยใช้โมเดลที่พิจารณาคำพูดทั้งหมดได้ Loquela ไม่แทรกตัวสร้างร้อยแก้วที่เปลี่ยนน้ำเสียง เจตนา หรือความเป็นผู้เขียนอย่างเงียบ ๆ
Two-pass ไม่ใช่คุณสมบัติที่เก็บในโมเดลใดโมเดลหนึ่ง แพ็กเกจสตรีมยังเป็นสตรีม แพ็กเกจ batch ยังเป็น batch โหมดที่ผู้ใช้เห็นสร้างคู่ที่เข้ากันได้และแสดงต้นทุน
การแยกนี้สำคัญเพราะ two-pass อาจแพง ไฟล์โมเดลสองชุดใช้พื้นที่เพิ่ม การเก็บตัวรู้จำทั้งสองในหน่วยความจำทำให้การแก้สุดท้ายเร็วแต่เพิ่มหน่วยความจำสูงสุด การโหลดโมเดลสุดท้ายหลัง Stop ลดการซ้อนแต่เพิ่มความหน่วงเริ่มเย็น โมเดล batch ราคาถูกอาจพอดีแต่ไม่ปรับปรุงโมเดลสตรีมที่ใหญ่กว่าพอ ส่วนตัวสรุปผลที่แข็งแรงกว่าอาจเป็นคู่ที่แพงที่สุด
คุณสมบัตินี้จะได้รับการส่งเสริมเมื่อประโยชน์การแก้ไขมีความหมายบนคำพูดและโทรศัพท์จริงเท่านั้น
การเลือกโมเดลที่สองมีแรงดึงที่เป็นประโยชน์ ตัวสรุปผลเล็กเก็บในหน่วยความจำง่ายแต่อาจไม่ปรับปรุงโมเดลสตรีม 600 ล้านพารามิเตอร์พอคุ้มการถอดรหัสครั้งที่สอง โมเดลใหญ่เช่น Whisper Turbo มีแนวโน้มแก้ได้มีค่า แต่การจับคู่ไฟล์และหน่วยความจำรันกับ Nemotron เป็นกรณีแพง การวัดเบต้า ไม่ใช่เพียงการมีสถาปัตยกรรม จะตัดสินว่าคู่ใดควรได้รับคำแนะนำ
เหตุใด Nemotron จึงเป็นผู้สมัครสตรีมที่จริงจังตัวแรก
Loquela กำลังประเมิน Nemotron 3.5 ASR Streaming 0.6B ของ NVIDIA ผ่าน ตัวรู้จำออนไลน์ของ sherpa-onnx ที่เข้ากับ Android
น้ำหนัก NVIDIA ฝึกในระบบ NeMo แต่ Loquela ไม่ฝัง runtime Python ของ NVIDIA และไม่ต้องใช้ CUDA Sherpa-onnx ส่งออกโมเดลเป็น ONNX และเรียกผ่านตระกูล runtime เนทีฟ Android เดียวกับที่ Loquela ใช้กับโมเดลเสียงภายในเครื่องอยู่แล้ว
Nemotron เป็นโมเดล FastConformer-RNNT ขนาด 600 ล้านพารามิเตอร์ที่รับรู้แคช NVIDIA เผยห้าการตั้งค่าความหน่วงตั้งแต่ 80 ms ถึง 1120 ms Loquela เริ่มด้วยแพ็กเกจ 560 ms เพราะเป็นจุดกึ่งกลางที่สมเหตุผลระหว่างข้อความชั่วคราวเร็วกับคุณภาพ ไม่ใช่เพราะเกณฑ์เดสก์ท็อปพิสูจน์ว่าเหมาะกับโทรศัพท์
การ์ดโมเดลแยก 19 locale ที่พร้อมถอดเสียง 13 locale ที่ครอบคลุมกว้าง และ 8 locale ที่พร้อมปรับซึ่งต้องปรับละเอียดเพิ่ม Loquela จะแสดงเฉพาะ 32 locale กลุ่มพร้อมหรือครอบคลุมกว้าง เว้นแต่มีหลักฐานภายหลัง ภาษาอังกฤษเป็นค่าเริ่มต้นเพราะผล 560 ms ที่เผยแพร่แสดงโทษความแม่นยำภาษาอังกฤษเมื่อใช้การตรวจภาษาอัตโนมัติ Auto ยังใช้ได้เมื่อผู้ใช้ตั้งใจแลกกับการตรวจหลายภาษา
โทรศัพท์ ไม่ใช่แผนภาพสถาปัตยกรรม เป็นผู้ตัดสิน
ตัวรู้จำสตรีมภายในเครื่องต้องนำหน้าเสียงขาเข้า ค่า real-time factor 1.0 เพียงเท่าทุน ไม่เหลือเผื่อโทรศัพท์ร้อน แอปเบื้องหน้าที่งานหนัก หรือการแกว่งของตัวจัดตาราง เป้าหมายส่งเสริมของ Loquela คือค่าคงที่ 0.5 หรือต่ำกว่า พร้อมหลักฐานว่าคิวเสียงไม่โตในการทำซ้ำเมื่อเครื่องอุ่น
การตรวจสอบแยกเวลาสามชนิด:
- Cold preparation วัดการโหลดโมเดลและ runtime เนทีฟ
- Warm speech-to-first-partial วัดว่าข้อความสดที่มีประโยชน์ปรากฏเร็วแค่ไหนหลังตัวรู้จำพร้อม
- Stop-to-final วัดเวลาที่ผู้ใช้รอหลังพูดจบ
ความเร็วเป็นเพียงด่านหนึ่ง โทรศัพท์จริงระดับล่าง กลาง และเรือธงต้องแสดงหน่วยความจำเนทีฟคงที่ผ่านเซสชันซ้ำ การกู้คืนหลัง process ตาย พฤติกรรมปลอดภัยในช่องแก้ไข Android ปกติและแปลก และไม่มีข้อความหายหรือซ้ำ
แบตเตอรี่วัดเป็นต้นทุนผลิตภัณฑ์สัมบูรณ์ ไม่ใช่เพียงอัตราส่วนเทียบ batch ตัวเลขที่ใช้ได้คือพลังงานต่อคำพูดทั่วไปกับต้นทุนรายวันที่คาดในปริมาณการป้อนตามคำบอกที่ระบุ การลดความเร็วจากความร้อนเป็นเรื่องความถูกต้องแยก เพราะทำลายการรับประกันเรียลไทม์และคิวได้โดยตรง
หาก 560 ms พลาดระดับหนึ่งเล็กน้อย Loquela วัดแพ็กเกจ 1120 ms ก่อนละทิ้งระดับนั้นได้ มันมองล่วงหน้ามากกว่าและเรียกตัวรู้จำน้อยลง แต่ต้องวัดว่าปรับ throughput โทรศัพท์พอคุ้มความหน่วงชั่วคราวที่เพิ่มหรือไม่ ไม่ใช่สมมติ
ความล้มเหลวบนโทรศัพท์จริงที่เปลี่ยน v0.15.1
การทดสอบ v0.15.0 ที่ติดตั้งจาก Play ครั้งแรกบน OnePlus พบความล้มเหลวที่การทดสอบ JVM ทั่วไปและ build สำเร็จมองไม่เห็น ทุกโมเดลภายในเครื่องรายงานว่าเสียงถ่ายโอนไม่ครบ บันทึก Android แสดงว่า reliable file-descriptor pipe รายงานปลายทางตายก่อนตัวรู้จำแยกได้รับจำนวนตัวอย่างที่คาด
Loquela ไม่ลดความเข้มของการตรวจความสมบูรณ์ เวอร์ชัน 0.15.1 เปลี่ยนการส่งเป็น pipe Android ปกติ ขณะเก็บจำนวนตัวอย่างคาดหมายแยกและสัญญาณจบชัดเจน การทดสอบ instrumentation Android เขียนตัวอย่าง float จริงผ่าน protocol เดียวกัน อ่านถึง EOF สะอาด และตรวจลำดับแน่นอนบนฮาร์ดแวร์จริง
ความต่างนี้สำคัญ: compile พิสูจน์ว่า API ต่อกัน การทดสอบ byte-array พิสูจน์ตรรกะกรอบ แต่ไม่มีอย่างใดพิสูจน์พฤติกรรม file descriptor ข้ามขอบเขต process จริง เบต้าพบความล้มเหลวการผสานระดับแพลตฟอร์ม และการทดสอบถดถอยเจาะชั้นนั้นโดยตรง
สิ่งที่ v0.15.1 เปิดให้ใช้
แพ็กเกจ 560 ms ของ Nemotron แสดงสำหรับติดตั้งเบต้า Sequential และ Both แสดงเสมอในการตั้งค่าเสียง พร้อมคำขอตั้งค่าเมื่อขาด Nemotron ตัวเลือกที่ถูกลบหรือเสียหายยังคงเลือกแต่บอกว่าต้องซ่อม Loquela ไม่เปลี่ยนโหมดรู้จำของผู้ใช้เงียบ ๆ
Moonshine v2 Tiny และ Base เข้าสู่แค็ตตาล็อกเบต้าเป็นโมเดล batch ภาษาอังกฤษที่เล็กลงมาก Tiny ลดจากประมาณ 108 MB ของแพ็กเกจเก่าเป็นราว 30 MB และ Base จากประมาณ 251 MB เป็นราว 111 MB แพ็กเกจเก่ายังใช้ได้ในการติดตั้งเดิม แต่เลิกเสนอให้ติดตั้งใหม่และชี้ไปยังตัวแทน
Moonshine v2 ทดสอบรากฐานคนละส่วนกับ Nemotron เลย์เอาต์ merged-decoder .ort ต้องมี runtime profile การค้นหา การตรวจ การกู้คืน และการตั้งค่าออฟไลน์ที่ชัดเจน Nemotron ใช้บทบาทไฟล์ encoder, decoder, joiner และ token ที่คุ้นเคย แต่กลยุทธ์ตัวรู้จำออนไลน์ใหม่ต้องเปิดไฟล์เหล่านั้น รูปร่างไฟล์อย่างเดียวต้องไม่ตัดสินวิธีรันโมเดล
สิ่งที่ผู้ทดสอบเบต้าควรลอง
การทดสอบ Sequential ที่มีประโยชน์ไม่ใช่แค่ประโยคสาธิตสะอาด ลองคำสั่งสั้น การป้อนตามคำบอกยาว ชื่อ ศัพท์เทคนิค ช่วงหยุด เซสชันซ้ำเมื่อเครื่องอุ่น และช่องแก้ไขที่จัดการข้อความร่างอย่างรุนแรง ดูความหน่วงที่เพิ่ม คำซ้ำหรือหาย การแทนที่ไม่ปลอดภัยหลังแก้ และพฤติกรรมหลังสลับแอป
สำหรับ Both เปรียบผลสุดท้ายกับสมมติฐาน Sequential ที่เห็น หากรอบที่สองเพียงเปลี่ยนวรรคตอนหรือสร้างความแกว่ง ก็ยังไม่คุ้มต้นทุนเพิ่ม สัญญาณสำคัญคือแก้ข้อผิดพลาดที่มิฉะนั้นต้องแก้มือได้สม่ำเสมอหรือไม่
ผู้ใช้ Parakeet ที่เห็นคำหรือประโยคสุดท้ายหายใช้การทดสอบ beta decoder-tail ใหม่ได้ มันเพิ่มความเงียบในปริมาณควบคุมหลังคำพูดที่จับ ให้บริบทท้ายแก่ transducer โดยไม่แสร้งว่าข้อบกพร่องส่งเสียงก่อนหน้าและพฤติกรรม decoder เป็นปัญหาเดียวกัน ค่าเริ่มต้นยังเป็นศูนย์จนการเปรียบเทียบจริงพบค่าที่ดีกว่า
ทางลัดความคิดเห็นใน Settings เป็นส่วนของแนวคิดเบต้าเดียวกัน: คำขอฟีเจอร์ รายงานข้อบกพร่อง และข้อสังเกตอื่นควรอยู่ห่างจากหน้าตั้งค่าทั่วไปหนึ่งแตะ ไม่ซ่อนในเมนูย่อยเฉพาะผลิตภัณฑ์
ความเป็นส่วนตัวยังคงแยกตามโหมดและชัดเจน
การรู้จำภายในเครื่อง Batch, Streaming และ Two-pass เก็บเสียงในอุปกรณ์ เสียงเซสชันใช้กับแผนรู้จำที่ทำงาน แทนการบันทึกถาวร Two-pass เก็บไว้เท่าที่จำเป็นต่อการถอดรหัสสุดท้ายที่ร้องขอ
การถอดเสียง Remote แบบเลือกใช้ยังเป็นโหมดเครือข่ายแยกพร้อมขอบเขตบัญชีและความเป็นส่วนตัวของตนเอง การเก็บข้อมูลวินิจฉัยเก็บข้อมูลความล้มเหลวที่จำกัดและไม่มีเนื้อหา แทนข้อความที่พูดหรือเสียง
เป้าหมายไม่ใช่เพียงทำให้ข้อความปรากฏเร็วขึ้น แต่ทำให้การป้อนตามคำบอกสดและเป็นส่วนตัวเป็นไปได้โดยไม่ลดความแม่นยำสุดท้าย ซ่อนต้นทุนคำนวณ หรือแย่งการควบคุมจากคนพิมพ์
ดู บันทึกแพตช์ v0.15.1, Voice Models และ ความเป็นส่วนตัว สำหรับขอบเขตผลิตภัณฑ์ปัจจุบัน