Kokoro-Engine: การทำงานในท้องถิ่นสำหรับการทำงานของ AI คู่หูที่มีการเคลื่อนไหว
Kokoro-Engine ซึ่งพัฒนาโดย Chyinan เป็นเอนจินการโต้ตอบแบบโอเพนซอร์สสำหรับการรัน AI เพื่อนเสมือนท้องถิ่นบนระบบเดสก์ท็อป มันซิงโครไนซ์อวาตาร์ Live2D กับโมเดลภาษา การสังเคราะห์เสียง และการรู้จำเสียง เพื่อให้ตัวละครสนทนาที่สามารถเก็บความทรงจำและสถานะอารมณ์ข้ามเซสชัน ส่วนประกอบหลักรวมถึงการสนับสนุน MOD แบบโมดูลาร์ การรวมโปรโตคอล Model Context และหลายแบ็คเอนด์เสียง โครงการนี้มุ่งเป้าไปที่ผู้ที่ชื่นชอบ AI, VTubers และนักพัฒนาที่ต้องการรันไทม์เพื่อนที่ควบคุมได้ในท้องถิ่นและขยายได้บนแพลตฟอร์มเดสก์ท็อป。
คุณสามารถสร้างต้นแบบตัวละครเสมือนที่โต้ตอบได้และคงอยู่ในรันไทม์เดียว
เอนจินสร้างการโต้ตอบที่มุ่งเน้นตัวละครซึ่งคงอยู่ข้ามเซสชัน ทำให้ผู้สร้างสามารถปรับปรุงบุคลิกภาพและเสียงได้โดยไม่ต้องประกอบการเรนเดอร์และสแต็กแบ็กเอนด์แยกต่างหาก การใช้งานทั่วไป ได้แก่ การควบคุมตัวละครแบบสตรีม การเขียนสคริปต์การเคลื่อนไหวที่ตอบสนองซึ่งเชื่อมโยงกับการสนทนา และการทดสอบการไหลของการสนทนาอย่างรวดเร็ว การนำเข้าคำนิยามตัวละครหรือการ์ดบุคลิกภาพง่ายๆ ช่วยเร่งการตั้งค่าเริ่มต้นและให้ผู้สร้างประเมินจังหวะ การซิงค์ปาก และการกระตุ้นที่ตอบสนองก่อนการใช้งานในวงกว้าง
การจัดเก็บข้อมูลในเครื่องและการเลือกแบ็กเอนด์เปลี่ยนความรับผิดชอบในการตรวจสอบผลลัพธ์
ประวัติการแชท ความจำของตัวละคร และการกำหนดค่าถูกเก็บไว้ในเครื่องใน SQLite ซึ่งสนับสนุนการทำงานแบบท้องถิ่นเป็นอันดับแรกและลดการเก็บข้อมูลในคลาวด์ตามค่าเริ่มต้น เครื่องมือเชื่อมต่อกับแบ็กเอนด์ภาษาทั้งในเครื่องและระยะไกล; การตอบสนองที่สร้างขึ้นสะท้อนถึงผู้ให้บริการที่เลือก ดังนั้นเนื้อหาที่เป็นข้อเท็จจริงหรือที่ละเอียดอ่อนจึงต้องการการตรวจสอบอย่างอิสระ การติดตามสถานะอารมณ์ช่วยรักษาความต่อเนื่องของเซสชัน แต่การรักษารายการความจำที่สอดคล้องและถูกต้องต้องการการเขียนอย่างตั้งใจและการตัดแต่งเป็นระยะโดยผู้ใช้
การขยายบริการและเสียงต้องการการตั้งค่าของนักพัฒนาและการกำหนดค่าอย่างชัดเจน
การปรับแต่งและการเชื่อมต่อภายนอกเอื้ออำนวยต่อการทำงานในลักษณะการพัฒนามากกว่าประสบการณ์การคลิกผ่าน โครงการนี้มีตัวเลือกการสังเคราะห์เช่น GPT-SoVITS, VITS และ Edge TTS และตัวเลือกการรู้จำรวมถึง Whisper และ SenseVoice พร้อมการสนับสนุน VAD เกตเวย์บอทระยะไกลสำหรับ Telegram, Discord และ LINE มีให้บริการ และการ์ดตัวละคร SillyTavern นำเข้าตรงๆ การสร้างจากซอร์สต้องการ Node.js v18+ และ Rust ดังนั้นคาดว่าจะมีการตั้งค่าเครื่องมือเพิ่มเติมสำหรับการสร้างในเครื่อง
เหมาะที่สุดสำหรับผู้สร้างที่มีความพร้อมทางเทคนิคซึ่งยอมรับการกำหนดค่าด้วยตนเอง
เอนจินจะให้รางวัลแก่ผู้ใช้ที่ยินดีลงทุนเวลาในการตั้งค่าและการทดสอบซ้ำ และไม่ได้มุ่งเป้าไปที่ผู้บริโภคที่ใช้งานง่าย เคล็ดลับที่เป็นประโยชน์: เริ่มต้นด้วยขอบเขตที่แคบ ทำการตรวจสอบความถูกต้องในระยะสั้น จากนั้นขยายการรวมระบบเมื่อพฤติกรรมมีเสถียรภาพ เอนจินเป็นทางเลือกที่เหมาะสมสำหรับผู้สร้างที่ยอมรับการบำรุงรักษาด้วยตนเองเพื่อให้ได้ประสบการณ์ที่ปรับแต่ง และคาดหวังถึงการเรียนรู้ที่ซับซ้อนกับเครื่องมือสำหรับนักพัฒนา.
