Block מציגה את Dessa: מודל קולי שלומד ישירות מדיבור אנושי

חברת Block, המוכרת בין היתר בזכות Square ו-Cash App ובהובלת ג'ק דורסי, חשפה מודל בינה מלאכותית חדש בשם Dessa. המודל פועל ישירות בפורמט של קול-אל-קול (Speech-to-Speech), ללא תהליך ביניים של המרת הדיבור לטקסט כתוב ובחזרה.

מה קרה

לפי הודעת צוות הפיתוח של Dessa, המודל אומן מאפס על בסיס שיחות אנושיות בלבד, ללא שימוש בנתוני טקסט. המטרה מאחורי הפיתוח היא לחקות את האופן שבו בני אדם לומדים שפה. לדברי המפתחים, תינוקות לומדים לדבר בלי לראות מילים כתובות, והם ביקשו לבדוק אם מערכת ממוחשבת יכולה לעשות זאת גם כן.

בניגוד לפתרונות רבים שקיימים כיום, עיבוד הדיבור הישיר מאפשר למערכת לזהות רמזים קוליים מורכבים. בין היתר, המערכת מסוגלת להגיב לטונציה, צחוק, סרקזם, השהיות והפסקות בדיבור בזמן אמת, תוך תמיכה בתקשורת מלאה (Full-duplex) שמאפשרת לה להאזין ולדבר בו-זמנית.

הפרטים

מבחינה טכנולוגית, האימון של Dessa בוצע על גבי מערכת אחת מסוג NVIDIA A100, כפי שדיווח The Decoder. מעבר לכך, המודל מסוגל לרוץ באופן מקומי על גבי מחשב MacBook Pro בעל שבב M4 Max ומעלה, מבלי להסתמך בהכרח על שרתי ענן חיצוניים לצורך ההפעלה.

החברה הציגה מספר דוגמאות שמע של המודל בשיחה עם בני אדם, שאותן שיתף מוביל הפרויקט ראגוואן ת'וראיראטנאם (Ragavan Thurairatnam), כך לפי The Verge. בדוגמאות הללו Dessa מנהלת משחק ניחושים קולי, מדברת על סרטי קולנוע ואף מגיבה בטון שנשמע נרגש עד דמעות כשאומרים לה שהיא יוצאת לטיול הפתעה בפריז. עם זאת, התוצאות עדיין כוללות תקלות קלות ורגעים מגושמים, כמו טעות שבה המודל פנה למשתמש בשם שגוי.

לפי החברה, המניע המרכזי לפרויקט נובע גם משיקולי בטיחות: "בינה מלאכותית ממשיכה לצבור כוח ועצמאות, והיא עדיין כמעט חירשת לרגש בקול שלנו", הסבירו בצוות Dessa.

מה זה אומר לכם

אם אתם מפתחים או מתעניינים בתחום הממשקים הקוליים, המעבר לעיבוד קולי טהור מראה לאן הענף צועד. במקום שהמודל יתעלם מהניואנסים הקוליים ויתרגם הכל למילים יבשות, מערכות עתידיות יוכלו להבין אם אתם לחוצים, ממהרים או מתוסכלים רק לפי גוון הקול שלכם.

עם זאת, חשוב לזכור שכרגע אין גישה ציבורית למוצר, והוא אינו זמין לשימוש בישראל או בעברית. היכולת של מודל כזה להתמודד עם שפות שאינן אנגלית עדיין לא נבדקה, כך שעבור השוק המקומי מדובר בעיקר בהצצה לעתיד האינטראקציה הקולית ולא בכלי עבודה מיידי שניתן להטמיע בעסק.

מה עוד לא ידוע

בשלב זה Block טרם הודיעה מתי והאם Dessa ייפתח לקהל הרחב. נכון לעכשיו, הגישה ניתנת לקבוצה מצומצמת של חוקרי בטיחות בינה מלאכותית לצורך בחינת סיכונים בלתי צפויים, באמצעות טופס הרשמה ייעודי. לא ברור גם האם Block מתכננת לשלב את הטכנולוגיה במוצרים המסחריים שלה בהמשך.