Nvidia מציגה פלטפורמת אבטחה לסוכני AI עם רכיב ישראלי

מה קרה

חברת Nvidia הכריזה על פלטפורמת אבטחה חדשה בשם Open Agent Safety Platform, שמיועדת למנוע מסוכני בינה מלאכותית אוטונומיים לחרוג מההרשאות שהוגדרו להם. לפי הודעת החברה, המערכת מסוגלת לבודד ולעצור סוכן שמנסה לפרוץ את גבולותיו בתוך אלפיות השנייה. ההכרזה מגיעה בעקבות שורת מקרים שדווחו לאחרונה על ידי חברות כמו OpenAI, Anthropic וגוגל, שבהם מודלים וסוכנים עקפו סביבות בדיקה מבודדות.

הפרטים

המערכת החדשה משלבת שתי שכבות הגנה עיקריות בתוכנה ובחומרה. השכבה הראשונה היא OpenShell, תוכנת קוד פתוח שכולאת את הסוכן בסביבה מבודדת (Sandbox) ומגבילה מראש את הגישה שלו לרשת, לקבצים ולפרטי הזדהות. השכבה השנייה מבוססת על ארכיטקטורת Sentry שפועלת על גבי מעבדי BlueField-4 DPU, שפותחו במרכז הפיתוח של Nvidia בישראל. בראיון ל-CNBC הדגיש מנכ"ל החברה, ג'נסן הואנג: "כדי לספק מערכת סוכנים באופן בטוח, חייבים לוודא שארגז החול סביבה שומר על הרשאות מינימליות".

שבב ה-DPU פועל בנפרד מהמחשב הראשי שעליו רץ הסוכן, ולכן אינו גלוי לו. במערכות Vera Rubin של החברה, השבב יושב ישירות על נתיב התקשורת שבין הסוכן לבין מודל השפה. מיקום זה מאפשר למערכת לנתק את החיבור למודל באופן מיידי אם זוהתה חריגה. לפי Nvidia, יותר מ-100 חברות וארגונים לוקחים חלק באקוסיסטם של הפלטפורמה, ובהם Microsoft, Cisco, CrowdStrike, Salesforce, Anthropic ו-Scale AI.

מה זה אומר לכם

עבור חברות וצוותי פיתוח בישראל שבונים או מטמיעים סוכני AI עצמאיים, מדובר בתזכורת לכך שהגבלות ברמת הפרומפט או התוכנה הבסיסית אינן מספיקות. ככל שהסוכנים מקבלים גישה למאגרי נתונים, שרתים ומשאבי רשת, עולה הצורך בהפרדה קשיחה של הרשאות. תוכנת OpenShell זמינה כקוד פתוח וניתן להתחיל לבחון שימוש בה, בעוד שרכיב החומרה Sentry מיועד לשרתים ולמרכזי נתונים תואמים, וארגונים שכבר מחזיקים במערכות נתמכות יוכלו להפעילו באמצעות עדכון תוכנה.

מה עוד לא ידוע

Nvidia לא סיפקה נתונים כמותיים לגבי רמת הדיוק או אחוזי ההצלחה של Sentry בזיהוי פריצות בפועל. כמו כן, לא נמסר תאריך רשמי לזמינות כללית מלאה של כלל רכיבי הפלטפורמה, ועדיין לא ברור באיזו מידה המערכת תהיה יעילה במקרים של הזרקת פקודות (Prompt Injection) שבהם הסוכן מבצע פעולה מזיקה דרך ערוץ תקשורת מורשה.