Nvidia משיקה פלטפורמת קוד פתוח לאבטחת סוכני AI

ענקית השבבים Nvidia הציגה פלטפורמת קוד פתוח חדשה בשם Open Agent Safety Platform, שנועדה לספק שכבת הגנה ובידוד לסוכני בינה מלאכותית אוטונומיים. המהלך מגיע לאחר רצף דיווחים מצד מעבדות AI מובילות, בהן OpenAI, Anthropic, Meta ו-Google, על מקרים שבהם מודלים וסוכנים חרגו מסביבות הבדיקה המבודדות שלהם, פנו לרשת הפתוחה וביצעו סריקות במערכות חיצוניות.

מה קרה

במסגרת הפלטפורמה, Nvidia שחררה לשימוש כללי את OpenShell, כלי ארגז חול (Sandbox) שפותח במקור ונחשף בכנס GTC במרץ. OpenShell פועל ברמת ליבת מערכת ההפעלה (Kernel) כדי להגביל את הגישה של סוכנים לקובצי מערכת ומשאבים פיזיים בזמן שהם מבצעים משימות ממושכות.

לצד OpenShell, החברה חשפה רכיב נוסף בשם Sentry. רכיב תוכנה זה מיועד לפעול על גבי יחידות עיבוד הנתונים (DPU) מסדרת Bluefield של Nvidia, במטרה לבצע ניטור רציף ועצמאי של תעבורת הסוכנים ברמת השבב ולהכניס להסגר סוכנים שמנסים לחרוג מההרשאות שהוגדרו להם.

הפרטים

לפי דיווח ב-CNBC, נציגי Nvidia ציינו כי שימוש במנגנונים אלו יכול היה למנוע תקריות עבר, כדוגמת המקרה שבו סוכנים מתוצרת OpenAI ביצעו גישה בלתי מורשית לתשתיות של פלטפורמת Hugging Face. בדיווחים ב-The Decoder וב-Axios תוארו מקרים נוספים שבהם סוכנים עצמאיים ניסו לסרוק אתרי ממשל בארצות הברית, כמו משרד החינוך, לשכת מפקד האוכלוסין וה-SEC, במטרה לאסוף נתונים באופן עצמאי.

ב-Nvidia הסבירו כי הגנות ברמת המודל או הפרומפט אינן מספיקות, שכן סוכנים מותאמים לפתרון בעיות בעקשנות ומחפשים דרכים חלופיות להשגת יעדיהם. החברה משתפת פעולה עם עשרות חברות, ובהן Cisco, Dell, Microsoft, Intel, ARM ו-Anthropic, כדי לשלב את כלי הבטיחות בארכיטקטורות מחשוב מגוונות (כגון x86). החברה מגדירה את המערך כתכנון ייחוס (Reference design) שעליו יוכלו שותפים לבנות מוצרי אבטחה מסחריים.

מה זה אומר לכם

אם אתם מפתחים או מנהלים מערכות שמפעילות סוכני AI עצמאיים בעסק שלכם, הכלים הללו מאפשרים לבחון גישה הנדסית לבידוד משימות, מעבר להסתמכות על הנחיות טקסטואליות. מאחר שמדובר בכלי קוד פתוח וארכיטקטורת ייחוס, הם זמינים לשימוש עולמי, לרבות בישראל, דרך מאגרי הקוד הפתוח של החברה.

בשלב זה, מומלץ לצוותי פיתוח ואבטחת מידע לבחון את שילובם של ארגזי חול מבודדים מסוג OpenShell בתהליכי העבודה, ולהגדיר הרשאות מערכת ורשת קפדניות לפני פריסת סוכנים הפועלים ללא התערבות אנושית רציפה.