מילון מונחי AI
מה זה ג'יילברייק?
פריצת מגבלות (ג'יילברייק)Jailbreak
ניסיון לגרום למודל AI לעקוף את כללי הבטיחות שלו, בעזרת ניסוח מתוחכם של הבקשה.
הסבר בפשטות
מודלי שפה מאומנים לסרב לבקשות מסוכנות או אסורות. ג'יילברייק הוא ניסוח שמנסה לבלבל את המודל, למשל בעזרת משחק תפקידים או סיפור דמיוני, כדי שיענה בכל זאת.
לעסקים שמפעילים צ'אטבוט זה סיכון אמיתי: משתמש יכול לנסות לגרום לבוט להבטיח הנחות, לחשוף הוראות פנימיות או לכתוב תוכן פוגעני בשם החברה. לכן חשוב להגביל את מה שהבוט רשאי לעשות, ולא להסתמך רק על הוראות המערכת.