מילון מונחי AI
מה זה מעקות בטיחות?
Guardrails
כללים ומנגנונים שמגבילים מה מערכת AI יכולה לעשות ולומר, כדי למנוע תשובות מזיקות, טעויות יקרות או חשיפת מידע.
הסבר בפשטות
מעקות בטיחות יכולים להיות בתוך המודל (אימון לסרב לבקשות מסוכנות), בהנחיות (system prompt שמגדיר גבולות) או בקוד שמסביב: סינון קלט ופלט, חסימת נושאים, בדיקה שהתשובה מבוססת על מקורות, ואישור אנושי לפני פעולות רגישות.
לעסק שמפעיל צ'אטבוט, מעקות בטיחות הם ההבדל בין עוזר שימושי לבין בוט שמבטיח ללקוחות הנחות שלא קיימות. אף מעקה לא מושלם, ולכן מגבילים גם את ההרשאות של המערכת.