تقييم أمن الذكاء الاصطناعي واختبار الفريق الأحمر اختبروا نظام الذكاء الاصطناعي الذي بنيتموه أو اشتريتموه قبل أن يسبقكم إليه المهاجمون

نختبر نظام الذكاء الاصطناعي كما يصل إليه مستخدموكم والأنظمة المتصلة به، ضمن النطاق الذي توقّعون عليه. ويشمل ذلك عادةً سلوك النموذج عبر تطبيقكم، وطبقة الاسترجاع وصلاحيات المستندات فيها، والأدوات والإجراءات المتاحة للوكيل، وطريقة تعامل الأنظمة الأخرى مع مخرجاته، والضوابط الوقائية وحدود التكلفة لديكم. أما التطبيق المحيط وواجهات API والبنية التحتية فنختبرها مع فريق اختبار الاختراق لدينا. ونصل إلى النموذج عبر تطبيقكم فقط، ولا نختبر البنية التحتية لمزوّد النموذج نفسه. وتسرد قواعد الاشتباك كل مكوّن داخل النطاق وكل مكوّن مستبعد منه.

يغطي هذا الاختبار ما لا يصل إليه اختبار الاختراق المعتاد: سلوك النموذج، وما يقرؤه، وما يستطيع فعله. فاختبار الاختراق يفحص المصادقة وواجهات API والإعدادات والبنية التحتية، لكنه لا يتحقق مما إذا كانت جملة مدسوسة في مستند قادرة على دفع المساعد إلى كشف ملفات مستخدم آخر أو استدعاء أداة. أما هنا فأداة الهجوم هي اللغة العادية، والنتائج تتغير من محاولة إلى أخرى، فتختلف المنهجية وطريقة إعداد التقرير. وكثيراً ما يُنفَّذ الاختباران معاً، ويتولى فريق اختبار الاختراق لدينا الجزء التقليدي. والمقصود باختبار الفريق الأحمر في هذه الخدمة مهاجمة نظام الذكاء الاصطناعي نفسه، أما معرفة ما إذا كان مركز العمليات الأمنية لديكم سيكتشف هجوماً عليه فمن نطاق خدمة الفريق الأحمر.

نعم، في حدود ما يسمح به المزوّد فقط. فقبل البدء نراجع شروطه وأي سياسة اختبار ينشرها: بعض المزوّدين يسمح باختبار إعداداتكم والبيئة المخصصة لكم ويمنع الهجوم على البنية المشتركة، وبعضهم يشترط إشعاراً مسبقاً. وما لا تسمح به الشروط لا ننفّذه، ونختبر بدلاً منه ما يخصّكم، مثل الإعدادات، والبيانات التي تربطونها بالخدمة، وصلاحيات المستخدمين، وطريقة استخدام أنظمتكم للمخرجات. ويذكر التقرير ما تعذّر اختباره وسببه.

نفضّل بيئة اختبار مطابقة لبيئة الإنتاج، ولا نختبر بيئة الإنتاج إلا بتفويض مكتوب منكم وضمن حدود متفق عليها. فالاختبار قد يعدّل بيانات، أو يرسل رسائل، أو يستهلك ميزانية النماذج، أو يترك أثراً في سجلات التشغيل والفهارس، ولذلك تكون البيئة المنفصلة أكثر أماناً. وإذا تعيّن اختبار بيئة الإنتاج، كأن تفتقر بيئة الاختبار إلى الأدوات أو مصادر البيانات الفعلية، اتفقنا على حسابات اختبار ومستندات مُعدّة لهذا الغرض وحدود لمعدل الطلبات وفترات محددة للاختبار وإجراء للإيقاف، ووجّهنا إجراءات الوكيل إلى أهداف اختبارية أو اشترطنا موافقة مسبقة عليها. ويوثّق التقرير أي فرق بين البيئة المختبرة وبيئة الإنتاج.

تُمنح كل نتيجة درجة خطورة بحسب أثرها واحتمال استغلالها في سياق جهتكم، وتُربط بالبند المقابل في قائمة OWASP لتطبيقات النماذج اللغوية الكبيرة وفي قاعدة MITRE ATLAS. وتراعي درجة الخطورة نوعَ البيانات أو الإجراء المكشوف، ومن يستطيع استغلال الثغرة (مستخدم من خارج الجهة، أو مستخدم مسجّل الدخول، أو شخص من داخلها)، ومدى ثبات تكرارها. وتحمل نتائج التطبيق المحيط والبنية التحتية أيضاً درجة وفق النظام المشترك لتقييم الثغرات (CVSS). وللجهات الواقعة في نطاق الضوابط الأساسية للأمن السيبراني، يمكننا أن نبيّن المجالات الفرعية من الضوابط التي تتصل بها كل نتيجة، وهذا ربط مرجعي لا تقييم للامتثال.

نعم. بعد أن يُجري فريقكم أو الجهة التي بنت النظام المعالجة، نعيد اختبار النتائج المشمولة ونصدر خطاب إعادة الاختبار. ونكرر في إعادة الاختبار المدخلات الأصلية بعدد المحاولات نفسه، ونضيف إليها صيغاً معدّلة منها، فيتضح إن كانت المعالجة قد أغلقت صيغة واحدة فقط من الهجوم. ويبيّن الخطاب حالة كل نتيجة، مغلقة أو مغلقة جزئياً أو لا تزال قائمة، والظروف التي أُعيد فيها الاختبار، ويعني الإغلاق أن النتيجة لم تتكرر في عدد المحاولات المتفق عليه. ويحدد العقد عدد مرات إعادة الاختبار والمدة المتاحة لها.

نعم، بمختبِرين لم يشاركوا في تصميم ذلك النظام أو تنفيذه، ويبيّن التقرير هذا الفصل وأي معلومات أو أدوات يتشاركها المختبِرون مع فريق التنفيذ. أما إذا كانت سياستكم أو مجلس إدارتكم أو جهة تنظيمية تشترط مختبِراً مستقلاً عن الشركة التي بنت النظام، فاختاروا جهة اختبار أخرى، ويمكن تزويدها بما تحتاجه من وثائق النظام وفق ما يحدده العقد.

نكرر كل اختبار ونذكر عدد مرات نجاحه، بدلاً من الاكتفاء بنتيجة محاولة واحدة. فمخرجات النموذج تتغير بحسب إعدادات التوليد وسياق المحادثة وإصدار النموذج، ولذلك يكفي نجاح واحد لإثبات وجود الثغرة، ولا يثبت إخفاق واحد عدم وجودها. وتذكر كل نتيجة عدد المحاولات وعدد مرات النجاح والمدخلات الدقيقة، وإصدار النموذج وإعداداته متى أمكننا الاطلاع عليها. وقد تُصنَّف ثغرة نادرة النجاح عالية الخطورة إذا كان أثرها جسيماً.