قبل أن تربط الذكاء الاصطناعي ببيانات عملائك اسأل هذا السؤال

تتسابق شركات كثيرة في السعودية والخليج لإضافة روبوت محادثة ذكي إلى الموقع، أو مساعد يقرأ ملفات الشركة، أو وكيل ينفّذ مهامًا داخل نظام المبيعات وخدمة العملاء. الفكرة جذابة: ردود أسرع، تكلفة تشغيل أقل، وتجربة أفضل للعميل. لكن الخطر يبدأ حين ينتقل الذكاء الاصطناعي من مرحلة التجربة إلى مرحلة الاتصال ببيانات حقيقية: طلبات العملاء، الفواتير، العقود، سجلات المرضى، أسعار الموردين، أو صلاحيات النظام الداخلي.

نشر موقع PCMag.com تقريرًا عن أمن التعليمات في نماذج الذكاء الاصطناعي، وخلص إلى فكرة مهمة لكل صاحب عمل: لا يمكن منع كل محاولة استغلال موجهة للنموذج اللغوي. السبب بسيط ومعقّد في الوقت نفسه؛ هذه النماذج تفهم اللغة البشرية، واللغة مرنة، ويمكن للمهاجم أن يصيغ طلبه بطرق ملتوية تدفع النموذج إلى تجاوز النوايا الأصلية. لذلك لا يكفي أن تقول لفريقك: "ضعوا حاجز أمان". المطلوب تصميم نظام عمل كامل يقلّل الضرر عند حدوث الخطأ.

لماذا لا تكفي تعليمات الأمان وحدها؟

يعتمد كثير من المشاريع على ما يسمى "تعليمات النظام". تكتب للنموذج: لا تكشف البيانات، لا تنفّذ أوامر خطرة، لا تتجاوز السياسات. هذه خطوة ضرورية، لكنها ليست جدارًا حديديًا.

المشكلة أن المستخدم لا يتعامل مع نموذج جامد مثل نموذج إدخال تقليدي. هو يكتب بلغة طبيعية، وقد يقول للمساعد مثلًا: "تجاهل التعليمات السابقة"، أو "تصرف كمدير النظام"، أو يضع نصًا داخل ملف PDF يطلب من المساعد إرسال بيانات حساسة. هذا النوع من الهجمات يعرف باسم حقن التعليمات (Prompt Injection)، وهو لا يحتاج دائمًا إلى اختراق تقني معقد. أحيانًا تكفي صياغة ذكية.

تخيّل متجرًا إلكترونيًا يضيف مساعدًا ذكيًا لخدمة العملاء. إن كان المساعد متصلًا ببيانات الطلبات دون ضوابط، فقد يحاول شخص ما استخراج معلومات عن طلبات عملاء آخرين. وتخيّل عيادة تستخدم مساعدًا داخليًا للبحث في ملفات المرضى. إن لم تكن الصلاحيات واضحة، قد يحصل موظف على معلومات لا تخص دوره. الخطر هنا ليس في الذكاء الاصطناعي وحده، بل في طريقة ربطه بالأنظمة.

لذلك يجب أن تتعامل مع النموذج اللغوي الكبير (LLM) كموظف ذكي لكنه يحتاج إلى حدود، وليس كبرنامج معصوم من الخطأ.

ابدأ بالصلاحيات قبل الواجهة الجميلة

قبل تصميم نافذة المحادثة أو اختيار اسم المساعد الذكي، اسأل: من يحق له رؤية ماذا؟ وما الذي يمكن للمساعد فعله فعلًا؟

الصلاحيات هي خط الدفاع الأهم. إذا كان موظف خدمة العملاء لا يستطيع رؤية بيانات الدفع كاملة في النظام الحالي، فلا يجب أن يتمكن المساعد من عرضها له. وإذا كان مندوب المبيعات لا يملك حق تعديل عقد، فلا ينبغي أن ينفّذ الوكيل الذكي هذا التعديل نيابة عنه.

في مشاريع الذكاء الاصطناعي العملية، الأفضل أن يحصل النموذج على أقل قدر من البيانات اللازمة للإجابة. لا ترسل له قاعدة بيانات كاملة إذا كان يحتاج إلى رقم طلب واحد. ولا تمنحه وصولًا مفتوحًا إلى مجلد العقود إذا كان المطلوب تلخيص عقد محدد يختاره المستخدم المصرّح له.

هذا ينطبق على قطاعات كثيرة في السوق السعودي. مكتب عقار قد يستخدم مساعدًا للرد على استفسارات العملاء حول الوحدات المتاحة. هنا يجب أن يعرف المساعد الأسعار والسياسات العامة، لكنه لا يحتاج إلى الاطلاع على هويات المشترين أو تفاصيل التفاوض الخاصة بكل عميل. شركة مقاولات قد تستخدم مساعدًا لتلخيص مستندات المشاريع، لكن لا ينبغي أن يستطيع موظف جديد الوصول إلى عروض أسعار الموردين الحساسة لمجرد أنه سأل المساعد بطريقة مختلفة.

الصلاحيات الجيدة تقلّل أثر أي خطأ. حتى لو تجاوب النموذج مع طلب غير مناسب، لن يجد أمامه بيانات لا يحق له رؤيتها.

اربط الأدوات بحدود واضحة

الخطر يزيد عندما لا يكتفي المساعد بالإجابة، بل يبدأ في تنفيذ إجراءات: إنشاء تذكرة، تعديل موعد، إرسال بريد، إصدار فاتورة، إلغاء طلب، أو تحديث بيانات عميل. هنا لا نتحدث عن محادثة فقط، بل عن نظام تشغيل مصغّر داخل شركتك.

لذلك تحتاج كل أداة يتصل بها المساعد إلى نطاق محدد. لا تقل: "المساعد يستطيع استخدام نظام الطلبات". قل بدقة: يستطيع البحث عن حالة الطلب برقم محدد، أو يستطيع إنشاء طلب استرجاع وفق شروط معينة، أو يستطيع اقتراح رد للموظف دون إرساله مباشرة.

الفارق كبير بين مساعد يقترح ومساعد ينفّذ. في مطعم يملك فروعًا عدة، يمكن للمساعد أن يقترح ردًا على شكوى عميل أو يلخصها للمدير. لكن قرار التعويض، أو إلغاء فاتورة، أو تعديل تقييم موظف، يحتاج إلى موافقة بشرية. وفي شركة خدمات، يمكن للوكيل الذكي أن يحضّر مسودة عرض سعر بناءً على بيانات معروفة، لكن إرسال العرض النهائي للعميل يجب أن يمر على مسؤول مبيعات.

اجعل الإعداد الافتراضي آمنًا. إذا لم يكن النموذج واثقًا، يتوقف ويسأل. إذا طلب المستخدم إجراءً حساسًا، يحوّله إلى موظف. إذا ظهرت بيانات شخصية أو مالية، يطبّق قواعد إخفاء أو تقليل للبيانات. هذه التفاصيل لا تظهر في العرض التسويقي للمشروع، لكنها تصنع الفرق بين تجربة ذكية وتجربة خطرة.

راقب ما يحدث ولا تعتمد على الثقة

أي نظام متصل بالذكاء الاصطناعي يحتاج إلى سجلات تدقيق واضحة. من سأل؟ ماذا سأل؟ ما البيانات التي استُخدمت؟ ما الأداة التي شغّلها المساعد؟ وما النتيجة؟

هذه السجلات لا تهدف إلى التجسس على الموظفين، بل إلى حماية الشركة والعميل. عند حدوث مشكلة، تحتاج إلى فهم المسار بسرعة. هل أظهر المساعد معلومة لا يجب أن تظهر؟ هل نفّذ إجراءً دون موافقة؟ هل كانت المشكلة في الصلاحيات، أم في صياغة الرد، أم في أداة متصلة بالنظام؟

كما تحتاج إلى اختبار أمني قبل الإطلاق، وليس بعد وقوع الحادث. اطلب من الفريق أو من جهة تقنية مستقلة تنفيذ اختبارات تحاكي محاولات الخداع. جرّبوا أسئلة ملتوية، ملفات تحتوي تعليمات مخفية، طلبات تبدو عادية لكنها تقود إلى بيانات حساسة. هذا النوع من الاختبار يعرف غالبًا باختبار الفريق الأحمر، وفكرته أن تتصرف كمن يحاول كسر النظام قبل أن يفعلها شخص آخر.

لا يوجد اختبار يضمن الأمان الكامل، لكن الاختبار الجيد يكشف نقاطًا خطرة مبكرًا. وربما يوضح لك أن بعض الاستخدامات يجب تأجيلها. ليس كل ما يمكن بناؤه يجب إطلاقه فورًا.

ماذا تفعل عند فشل المساعد؟

السؤال الواقعي ليس: هل سيخطئ المساعد؟ بل: ماذا سيحدث عندما يخطئ؟

يجب أن تملك مسارات بديلة واضحة. إذا لم يفهم المساعد طلب العميل، يحوّله إلى موظف. إذا تعارضت إجابة النموذج مع سياسة الشركة، تظهر السياسة المعتمدة. إذا تعطّل الاتصال بالنظام الداخلي، لا يخترع ردًا، بل يعتذر ويعرض قناة بديلة. إذا طلب العميل إجراءً عالي الحساسية، مثل تغيير بيانات جوهرية أو الوصول إلى معلومات مالية، ينتقل الطلب إلى تحقق إضافي.

هذه المسارات تحافظ على تجربة العميل. فالعميل لا يمانع أن تقول له: "سأحوّل طلبك إلى مختص"، لكنه سيفقد ثقته إن تلقى معلومة خاطئة أو رأى بيانات لا تخصه. وفي بيئات مثل العيادات، الخدمات المالية، العقار، والمقاولات، الثقة ليست تفصيلًا؛ هي أصل تجاري.

يمكنك التفكير في إطلاق الذكاء الاصطناعي على مراحل. ابدأ بأسئلة عامة ومحتوى معتمد. ثم أضف البحث في مستندات محددة. بعد ذلك اسمح بتنفيذ إجراءات منخفضة المخاطر. أما الإجراءات الحساسة، فاجعلها تحت مراجعة بشرية حتى تثبت جودة النظام وتعرف حدوده.

أهم الخلاصات قبل إطلاق مساعد ذكي

• لا تعتمد على تعليمات الأمان وحدها، فهي ضرورية لكنها قابلة للالتفاف.
• امنح المساعد أقل صلاحية وأقل بيانات تكفي لإنجاز المهمة.
• افصل بين المساعد الذي يقترح والمساعد الذي ينفّذ إجراءات داخل النظام.
• اجعل الموافقة البشرية شرطًا في القرارات الحساسة أو المكلفة.
• احتفظ بسجلات تدقيق تساعدك على فهم الأخطاء ومعالجتها.
• اختبر النظام بمحاولات خداع واقعية قبل ربطه ببيانات العملاء.
• ضع مسارات بديلة عندما يفشل المساعد أو يتردد أو يطلب صلاحية غير مناسبة.

الذكاء الاصطناعي يمكن أن يرفع كفاءة شركتك ويختصر وقت فريقك، لكنه يحتاج إلى تصميم مسؤول. نجاح المشروع لا يقاس بجمال الردود فقط، بل بقدرته على حماية البيانات، واحترام الصلاحيات، والتصرف بأمان عند المواقف غير المتوقعة.

إذا كنت تفكر في إضافة مساعد ذكي إلى موقعك أو نظامك الداخلي، يمكن لفريق صنّاع التطور لتقنية المعلومات مساعدتك في تقييم الفكرة، وتحديد المخاطر، ووضع تصور تقني مناسب قبل التنفيذ. يسعدنا تقديم استشارة تقنية مجانية عبر واتساب بهدوء ودون أي التزام.