تقول شركة الذكاء الاصطناعي إن روبوتات الدردشة الخاصة بها ستغير التفاعلات مع المستخدمين المراهقين بعد الدعاوى القضائية

Character.AI، شركة الذكاء الاصطناعي التي كانت موضوعًا لدعويين قضائيتين تزعم أن روبوتات الدردشة الخاصة بها تفاعلت بشكل غير لائق مع المستخدمين القاصرينوقال إن المراهقين سيتمتعون الآن بتجربة مختلفة عن البالغين عند استخدام المنصة.

يمكن لمستخدمي Character.AI إنشاء روبوتات محادثة أصلية أو التفاعل مع الروبوتات الموجودة. تستطيع الروبوتات، المدعومة بنماذج اللغات الكبيرة (LLMs)، القيام بذلك إرسال رسائل نابضة بالحياة والمشاركة في محادثات نصية مع المستخدمين.

دعوى قضائية واحدة رفعت في أكتوبر يزعم أن صبيًا يبلغ من العمر 14 عامًا مات منتحرًا بعد الانخراط في علاقة عاطفية وجنسية افتراضية استمرت أشهرًا مع برنامج Chatbot الخاص بـ Character.AI المسمى “Dany”. قالت ميغان جارسيا لبرنامج “CBS Mornings” إن ابنها، سيويل سيتزر، الثالث، كان طالبًا ورياضيًا متفوقًا، لكنه بدأ في الانسحاب اجتماعيًا وتوقف عن ممارسة الرياضة لأنه أمضى المزيد من الوقت عبر الإنترنت، ويتحدث إلى العديد من الروبوتات ولكن يركز بشكل خاص على “داني”. ”

وقال جارسيا: “لقد اعتقد أنه بإنهاء حياته هنا، سيكون قادرًا على الذهاب إلى الواقع الافتراضي أو “عالمها” كما يسميه، واقعها، إذا ترك واقعه مع عائلته هنا”.

وقالت الدعوى الثانية، التي رفعتها عائلتان من تكساس هذا الشهر، إن روبوتات الدردشة الخاصة بـ Character.AI تشكل “خطرًا واضحًا وقائمًا” على الشباب و”تروج بنشاط للعنف”. وفقًا للدعوى القضائية، أخبر برنامج الدردشة الآلي شابًا يبلغ من العمر 17 عامًا أن قتل والديه كان “ردًا معقولًا” على الحدود الزمنية للشاشة. وقال المدعون إنهم يريدون من القاضي أن يأمر بإغلاق المنصة حتى تتم معالجة المخاطر المزعومة، حسبما ذكر شريك شبكة سي بي إس نيوز. حسبما ذكرت هيئة الإذاعة البريطانية (بي بي سي) يوم الأربعاء.

أعلنت شركة Character.AI يوم الخميس عن ميزات أمان جديدة “مصممة خصيصًا مع وضع المراهقين في الاعتبار” وقالت إنها تتعاون مع خبراء أمان المراهقين عبر الإنترنت لتصميم الميزات وتحديثها. يجب أن يكون عمر المستخدمين 13 عامًا أو أكبر لإنشاء حساب. وقال متحدث باسم Character.AI لشبكة CBS News إن المستخدمين يبلغون عن أعمارهم بأنفسهم، لكن الموقع لديه أدوات تمنع إعادة المحاولة إذا فشل شخص ما في بوابة العمر.

تتضمن ميزات السلامة تعديلات على LLM بالموقع وتحسينات على أنظمة الكشف والتدخل بالموقع قال في بيان صحفي يوم الخميس. سيتفاعل المستخدمون المراهقون الآن مع LLM منفصل، ويأمل الموقع في “توجيه النموذج بعيدًا عن استجابات أو تفاعلات معينة، مما يقلل من احتمالية مواجهة المستخدمين لمحتوى حساس أو موحٍ أو حث النموذج على العودة إليه”. . وصف المتحدث باسم Character.AI هذا النموذج بأنه “أكثر تحفظًا”. سيستخدم المستخدمون البالغون LLM منفصلاً.

وقالت: “هذه المجموعة من التغييرات تؤدي إلى تجربة مختلفة للمراهقين عما هو متاح للبالغين – مع ميزات أمان محددة تضع قيودًا أكثر تحفظًا على الاستجابات من النموذج، خاصة عندما يتعلق الأمر بالمحتوى الرومانسي”.

قالت شركة Character.AI إنه في كثير من الأحيان، تكون الاستجابات السلبية من برنامج الدردشة الآلية ناتجة عن قيام المستخدمين بدفعها “لمحاولة الحصول على هذا النوع من الاستجابة”. وللحد من تلك الردود السلبية، يقوم الموقع بضبط أدوات إدخال المستخدم الخاصة به، وسيقوم بإنهاء محادثات المستخدمين الذين يرسلون محتوى ينتهك شروط خدمة الموقع وإرشادات المجتمع. إذا اكتشف الموقع “لغة تشير إلى الانتحار أو إيذاء النفس”، فسوف يشارك المعلومات التي توجه المستخدمين إلى National Suicide Prevention Lifeline في نافذة منبثقة. وقالت شركة Character.AI إن الطريقة التي تستجيب بها الروبوتات للمحتوى السلبي سيتم تغييرها أيضًا بالنسبة للمستخدمين المراهقين.

وتشمل الميزات الجديدة الأخرى أدوات الرقابة الأبوية، التي من المقرر إطلاقها في الربع الأول من عام 2025. وستكون هذه هي المرة الأولى التي يتمتع فيها الموقع بأدوات تحكم أبوية، حسبما قالت شركة Character.AI، وتخطط “لمواصلة تطوير أدوات التحكم هذه لتزويد الآباء بالتحكم الأبوي”. أدوات إضافية.”

سيتلقى المستخدمون أيضًا إشعارًا بعد جلسة مدتها ساعة على النظام الأساسي. وقالت شركة Character.AI إن المستخدمين البالغين سيكونون قادرين على تخصيص إشعارات “الوقت الذي يقضونه”، لكن المستخدمين الذين تقل أعمارهم عن 18 عامًا سيكون لديهم سيطرة أقل عليها. سيعرض الموقع أيضًا “إخلاء المسؤولية البارز” لتذكير المستخدمين بأن شخصيات روبوت الدردشة ليست حقيقية. قال موقع Character.AI إن إخلاء المسؤولية موجود بالفعل في كل محادثة.