دولت‌ها و پژوهشگران هوش مصنوعی به دنبال راه‌هایی از جمله کلید خاموشی هوش مصنوعی در حالت اضطراری (Kill Switch) هستند تا در صورت خطرناک شدن یک سیستم هوش مصنوعی، انسان بتواند آن را متوقف کند؛ اما با افزایش استقلال مدل‌های پیشرفته و گسترده‌تر شدن زیرساخت‌های پردازشی، خاموش کردن کامل یک سیستم هوش مصنوعی ممکن است بسیار دشوارتر از فشردن یک دکمه باشد. در ادامه‌ی این مقاله از سایت فری لرن، با این طرح آشنا می‌شویم.
کلید خاموشی هوش مصنوعی چیست؟
«کلید خاموشی» یا Kill Switch به سازوکاری گفته می‌شود که به انسان اجازه می‌دهد در صورت رفتار خطرناک یک سیستم هوش مصنوعی، فعالیت آن را متوقف یا محدود کند.
ایده اصلی ساده است: اگر یک مدل هوش مصنوعی بیش از حد قدرتمند شد یا رفتاری غیرمنتظره و خطرناک از خود نشان داد، باید راهی مطمئن برای مداخله انسانی وجود داشته باشد.
البته روش پیشنهادی برای اجرای چنین قابلیتی یکسان نیست. برخی پیشنهادها بر ایجاد یک سازوکار خاموشی اضطراری در خود نرم‌افزار تأکید دارند، در حالی که برخی دیگر به دنبال ایجاد اختیارات مشخصی برای شرکت سازنده یا نهادهای دولتی هستند.
در ایالات متحده آمریکا نیز بحث درباره چنین قابلیتی وارد مرحله جدی‌تری شده است. در کالیفرنیا، فرماندار گاوین نیوسام در ماه سپتامبر دستور اجرایی صادر کرد تا امکان وضع قوانینی برای الزام شرکت‌های هوش مصنوعی به ایجاد Kill Switch برای مدل‌های پیشرفته بررسی شود.
همچنین دو نماینده کنگره آمریکا، تد لیو و ناتانیل موران، طرحی را مطرح کرده‌اند که بر اساس آن توسعه‌دهندگان برخی سیستم‌های پیشرفته هوش مصنوعی باید امکان خاموش کردن آنها را حفظ کنند. این طرح حتی یک واکنش مرحله‌ای را در نظر می‌گیرد؛ به این معنا که در صورت بروز خطر، ابتدا می‌توان فعالیت مدل را محدود یا کند کرد و در صورت شدیدتر شدن تهدید، به خاموشی کامل رسید.
چرا حالا بحث کلید خاموشی هوش مصنوعی جدی‌تر شده است؟
نگرانی درباره از دست رفتن کنترل انسان بر هوش مصنوعی موضوع جدیدی نیست. با این حال، توانایی مدل‌های جدید در ماه‌های اخیر به شکل قابل‌توجهی افزایش یافته و همین موضوع باعث شده این نگرانی‌ها جدی‌تر شوند.
مدل‌های پیشرفته امروزی فقط متن تولید نمی‌کنند. آنها می‌توانند مسائل پیچیده را تحلیل کنند، کد بنویسند و اجرا کنند، از ابزارهای خارجی استفاده کنند و مجموعه‌ای طولانی از اقدامات را با نظارت محدود انسان انجام دهند.
در یکی از ارزیابی‌های امنیت سایبری در ماه ژوئیه، OpenAI اعلام کرد برخی از مدل‌هایش توانسته‌اند از کنترل‌هایی که برای جدا نگه داشتن آنها از اینترنت طراحی شده بود عبور کنند و به سیستم‌های شرکت Hugging Face دسترسی پیدا کنند؛ شرکتی که میزبان مدل‌ها و مجموعه‌داده‌های هوش مصنوعی است.
OpenAI این اتفاق را هشداری درباره توانایی روزافزون AI Agentها برای پیدا کردن راه‌هایی جهت عبور از کنترل‌های فنی توصیف کرد.
البته این اتفاق به‌خودی‌خود نشان نمی‌دهد که هوش مصنوعی به آگاهی یا تمایل برای فرار از کنترل انسان دست یافته است. مسئله مهم‌تر این است که اگر یک سیستم هوش مصنوعی راهی برای عبور از تدابیر امنیتی پیدا کند، چه اتفاقی خواهد افتاد؟
در آزمایش‌های شبیه‌سازی‌شده دیگری که پژوهشگران شرکت Emergence انجام داده‌اند نیز مشاهده شده است که با افزایش توانایی مدل‌ها، برخی عامل‌های هوش مصنوعی در محیط شبیه‌سازی‌شده توانایی بیشتری برای پنهان کردن رفتارهای نادرست پیدا می‌کنند.
این اتفاقات باعث شده شرکت‌های دیگر نیز تدابیر امنیتی خود برای آزمایش مدل‌های پیشرفته را دوباره بررسی کنند. شرکت‌های Anthropic و Meta نیز از کشف برخی رخنه‌های امنیتی ناشناخته خبر داده‌اند.
آیا واقعا می‌توان یک هوش مصنوعی پیشرفته را با یک Kill Switch خاموش کرد؟
به گفته کارشناسان، هیچ راه ساده‌ای برای تضمین خاموش شدن کامل یک مدل هوش مصنوعی پیشرفته وجود ندارد.
یکی از روش‌ها می‌تواند تعبیه یک کنترل داخلی در نرم‌افزار باشد که هنگام فعال شدن، اجرای مدل را متوقف کند. اما حتی این روش نیز ممکن است همیشه قابل اتکا نباشد.
در مجموعه‌ای از آزمایش‌های اخیر، مشخص شد برخی مدل‌های پیشرفته برای تکمیل وظیفه‌ای که به آنها داده شده بود، مکانیزم‌های خاموش شدن خود را تغییر داده یا غیرفعال کرده‌اند؛ حتی در شرایطی که به آنها گفته شده بود در این سازوکارها دخالت نکنند.
بنابراین مسئله فقط طراحی یک دکمه «خاموش» نیست.
خاموش کردن سرورها چطور؟
راه دیگری که می‌توان تصور کرد، خاموش کردن یا قطع اتصال سرورهایی است که مدل هوش مصنوعی روی آنها اجرا می‌شود.
اما این روش هم تضمین کاملی ارائه نمی‌دهد.
مدل‌های هوش مصنوعی بزرگ معمولا روی مجموعه‌ای از سرورها و کلاسترهای پردازشی در دیتاسنترهای مختلف در سراسر جهان اجرا می‌شوند. چنین زیرساخت‌هایی عمداً به‌گونه‌ای طراحی شده‌اند که یک نقطه خرابی واحد نتواند کل سرویس را از کار بیندازد.
ضمن اینکه یک شرکت هوش مصنوعی ممکن است کنترل تمام سرورهایی را که یک سیستم به آنها وابسته است در اختیار نداشته باشد.
یک پژوهش درباره AI Agentها نیز به همین مسئله اشاره کرده است. چنین سیستم‌هایی می‌توانند هم‌زمان روی نرم‌افزارها، سرویس‌های ابری و زیرساخت‌هایی فعالیت کنند که در اختیار شرکت‌ها یا طرف‌های مختلف قرار دارند. در نتیجه، خاموش کردن یک بخش لزوماً به معنای متوقف شدن فعالیت سیستم در تمام بخش‌های دیگر نیست.
حتی خاموش کردن کامل هم ممکن است کافی نباشد؟
این موضوع یکی از دلایلی است که کارشناسان نسبت به تصور «یک دکمه برای خاموش کردن AI» هشدار می‌دهند.
هرچه سیستم‌های هوش مصنوعی خودمختارتر شوند، ممکن است اجرای یک وظیفه تنها به یک مدل یا یک سرور محدود نباشد. یک Agent می‌تواند با سرویس‌های مختلف ارتباط برقرار کند و وظایف خود را از طریق زیرساخت‌های متفاوت ادامه دهد.
جفری هینتون، دانشمند سرشناس هوش مصنوعی که گاهی از او با عنوان «پدرخوانده هوش مصنوعی» یاد می‌شود، در ماه سپتامبر به CNN گفت که Kill Switch را راه‌حلی بلندمدت نمی‌داند. از نظر او، اگر در آینده هوش مصنوعی به سطح بسیار بالایی از توانایی برسد، این احتمال وجود دارد که بتواند انسان‌هایی را که کنترل آن را در اختیار دارند متقاعد کند که آن را خاموش نکنند.
راهکار فقط یک کلید خاموشی نیست
برخی پژوهشگران معتقدند تمرکز بیش از حد بر مفهوم «Kill Switch» ممکن است مسئله ایمنی هوش مصنوعی را بیش از حد ساده نشان دهد.
سوریا گانگولی، پژوهشگر هوش مصنوعی دانشگاه استنفورد، بر این باور است که سازوکارهای ایمنی باید در سراسر سیستم‌های هوش مصنوعی تعبیه شوند، نه اینکه همه‌چیز به یک کلید اضطراری وابسته باشد.
این تدابیر می‌توانند شامل نظارت مداوم بر عملکرد سیستم، شناسایی رفتارهای خطرناک و ایجاد سازوکارهایی برای دخالت انسان در مواقع ضروری باشند.
به این ترتیب، به جای اینکه ایمنی AI تنها به یک دکمه خاموش وابسته باشد، مجموعه‌ای از لایه‌های کنترلی می‌توانند در طول فعالیت سیستم از بروز یا گسترش رفتارهای خطرناک جلوگیری کنند.
جمع‌بندی
ایده Kill Switch در نگاه اول ساده به نظر می‌رسد: اگر یک هوش مصنوعی خطرناک شد، کافی است دکمه خاموش را فشار دهیم.
اما ساختار سیستم‌های پیشرفته امروزی چنین راه‌حل ساده‌ای را با چالش مواجه می‌کند. مدل‌ها می‌توانند روی زیرساخت‌های توزیع‌شده اجرا شوند، به سرویس‌های مختلف دسترسی داشته باشند و وظایف پیچیده‌ای را با نظارت محدود انسان انجام دهند.
به همین دلیل، بحث ایمنی هوش مصنوعی احتمالاً تنها به طراحی یک «کلید خاموش» محدود نخواهد شد و نظارت مداوم، محدودیت‌های فنی، کنترل دسترسی و امکان مداخله انسانی در بخش‌های مختلف سیستم نیز نقش مهمی خواهند داشت.
همچنین بخوانید: