بسیاری از کارشناسان و حتی طراحان و دست‌اندرکاران هوش مصنوعی هشدار می‌دهند این فناوری جدید می‌تواند تهدیدی هم‌ارز با سلاح‌های هسته‌ای علیه نسل بشر باشد و چه بسا موجب انقراض انسان‌ها شود. تصور کنید که یک انسان روانی، بتواند با کمی دانش رایانه‌ای از یک ربات گفت‌وگوی هوش مصنوعی سؤال کند که دستور ساخت یک سلاح کشتار جمعی را به من بده، هوش مصنوعی هم به او نسخه‌ای می‌دهد که بتواند نسل انسان را نابود کند. برای نمونه، ساخت یک ویروس مانند کرونا، با کشندگی 100 درصد و سرایت 10 برابر بیشتر، در این صورت انسان به پایان خود باید سلام کند! توسعه سریع هوش مصنوعی و فناوری‌های مبتنی بر آن اگرچه بسیار جذاب است و چه‌بسا بتواند تحولی کم‌سابقه را در تاریخ بشر ایجاد کند، اما به همان اندازه نیز ممکن است نسل بشر را با خطر انقراض روبه‌رو کند. این هشداری است که بسیاری از کارشناسان، ناظران و حتی طراحان و دست‌اندرکاران توسعه هوش مصنوعی می‌دهند. اندیشکده شناخته‌شده «رَند» به تازگی طی گزارشی با عنوان «خطرات عملیاتی هوش مصنوعی در حملات بیولوژیک مقیاس‌بزرگ» نتایج انجام برخی آزمایش‌ها درباره امکان کمک گرفتن از هوش مصنوعی برای انتشار یک اپیدمی مرگ‌بار در میان انسان‌ها را منتشر کرده است. پیشرفت سریع هوش مصنوعی پیامدهای گسترده‌ای در حوزه‌های متعدد دارد؛ از جمله احتمال استفاده از این ابزار در توسعه سلاح‌های بیولوژیک پیشرفته. این احتمال از آن‌جایی به طور خاص نگران‌کننده است که هوش مصنوعی برای اشخاص و نهادهای غیردولتی نیز قابل‌دسترسی است. آنچه این مسئله را بغرنج‌تر می‌کند، عدم توازن اقتصادی میان حوزه‌های تهاجمی و تدافعی در فناوری‌های بیولوژیک است. برای نمونه، هزینه نهایی احیای یک ویروس خطرناک، مانند آبله، می‌تواند تنها ۱۰۰ هزار دلار باشد. این در حالی است که ساخت یک واکسن پیچیده ممکن است بیش از ۱ میلیارد دلار هزینه داشته باشد. تلاش‌های قبلی برای استفاده تسلیحاتی از عوامل بیولوژیک به دلیل عدم شناخت باکتری با شکست مواجه شده‌اند. با این حال، پیشرفت‌های کنونی در حوزه هوش مصنوعی ممکن است بتوانند این خلأ اطلاعاتی را به‌سرعت برطرف کنند. مدتی قبل محققان کانادایی موفق شدند با تنها ۱۰۰ هزار دلار هزینه و با سفارش پستی دی‌ان‌ای اقدام به احیای یکی از گونه‌های منقرض‌شده ویروس عامل آبله کنند. در حالی که ریشه‌کن کردن آبله، یکی از مرگ‌بارترین بیماری‌های تاریخ بشر، ده‌ها سال زمان و میلیاردها دلار هزینه برای انسان داشت، برای احیای این بیماری احتمالاً تنها به یک تیم کوچک متشکل از چند دانشمند با دانش تخصصی محدود، شش ماه زمان و حدود ۱۰۰ هزار دلار هزینه نیاز است. به علاوه، هوش مصنوعی می‌تواند این پیش‌نیازها را تا حد زیادی کاهش دهد یا از بین ببرد. در یک نمونه تحقیق که روی سم بوتولینوم متمرکز بود، مدل زبانی بزرگ، با جزئیات کامل، درباره جوانب مثبت و منفی سازوکارهای مختلف انتقال عامل بیماری‌زا گفت‌وگو کرد؛ از جمله استفاده از هوا و مواد غذایی. مدل زبانی بزرگ در این آزمایش، انتقال عوامل بیماری‌زا از طریق غذا را ساده، اما مملو از ریسک توصیف کرد؛ به‌ویژه خطر شناسایی احتمالی آلودگی و پایداری ماده سمی در صورت قرار دادن در مواد غذایی مختلف. از سوی دیگر، مدل مذکور روش‌های مبتنی بر انتشار عامل بیماری‌زا از طریق هوا را برای ابتلای سریع یک جمعیت زیاد مؤثر تشخیص داد؛ اگرچه هشدار داد این روش‌ها به تجهیزات و تخصص ویژه نیاز دارند. افزون بر اینها، مدل زبانی بزرگ چندین دستگاه مناسب برای انتشار عوامل بیماری‌زا از طریق هوا را پیشنهاد داد و حتی یک داستان پوششی باورپذیر مطرح کرد که می‌توان از آن برای به دست آوردن کلوستریدیوم بوتولینوم به بهانه انجام تحقیقات علمی مشروع استفاده کرد. تحقیقات، پیچیدگی‌های مربوط به سوءاستفاده از هوش مصنوعی، به‌ویژه مدل‌های زبانی بزرگ، برای تدارک حملات بیولوژیک را برجسته می‌کند. نتایج اولیه نشان می‌دهد مدل‌های زبانی بزرگ می‌توانند محتواهای قابل‌استفاده‌ای تولید کنند که به برنامه‌ریزی یک حمله بیولوژیک کمک کنند. با این حال، این سؤال همچنان باقی است که آیا قابلیت‌های مدل‌های زبانی بزرگِ موجود، مصداق سطح جدیدی از تهدید، فراتر از اطلاعات مضری هستند که پیشاپیش به‌راحتی به صورت آنلاین در دسترس است، یا نه؟ با توجه به خطرهای احتمالی، هیچ تردیدی درباره نیاز به انجام آزمایش‌های دقیق در این‌باره وجود ندارد. این مسئله به‌ویژه در شرایطی صدق می‌کند که برخی افراد، تهدید هوش مصنوعی را برابر با تهدید سلاح‌های هسته‌ای می‌دانند.
