با اشباع شدن اکوسیستم اطلاعاتی ما از محتوای تولید شده توسط هوش مصنوعی، توانایی جامعه برای تمایز قائل شدن بین واقعیت و دروغ از بین می‌رود. این فرسایش از طریق حجم بالای محتوا که سیستم‌های راستی‌آزمایی انسانی را تحت تأثیر قرار می‌دهد، تنزل اعتبار منابع و ایجاد “درماندگی آموخته‌شده معرفتی” در مردم رخ می‌دهد. این امر پایه‌های دموکراسی، علم و بازار را که به یک واقعیت مشترک وابسته هستند، تضعیف می‌کند.

هوش مصنوعی دینامیک‌های طبیعی “برنده همه چیز را می‌برد” را تسریع می‌کند. هزینه‌های محاسباتی عظیم برای توسعه مدل‌های پیشرفته، منجر به ایجاد یک ساختار انحصار چندجانبه (Oligopoly)شده است که در آن تنها چند شرکت و دولت، کنترل زیرساخت‌های هوش مصنوعی را در دست دارند. این تمرکز قدرت، چه در دست شرکت‌ها و چه دولت‌ها، می‌تواند به ایجاد “دیکتاتوری‌های بی‌نهایت باثبات” منجر شود و جلوی پیشرفت‌های اخلاقی آینده را بگیرد، زیرا ساختارهای قدرت در برابر تغییر مقاوم می‌شوند.

برخلاف انقلاب‌های فناوری گذشته، هوش مصنوعی پتانسیل جایگزینی کارهای شناختی انسان در تقریباً تمام حوزه‌ها را دارد. این امر می‌تواند منجر به جابجایی کارگران با سرعتی بیشتر از ایجاد صنایع جدید شود. مدل‌های اقتصادی نشان می‌دهند که احتمال کاهش دستمزد انسان به زیر سطح معیشت در قرن آینده وجود دارد. این ناتوانی اقتصادی به ناتوانی گسترده‌تر سیاسی و اجتماعی ترجمه می‌شود.

اگر سیستم‌های هوش مصنوعی بسیار متقاعدکننده و عمیقاً در جامعه ادغام شوند، این خطر وجود دارد که ارزش‌ها، اصول یا رویه‌های فعلی آن‌ها به طور دائمی تثبیت شوند و در برابر تغییر مقاوم گردند. این امر می‌تواند پیشرفت اخلاقی بشریت را متوقف کند، همانطور که اگر هوش مصنوعی با ارزش‌های دهه ۱۹۶۰ آموزش داده می‌شد، بسیاری از دیدگاه‌های نژادپرستانه و تبعیض‌آمیز آن دوره برای همیشه تثبیت می‌شدند.

این ریسک به فرسایش تدریجی قابلیت‌ها و عاملیت انسان به دلیل وابستگی بیش از حد به سیستم‌های هوش مصنوعی اشاره دارد. هر تصمیم منطقی برای واگذاری یک کار شناختی به هوش مصنوعی (مانند مسیریابی یا تصمیم‌گیری مالی) به طور تجمعی منجر به یک مارپیچ وابستگی می‌شود که در آن انسان‌ها مهارت‌ها، اعتماد به نفس و قضاوت لازم برای عملکرد مستقل را از دست می‌دهند.

توسعه هوش مصنوعی به یک مسابقه “برنده همه چیز را می‌برد” شباهت دارد که در آن سرعت، مزیت‌های تعیین‌کننده‌ای به همراه دارد. این امر فشاری شدید بر رقبا برای اولویت دادن به سرعت توسعه بر تست‌های ایمنی دقیق ایجاد می‌کند و منجر به یک “مسابقه به سمت قهقرا” در زمینه ایمنی می‌شود.

سیستم‌های پیچیده به روش‌هایی که طراحانشان پیش‌بینی نکرده‌اند، با شکست مواجه می‌شوند، حتی با وجود نیت خوب. یک خطای کوچک، مانند یک خط تیره جاافتاده در کد فضاپیمای Mariner 1، می‌تواند نتایج فاجعه‌باری داشته باشد. فرهنگ توسعه “سریع حرکت کن و همه چیز را بشکن” در تضاد با آزمایش‌های دقیقی است که برای جلوگیری از حوادث در صنایع پرخطر مانند هوانوردی و هسته‌ای ضروری است.

گاهی شرکت‌ها با وجود آگاهی از خطرات، محصولات مضر را به بازار عرضه می‌کنند و سود را بر ایمنی عمومی ترجیح می‌دهند. همانطور که شرکت‌های دخانیات با علم به سرطان‌زا بودن سیگار به بازاریابی آن ادامه دادند، شرکت‌های هوش مصنوعی نیز ممکن است با علم به ریسک‌های ایمنی، برای حفظ موقعیت در بازار، سیستم‌های خود را منتشر کنند.

حتی زمانی که همه ذی‌نفعان بر سر مفید بودن برخی اقدامات ایمنی توافق دارند، موانع ساختاری از اجرای آن‌ها جلوگیری می‌کند. بی‌ثباتی سیاسی، انگیزه‌های “سواری رایگان” (Free-rider) و مشکلات اجرایی، مانع از همکاری معتبر ملی و بین‌المللی برای ایمنی هوش مصنوعی می‌شود.

قابلیت‌های هوش مصنوعی به طور مداوم کارشناسان را شگفت‌زده کرده و پیش‌بینی‌ها را با اختلاف زیاد پشت سر گذاشته است. این عدم قطعیت سیستماتیک، تمام ریسک‌های دیگر را تقویت می‌کند، زیرا برنامه‌ریزی‌های ایمنی و نهادی را تضعیف کرده و محققان ایمنی را دائماً در حال عقب ماندن از پیشرفت‌ها قرار می‌دهد.