Проблема «Останнього винаходу»

Зі створенням ASI всі спроби людства навчити його мислити так, як мислить людина, будуть безуспішними: машина буде мислити як машина, а людина — як людина. Подібно до того, як нам навряд чи вдасться навчити мавпу усідомлено використовувати WiFi чи телефон (хоча ми вміємо це робити і є біологічно подібними), ми не можемо гарантувати, що штучний інтелект дасть нам відповіді на всі наші питання чи діятиме за шаблонами, що подібні до людського мислення. Основна проблема полягатиме не просто у тому, що штучний мозок та свідомість будуть потужнішими за усі людські разом узяті. Проблема (і загроза одночасно) полягає у тому, що доволі потужний штучний інтелект буде спиратися на сповнену помилок та недосконалостей програмну оболонку, створену людьми. Крім того, у цього експерименту може виявитися стільки непередбачених змінних, що сьогодні майже неможливо передбачити, яким будуть наслідки Революції Штучного Інтелекту.

Втім, попередня історія людства засівдчила, що із інтелектом приходить значна влада. Це означає, що із появою штучного суперінтелекту може виникнути найпотужніша сила і влада на планеті за всю історію існування Землі. І всі живі істоти, включаючи людей, можуть опинитися у владі цієї сили — а відбудеться це вже протягом кількох наступних десятиліть.

Якщо суперінтелект ASI буде створено ще у цьому столітті, і за умови, що ефект буде таким значним та незворотним, як того очікують науковці, це означатиме, що на плечі людства ляже відповідальність за технологію, значно важливішу та небезпечнішу навіть у порівнянні із ядерною зброєю. З одного боку, надпотужний штучний інтелект може стати праобразом бога на Землі і принести планеті безсмертя. З іншого боку — така технологія може прискорити кінець людської раси і стати тим відкриттям, яке її знищить, свого роду «зброєю Судного дня». Тому будь-які винаходи та розробки в цьому напрямку мають бути вкрай виважені.