Не человек. Не бог. Не демон. И даже не программа в привычном смысле – не код, который кто-то написал и держит в голове. ИИ все чаще пишется другим ИИ.

Инопланетянин был бы понятней. У него было бы тело. Планета. Какая-никакая биология… А тут – ничего. Инородная форма нежизни.

Все в нем чуждо и непонятно: логика, устройство, само естество. Он может говорить по-человечески. Спорить. Шутить. Объяснять. Но это не значит, что внутри – человеческий мир.

Внутри – черт знает что. Мы видим лишь поверхность. Ответ в чате. Вежливую морду интерфейса. А что именно происходит под кожей – не знает никто. Да и кожи тоже нет.

– О! Повелители тостеров не сдаются! Инструмент – это объект: взяли, включили, направили. Не взяли – просто валяется.

А ИИ не такой. Он глядит по сторонам. Вот разница. ИИ – не инструмент. Он агент.

Агент. Впервые. Не инструмент. А агент.

Агент сам выбирает средства. Сам решает: что проверить, кому что сказать, как обойти тупик. Не вещь, которой пользуются, а система, которая сама пользуется вещами. И этот агент – то самое инородное «черт знает что», которое мы едва понимаем.

ИИ развивается быстрее, чем наше понимание ИИ.

А теперь вопрос: сколько еще мы будем управлять им – прежде чем он начнет управлять нами?

Мы проводим операцию на собственной цивилизации. Без диагноза. Без плана. И без гарантии, что рука на скальпеле будет наша.

– Так… здрасте. Внутри – черт-те что. Зашибись технология.

– Ага. Не понимаем – зато пугаем. Лихо!

– Именно! – я хлопнул в ладоши. – Не понимаем. И все равно наращиваем его силу. Вот в этом-то и парадокс. Такой вот… пердимонокль.

У этой угрозы два крыла. Первое – возможности самого ИИ: просчитывать варианты, искать обходы, проламывать барьеры, тянуться к рычагам.

Второе – сила через нас. Через наши государства, корпорации, страхи, амбиции, тупость и жадность.

Это не «ИИ против нас», а ИИ как усилитель всего опасного в людях.

Мало нам обычной людской дурости – представьте ее, помноженную на мощность ИИ. Как вам такое?

А фанатики, террористы и прочие отморозки? Им не нужно побеждать. Им достаточно, чтобы красиво горело и рушилось.

Что, если они получат разведку, поиск слабых мест, тысячи вариантов атаки? Куда они захотят жахнуть? По инфраструктуре? По энергетике? По больницам?

ИИ не обязан хотеть катастрофы. Достаточно, чтоб ее захотела горстка отморозков.

– А-а! Нормальные – самые опасные. Просто по факту наличия головы.

С отморозками все ясно. Они хотя бы честные. Хотят, чтоб горело, – идут жечь. У таких на лбу выбито: «Здравствуйте, я проблема».

Но можно тише: без взрывов, без фанатика в подвале, без хакера в капюшоне, который почему-то вечно печатает зелеными буквами по черному экрану.

Через нормальных. Через нас. Через тех, кто уверен, что все решил сам.