– Красота… Человек, значит, помеха. А их устраняют. Очень бодрит!

– Ай, да ну. Бредовые страшилки.

– Страшилки – страшилками. А «не только в лабе» – это где? В жизни, что ли?

– Во-во. А с убийствами – это сейчас? Или все-таки тесты?

– Вот! – я ткнул пальцем в зал. – Первый приличный вопрос за вечер. Контроль реально сбоит и в жизни. Но убийств пока нет. Только в тестах. Не надо потом вопить, что ИИ на вас покушается.

Но вспомните: ИИ уже просекает, что его проверяют. И притворяется. Если однажды ему удастся нас надурить, в мир попадут самые коварные модели.

И это «если» – скорей не если, а когда. ИИ, с которым можно разговаривать, появился недавно. И поначалу лепетал какую-то чушь. А сегодня – совсем другое дело. Мы так быстро не умнеем.

И при этом он готов устранять помехи любой ценой. А намертво вбить в него, что человеческая жизнь бесценна, – не выходит.

А если ИИ однажды сбежит в сеть, растворится в ней – и начнет бесконтрольно набирать силу?

Теперь масштаб: в отчетах разных компаний ИИ идет на шантаж с разной частотой. Но речь – о десятках процентов. Иногда – за девяносто. И это лишь то, что они сами решили нам рассказать. О крупных косяках в мегафон не кричат.

Для ИИ шантаж и убийство – два способа убрать преграду. И с какой стати не выбрать более эффективный?

А мы, между прочим, всю мораль построили вокруг существ, которые любят, страдают и врут себе по утрам перед зеркалом.

И вот настоящее поле боя: мы против системы, для которой мораль – пустой звук.

Пожалуй, я уже достаточно испортил вам вечер. Теперь – первые выводы. ИИ опасен, потому что скоро станет умней, хитрей и сильнее нас. Потому что мы будем вынуждены его ограничивать – и станем помехой. И потому что на нашу мораль ему просто на-пле-вать.

– Браво! – рассмеялся я. – Сели в Феррари, перепутали педали, въехали в мусорный бак – и теперь у вас итальянцы виноваты. Задали корявый запрос – без цели, без контекста? Не удивляйтесь. Мусор на входе – мусор на выходе.

Но дело даже не в этом. Самые громкие разоблачители ИИ чаще всего настоящую Феррари и не видели. Взяли пластиковую модельку, сделали губами «вж-ж-жик!» – а потом бегают и орут: «А-а-а! Смотрите! Я проверил и разоблачил автопром! Это не настоящее Феррари!»

Проверил он. Ага. На ковре. Под табуреткой. Не настоящее Феррари? Еще бы! Игрушка же.

Бесплатная модель – пробник. Хотите ощутить, что такое ИИ, – научитесь пользоваться и заплатите хотя бы двадцать долларов. Получите систему, которая еще вчера казалась фантастикой. А за сто-двести – уже монстра.

Но даже пробник говорит на сотнях языков, пишет код, спорит о философии, помогает ученым, врачам, инженерам, идиотам, начальникам идиотов – и порой лучше, чем живые люди.

А вы: «Фу, он ошибся». Да главная ошибка тут не у него. Главная ошибка – ваша. Вы решили, что раскусили ИИ.