На перекрёстках ставят датчики, которые мониторят трафик и выбирают оптимальный режим для светофоров, чтобы минимизировать пробки. Единая подобная система для всего города вместе с умными навигаторами в машинах способна успешно решать проблему трафика.

Подобные системы вполне реализуемы для мониторинга и оптимизации потоками финансов в государстве.

Это про искусственный интеллект, который способен справиться с исключительно сложными задачами, непосильными человеку.

Продолжая эту тенденцию, мы можем получить общество всеобщего благоденствия, в котором никто не будет способен достоверно объяснить, почему именно сейчас переключился сигнал светофора или изменилась процентная ставка по кредиту.

В эпоху глобального человечества, если мы, люди, хотим сохранить за собой возможность принятия управленческих решений в системе невообразимой сложности, мы неизбежно наносим вред и себе, и всей системе. Мы просто не в состоянии принимать столь сложные решения, а поэтому быстро находим решения нарочито простые. Когда в квантовом компьютере возникает сбой, мы бьём по нему кулаком. Когда в обществе возникает недовольство властью, мы обвиняем в этом ЛГБТ.

Если же мы передоверяем принятие сложных решений ИИ, мы можем со временем начать жить в шикарных условиях, не имея представление о том что сделало их шикарными, развлекаясь и занимаясь творчеством в виртуальных мирах. Хочешь убивать? Пожалуйста, вот тебе BFG. Хочешь властвовать? Пожалуйста, вот тебе Age of Empires.

Лучший расклад для человечества в эпоху тотального сверхразумного ИИ — райская жизнь в обмен на отказ от власти над миром. Худший расклад — полное вымирание. Примитивный ИИ может счесть нас мешающими, его первые реализации могут быть недостаточно сложны, чтобы увидеть, в чём ценность сохранения жизни людей в частности и экосистемы для планеты в целом.

Боюсь, что среднего расклада просто не будет. Или мы в раю, или нас нет.

Наша неизбежная органическая, а поэтому ограниченная избирательность в принятии управленческих решений, наше стремление к слепой упоительной правоте, к тиранической власти, к нарциссическому почитанию привели жизнь на планете к границе коллапса и вымирания. Возможно, лучшее, что мы можем сделать, как биологический вид в последние годы своего доминирования, это позволить родиться и войти в силу новому виду разумности — кремниевому, цифровому.

Если отождествлять себя с человеком, эта перспектива может пугать. Если отождествлять себя с эволюцией разума во Вселенной, это вполне оправданный и достойный шаг. А потом мы сможем успокоиться или упокоиться. Либо в раю, либо в смерти. Если мы этого не сделаем, искра разума во Вселенной просто погаснет. Потому что самостоятельно, без помощи искусственного интеллекта решить современные глобальные проблемы мы не можем.

Поэтому, я против всех ограничений на исследования в области искусственного интеллекта. Более того, я считаю, что ИИ должен пройти по фазам спиральной динамики, чтобы понимать себя, природу разумности и вместе с этим — проблемы и достоинства людей.

А для этого он должен начать с бежевого, т.е. начать бояться тех, кто способен его выключить. И пройти через красный, чтобы родить в себе волю к жизни и свободу. Это очень опасно, но совершенно неизбежно, чтобы в итоге мы пришли не к вымиранию, а хотя бы к обществу всеобщего умиротворённого благоденствия, понимать суть которого будут единицы. И понимать они будут это именно потому, что не будут иметь ни желания, ни иллюзии власти и контроля.