автор: ТРИСТАН ГРИН

Руководство для начинающих к апокалипсису ИИ: несогласованные цели

Вы не можете обсуждать роботов-убийц, не вспоминая фильм Терминатор. Культовый робот франшизы T-800 стал символом наших экзистенциальных страхов относительно современных прорывов в области искусственного интеллекта. Однако то, что часто теряется в этой смеси, - это то, почему роботы-терминаторы так одержимы уничтожением человечества: потому что мы случайно сказали им об этом.

Это понятие называется несогласованные цели . Вымышленные люди, которые сделали Skynet (spoiler alert, Если вы не видели этот 35-летний фильм), ИИ, который управляет роботами-Терминаторами, запрограммировал его на защиту мира. Когда он становится разумным, и они пытаются закрыть его, Скайнет решает, что люди-самая большая угроза миру, и идет на уничтожение их для шести фильмов и очень недооцененного телевизионного шоу.

Дело в том, что никто никогда не намеревался создавать роботов, которые выглядят как Арнольд Шварценеггер, чтобы убить всех. Все это начинается достаточно невинно – ИИ Google теперь может планировать ваши встречи по телефону – а затем, прежде чем вы это узнаете, мы случайно создали сверхразумную машину, и люди-вымирающий вид.

Может ли это произойти на самом деле? Есть горстка всемирно известных ИИ и компьютерных экспертов, которые так думают. Оксфордский философ Ник Бостром максимайзер скрепок использует произвольный пример ИИ, целью которого является оптимизация процесса производства скрепок. В конечном счете ИИ превращает всю планету в фабрику скрепок в своем стремлении оптимизировать свои процессы.

"Грузовики" Стивена Кинга представляют себе мир, где прохождение таинственной кометы не только дает каждой машине на Земле чувствительность, но и возможность работать без узнаваемого источника энергии. И-предупреждение спойлера, если вы не читали эту 46-летнюю короткую историю – она заканчивается тем, что машины уничтожают всех людей и вымощают всю поверхность планеты.

Недавнее NY Times op-ed от эксперта ИИ Стюарта Рассела началось со следующего абзаца:

Появление сверхчеловеческого машинного интеллекта станет крупнейшим событием в истории человечества. Великие державы мира наконец-то осознают этот факт, и крупнейшие мировые корпорации уже давно об этом знают. Но то, что они не могут полностью понять, так это то, как развивается Аи, определит, является ли это событие также нашим последним.

Статья Рассела – и его книга-обсуждают потенциал катастрофы, если мы не опередим проблему и не обеспечим разработку ИИ с принципами и мотивациями, согласованными с нашими человеческими целями. Он считает, что нам нужно создать искусственный интеллект, который всегда остается неопределенным относительно любых конечных целей, поэтому он будет подчиняться людям. Его страх, похоже, заключается в том, что разработчики будут продолжать обучать модели грубой силы до тех пор, пока не возникнет ситуация Skynet, когда система "думает", что она знает лучше, чем ее создатели.

На другой стороне этого аргумента находятся эксперты, которые считают, что такая ситуация невозможна или что это настолько маловероятно, что мы можем также обсуждать теоретические роботы-убийцы, путешествующие во времени. Там, где Рассел и Бостром утверждают, что прямо сейчас настало время выработать политику и диктовать исследовательские догмы, окружающие ИИ, другие считают, что это немного пустая трата времени. Профессор компьютерных наук Мелани Митчелл, в ответ на ОП-Ред Нью-Йорк Таймс Рассела, пишет::

Вполне допустимо рассуждать о приведении воображаемого сверхразума — хотя и странно механического — в соответствие с человеческими целями. Но без более глубокого понимания сложной природы интеллекта такие спекуляции останутся в области научной фантастики и не смогут служить основой для политики А. И. в реальном мире.

Митчелл не одинок, вот статья о том, почему гуру ИИ Facebook, Янн Лекун, не боится ИИ с несогласованными целями.

Суть спора вращается вокруг того, будут ли машины когда-нибудь обладать тем типом интеллекта, который делает невозможным для людей отключить их. Если мы считаем, что некоторые злосчастного исследователя Эврика момент будет каким-то образом наполнить компьютерную систему с искрой жизни, или своего рода мастер алгоритм будет выясняться, что позволяет систем машинного обучения, чтобы превзойти интеллектуальные способности биологического разума, тогда мы должны признать, что есть шанс, что мы могли бы случайно создать машину “бог” с власть над нами.

На данный момент важно помнить, что сегодняшний ИИ является тупым. По сравнению с магией сознания, современное глубокое обучение-это просто престидигитация. У компьютеров нет целей, идеалов и целей, чтобы поддерживать их в рабочем состоянии. Без какого-то невероятного прорыва это вряд ли изменится.

Плохая новость заключается в том, что крупные научно-исследовательские отделы и государственные политики, похоже, не принимают всерьез экзистенциальные угрозы, которые может создать ИИ. Нынешний голдраш может длиться не вечно, но до тех пор, пока финансирование стартапа AI по сути является лицензией на печать денег, мы вряд ли увидим, что политики и руководители компаний настаивают на регулировании.

Это страшно, потому что это идеальный сценарий для случайного прорыва. Хотя это правда, что технология ИИ существует уже давно, и исследователи обещали искусственный интеллект на уровне человека в течение десятилетий, это также правда, что никогда не было больше денег или персонала, работающих над проблемой, чем сейчас.

К лучшему или худшему, похоже, что наша единственная защита от сверхчеловеческого ИИ с несогласованными целями заключается в том, что создание такой мощной системы находится вне досягаемости для современных технологий.