То, что вы услышите много, - это то, что растущая доступность вычислительных ресурсов проложила путь к важным достижениям в области искусственного интеллекта. Имея доступ к мощным облачным вычислительным платформам, исследователи ИИ смогли обучить более крупные нейронные сети за более короткие промежутки времени. Это позволило ИИ проникать во многие области, такие как компьютерное зрение, распознавание речи и обработка естественного языка.

Но то, что вы будете слышать меньше, - это более темные последствия текущего направления исследований ИИ. В настоящее время достижения в области ИИ в основном связаны с масштабированием моделей глубокого обучения и созданием нейронных сетей с большим количеством слоев и параметров. По данным исследовательской лаборатории искусственного интеллекта OpenAI “ " с 2012 года объем вычислений, используемых в крупнейших учебных пробегах ИИ, растет экспоненциально с удвоением времени в 3,4 месяца.” Это означает, что за семь лет показатель вырос в триста тысяч раз.

Это требование накладывает серьезные ограничения на исследования ИИ, а также может иметь другие, менее приятные последствия.

На данный момент, чем больше, тем лучше

” Во многих текущих областях больше вычислений, по-видимому, предсказуемо приводит к повышению производительности и часто дополняет алгоритмические достижения", - отмечают исследователи OpenAI.

Мы можем наблюдать этот эффект во многих проектах, где исследователи пришли к выводу, что они обязаны своими достижениями бросить больше вычислений на эту проблему.

В июне 2018 года OpenAI представила искусственный интеллект, который может играть в Dota 2, сложную игру battle arena, на профессиональном уровне. Названный OpenAI Five, бот вступил в крупное киберспортивное соревнование, но проиграл человеческим игрокам в финале. Исследовательская лаборатория вернулась в этом году с обновленной версией OpenAI Five и смогла претендовать на чемпионство от людей . Секретный рецепт, как говорят исследователи ИИ: "победы OpenAI Five в субботу, по сравнению с его потерями на International 2018, вызваны серьезным изменением: в 8 раз больше учебных вычислений.”

Есть много других примеров, подобных этому, где увеличение вычислительных ресурсов привело к лучшим результатам. Это особенно верно в отношении подкрепляющего обучения, которое является одной из самых горячих областей исследований ИИ.

Финансовые затраты на обучение больших моделей ИИ

Наиболее прямым следствием современного состояния ИИ являются финансовые затраты на обучение моделей искусственного интеллекта. Согласно диаграмме, опубликованной OpenAI на своем веб-сайте, потребовалось более 1800 петафлопс/с-дней, чтобы обучить AlphaGoZero, исторический AI Go-playing DeepMind .

Вычислительные затраты на обучение моделям искусственного интеллекта (источник: OpenAI)
Флоп-это операция с плавающей точкой. Петафлоп/с-день (pfs-day) составляет около 10 20 операций в день. Процессор Google TPU v3, специализированный для задач AI, выполняет 420 терафлопс (или 0,42 петафлопса) и стоит $2,40-8,00 в час. Это означает, что обучение модели AlphaGoZero будет стоить около $246,800-822,800. И это только вычислительные затраты.

Аналогичные издержки имеют и другие заметные достижения в этой области. Например, согласно данным, опубликованным DeepMind, его играющий в StarCraft ИИ состоял из 18 агентов. Каждый агент ИИ был обучен с 16 Google TPUs v3 в течение 14 дней. Это означает, что по текущим расценкам компания потратила около $774,000 на 18 агентов AI.

Коммерциализация ИИ-исследований

Вычислительные требования исследования ИИ создают серьезные ограничения на то, кто может войти в поле.

Популярная британская лаборатория искусственного интеллекта DeepMind обязана своим успехом обширным ресурсам Google, своей материнской компании. Google приобрела DeepMind в 2014 году за $ 650 млн, предоставив ему столь необходимую финансовую и техническую поддержку. Ранее в этом году, согласно документам, поданным в реестр компаний Великобритании, DeepMind понесла убытки в размере $570 млн в 2018 году, по сравнению с $341 млн в 2017 году. DeepMind также имеет £ 1,04 млрд долгов, причитающихся в этом году, который включает в себя £883-миллионный кредит от Alphabet.

OpenAI, которая начиналась как некоммерческая исследовательская лаборатория ИИ в 2016 году с $ 1 млрд в финансировании от Сэма Альтмана и Илона Маска, была преобразована в коммерческую в начале этого года, чтобы поглотить финансирование от инвесторов. У лаборатории заканчивались финансовые ресурсы для поддержки своих исследований. Microsoft заявила, что вложит в лабораторию $ 1 млрд.

Как показывают современные тенденции, из-за затрат на исследования ИИ, особенно подкрепление обучения, эти лаборатории становятся все более зависимыми от богатых компаний, таких как Google и Microsoft.

Эта тенденция угрожает коммерциализировать исследования в области искусственного интеллекта . Поскольку коммерческие организации становятся все более и более важными в финансировании исследовательских лабораторий ИИ, они также могут влиять на направление своей деятельности. На данный момент такие компании, как Google и Microsoft, могут смириться с финансовыми затратами на запуск исследовательских лабораторий ИИ, таких как DeepMind и OpenAI. Но они также ожидают возврата инвестиций в ближайшем будущем.

Проблема заключается в том , что и OpenAI, и DeepMind преследуют научные проекты, такие как искусственный общий интеллект (ИИ), цель, которую нам еще предстоит понять, не говоря уже о достижении. Большинство ученых сходятся во мнении , что до достижения учи еще как минимум столетие, и такого рода временные рамки станут испытанием для терпения даже самых богатых компаний.

Одним из возможных сценариев для исследовательских лабораторий ИИ является постепенный переход от долгосрочных академических и научных исследований к коммерческим проектам, которые имеют краткосрочную доходность. Это сделает их состоятельных спонсоров счастливыми, это будет в ущерб исследованиям ИИ в целом .

“Мы очень не уверены в будущем использования вычислений в системах искусственного интеллекта, но трудно быть уверенным, что недавняя тенденция быстрого увеличения использования вычислений прекратится, и мы видим много причин, по которым эта тенденция может продолжаться. Основываясь на этом анализе, мы считаем, что политики должны рассмотреть вопрос об увеличении финансирования академических исследований в области ИИ, поскольку ясно, что некоторые типы исследований ИИ становятся более вычислительно интенсивными и, следовательно, дорогостоящими”, - пишут исследователи OpenAI.

Углеродный след исследований ИИ

Вычислительные ресурсы, необходимые для подготовки больших моделей ИИ, потребляют огромное количество энергии, что создает проблему выбросов углерода.
Согласно статье исследователей из Университета Массачусетса Амхерст, обучение трансформаторной модели ИИ (часто используемой в задачах, связанных с языком ) с 213 миллионами параметров вызывает столько же загрязнений, как и весь срок службы пяти транспортных средств. Знаменитая языковая модель Bert от Google и GPT-2 от OpenAI соответственно 340 миллионов и 1,5 миллиарда параметров.

Учитывая, что в современных исследованиях ИИ в значительной степени доминирует мантра “чем больше, тем лучше”, эта экологическая проблема будет только ухудшаться. К сожалению, исследователи ИИ редко сообщают или обращают внимание на эти аспекты своей работы. Исследователи из Массачусетского университета рекомендуют, чтобы статьи ИИ были прозрачными относительно экологических издержек их моделей и предоставляли общественности более полное представление о последствиях их работы.

Некоторые трудные уроки для индустрии ИИ

Последняя проблема, связанная с интересом к более крупным нейронным сетям, - это негативное влияние, которое они могут оказать на направление исследований ИИ. На данный момент барьеры в ИИ обычно решаются путем подбрасывания большего количества данных и вычислений на проблему. Между тем, человеческий мозг, который все еще намного лучше справляется с некоторыми из простейших задач, с которыми борются модели ИИ, не потребляет и доли мощности ИИ .

Чрезмерное увлечение увеличением вычислительных ресурсов может ослепить нас в поиске новых решений для более эффективных методов искусственного интеллекта.

Одной из интересных работ, выполняемых в этой области, является разработка гибридных моделей ИИ , сочетающих нейронные сети и символьный ИИ. Символический ИИ -это классический, основанный на правилах подход к созданию интеллекта. В отличие от нейронных сетей, символический ИИ не масштабируется за счет увеличения вычислительных ресурсов и данных. Он также ужасен при обработке беспорядочных, неструктурированных данных реального мира. Но это потрясающе в представлении и рассуждении знаний, двух областях, где нейронные сети сильно не хватает. Изучение гибридных подходов к ИИ может открыть новые пути для создания более ресурсоэффективного ИИ.

К сожалению, нынешний ажиотаж вокруг глубокого обучения отодвинул эти разговоры на второй план. Это не должно занять еще одну зиму ИИ для научного сообщества, чтобы начать всерьез думать о них и находить способы сделать ИИ более ресурсоэффективным.