Ученые разработали новую структуру искусственного интеллекта, чтобы предотвратить неправильное поведение машин

Они обещали нам, что роботы не нападут…

В том, что кажется диалогом, поднятым прямо со страниц постапокалиптического научно- фантастического романа, исследователи из Массачусетского университета Амхерст и Стэнфорд утверждают, что они разработали алгоритмическую структуру, которая гарантирует, что ИИ не будет плохо себя вести.

Фреймворк использует алгоритмы "Seldonian“, названные в честь главного героя серии Айзека Азимова” Foundation“, продолжение вымышленной вселенной, где впервые появились” законы робототехники" автора.

Согласно исследованиям команды , архитектура Seldonian позволяет разработчикам определять свои собственные условия работы, чтобы предотвратить системы от пересечения определенных порогов при обучении или оптимизации. По сути, это должно позволить разработчикам удерживать системы искусственного интеллекта от нанесения вреда или дискриминации в отношении людей.

Системы глубокого обучения питают все, от распознавания лиц до предсказаний фондового рынка. В большинстве случаев, таких как распознавание изображений, на самом деле не имеет значения, как машины приходят к своим выводам, если они верны. Если ИИ может идентифицировать кошек с 90- процентной точностью, мы, вероятно, будем считать, что это успешно. Но когда речь заходит о более важных вещах, таких как алгоритмы, которые предсказывают рецидив или ИИ, который автоматизирует дозирование лекарств, нет практически никакой возможности для ошибки.

С этой целью исследователи использовали свои рамки алгоритма Seldonian для создания системы ИИ, которая контролирует и распределяет инсулин у диабетиков, а также другую, которая предсказывает ГП студентов. В первом случае исследователи создали Селдонианскую структуру, чтобы гарантировать, что система не отправит пациентов в аварию, пока они учатся оптимизировать дозировку. И в последнем случае они стремились предотвратить гендерную предвзятость.

Оба эксперимента оказались эффективными и, по мнению исследователей, успешно продемонстрировали, что Селдонианские алгоритмы могут подавлять нежелательное поведение.

Нынешняя парадигма развития ИИ возлагает бремя борьбы с предвзятостью на конечного пользователя. Например, программное обеспечение Rekognition компании Amazon, технология распознавания лиц, используемая правоохранительными органами, лучше всего работает, если порог точности отклонен, но он демонстрирует явную расовую предвзятость на таких уровнях. Полицейские, использующие программное обеспечение, должны выбрать, хотят ли они использовать технологию этически или успешно.

Seldonian framework должен снять это бремя с конечного пользователя и поместить его туда, где оно принадлежит: на разработчиков. Путем включения надлежащих алгоритмов смягчения – что-то, что говорит машине, например, “найти лица без расового предубеждения”, это устранит потенциал для вредного смещения, все еще позволяя программному обеспечению работать.

Это делается математически. Исследователи демонстрируют несколько простых алгоритмов, которые выражают нежелательное поведение в терминах, которые машина может понять. Таким образом, вместо того, чтобы говорить машине “не позволяйте гендерному предубеждению влиять на ваши прогнозы GPA”, алгоритмы Seldonian выражают проблему скорее как " точно предсказать общий GPA, но не
позволяйте разницам между прогнозируемым GPA и фактическим GPA превышать определенный порог, когда учитывается пол.’

Исследователи надеются, что с дальнейшим развитием фреймворк может сделать больше, чем просто капитальный ремонт текущей технологии ИИ, согласно документу команды:

Алгоритмы, разработанные с использованием нашей платформы, не просто заменяют алгоритмы ML в существующих приложениях; мы надеемся, что они проложат путь для новых приложений, для которых использование ML ранее считалось слишком рискованным.

Последствия для краткосрочных технологий, таких как беспилотные автомобили и автономные роботы-рабочие, огромны, это по существу основа для “законов робототехники " Азимова.” Если разработчики могут гарантировать, что обучающиеся машины не будут подхватывать опасное поведение или внезапно решат оптимизировать свое Программирование таким образом, что это повредит или заключит в тюрьму людей, мы можем оказаться на пороге золотого века ИИ.