Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Проблема возникает, когда мы переходим от восприятия к принятию решений. Например, обученная сеть распознавания объектов может автоматически присваивать подписи изображениям на сайте или в учетной записи в социальной сети. Присваивание подписей — это действие, имеющее последствия. Каждое такое действие требует принятия реального решения в плане классификации, и, если нет гарантий, что каждое решение совершенно, человек-разработчик должен задать функцию потерь, определяющую издержки неверного классифицирования объекта типа А как объект типа Б. Именно так у Google возникла приснопамятная проблема с гориллами. В 2015 г. разработчик ПО Джеки Алсине пожаловался в «Твиттер», что сервис аннотирования фотографий Google Photos обозначил его и его друга как горилл[81]. Хотя непонятно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google был разработан под минимизацию фиксированной, строго определенной функции потерь — более того, он приписывал всем ошибкам одну и ту же стоимость. Иными словами, он предполагал, что стоимость ошибочного принятия человека за гориллу равна стоимости ошибочного принятия норфолкского терьера за норвичского. Очевидно, это неадекватная функция потери для Google (или владельцев компании), что продемонстрировала возникшая проблема в сфере отношений с общественностью.

Поскольку возможных подписей к изображениям тысячи, количество потенциальных издержек, связанных с ошибочным принятием одной категории за другую, исчисляется миллионами. Несмотря на все усилия, Google обнаружила, что очень трудно заранее задать все эти параметры. Вместо этого следовало признать неопределенность в отношении истинной стоимости ошибочной классификации и создать обучающийся и классифицирующий алгоритм с достаточной чувствительностью к издержкам и связанной с ними неопределенности. Такой алгоритм мог бы иногда спрашивать у разработчиков Google что-нибудь вроде: «Что хуже: ошибочно принять собаку за кошку или человека за животное?» Кроме того, при наличии существенной неопределенности в отношении стоимости ошибочной классификации алгоритм мог бы отказываться подписывать некоторые изображения.

К началу 2018 г. сообщалось, что Google Photos действительно отказывается классифицировать фотографию гориллы. Получив очень четкое изображение гориллы с двумя детенышами, сервис отвечает: «Гм-м… пока не вижу это достаточно ясно»[82].

Я не собираюсь утверждать, что адаптация стандартной модели ИИ была неудачным выбором на тот момент. Очень много сил вложено в разработку различных реализаций этой модели в логических, вероятностных и обучающихся системах. Многие системы стали весьма полезны, и, как мы увидим в следующей главе, нас ждут еще более значимые достижения. В то же время мы не можем больше полагаться на обычную практику высмеивания крупных промахов целевой функции. Все более интеллектуальные машины, оказывающие все более глобальное воздействие, не позволят нам этой роскоши.

3 мая 1997 г. начался матч между Deep Blue, шахматным компьютером IBM, и Гарри Каспаровым, чемпионом мира и, вероятно, лучшим шахматистом в истории. Newsweek назвала матч «Последним рубежом человеческого мозга». 11 мая при промежуточной ничьей 2½−2½ Deep Blue обыграл Каспарова в финальной партии. СМИ неистовствали. Рыночная капитализация IBM мгновенно выросла на $18 млрд. По общему мнению, ИИ совершил колоссальный прорыв.

С точки зрения исследователей ИИ, этот матч никоим образом не был прорывом. Победа Deep Blue, какой бы впечатляющей она ни была, всего лишь продолжила тенденцию, наблюдающуюся несколько десятилетий. Базовую концепцию шахматных алгоритмов разработал в 1950 г. Клод Шеннон[83], основные усовершенствования были сделаны в начале 1960-х гг. После этого шахматный рейтинг лучших программ неуклонно рос главным образом благодаря появлению все более быстрых компьютеров, позволявших программам дальше заглядывать вперед. В 1994 г.[84] мы с Питером Норвигом составили численные рейтинги лучших шахматных программ начиная с 1965 г. по шкале, где рейтинг Каспарова составлял 2805. Рейтинги начинались от 1400 в 1965 г. и улучшались почти по идеальной прямой в течение 30 лет. Экстраполяция линии за 1994 г. предсказывала, что компьютеры смогут обыграть Каспарова в 1997 г., — что и случилось.

Итак, с точки зрения исследователей ИИ настоящие прорывы имели место за 30 или 40 лет до того, как Deep Blue захватил внимание общественности. Аналогично глубокие сверточные сети с полностью разработанным математическим аппаратом появились более чем за 20 лет до того, как попали на первые полосы.

Представление о прорывах в области ИИ, складывающееся у общественности из сообщений в СМИ, — ошеломляющие победы над людьми, роботы, получающие гражданство Саудовской Аравии, и т. д. — имеет очень слабое отношение к тому, что реально происходит в исследовательских лабораториях. Там много думают, обсуждают и пишут математические формулы. Идеи постоянно предлагаются, отбрасываются и открываются заново. Хорошая идея — подлинный прорыв — часто остается незамеченной в свое время, лишь впоследствии приходит понимание, что она закладывала фундамент для существенного развития ИИ, например, когда кому-то она приходит в более подходящее время. Идеи апробируются сначала на простых задачах, чтобы показать, что базовые догадки верны, затем на более сложных, в качестве проверки того, насколько хорошо они с ними справляются. Часто оказывается, что идея сама по себе не способна значительно увеличить возможности ИИ, и приходится ждать появления другой идеи, в сочетании с которой первая идея оказывается ценной.

Вся эта деятельность совершенно незаметна снаружи. В мире за стенами лабораторий на ИИ обращают внимание, только когда постепенное накопление идей и свидетельств их годности преодолевает пороговое значение: в тот момент, когда становится выгодно вкладывать деньги и усилия разработчиков в создание нового коммерческого продукта или впечатляющую демонстрацию. Тогда СМИ объявляют, что случился прорыв.