Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Сейчас мы имеем достаточно хорошее теоретическое понимание значения абстрактных действий — того, как определить их практический эффект[341]. Рассмотрим для примера абстрактное действие «Приехать в Беркли» из рис. 17. Его можно выполнить многими способами, каждый из которых по-разному повлияет на мир. Вы можете решить поплыть туда на корабле зайцем, прилететь в Канаду и пешком перейти границу, нанять частный бизнес-джет и т. д. Однако пока вам незачем обдумывать все эти варианты. Если вы уверены, что существует способ сделать это, не требующий слишком много времени и денег или не сопряженный с таким риском, чтобы поставить под угрозу весь план, вы можете просто включить шаг «Приехать в Беркли» в план и не сомневаться, что план будет выполнен. Подобным образом можно строить высокоуровневые планы, которые со временем превратятся в миллиарды или триллионы примитивных шагов, даже не задумываясь о том, что это за шаги, пока не настанет время их выполнять.

Конечно, ничто из этого невозможно без иерархии. Без высокоуровневых действий, таких как получение визы и написание диссертации, мы не можем составить абстрактный план получения PhD. Без действий еще более высокого уровня вроде получения PhD и основания компании не можем планировать получить PhD и основать компанию. В реальном мире мы потерялись бы без обширной библиотеки действий на десятках уровней абстракции. (В игре го очевидная иерархия действий отсутствует, поэтому большинство из нас действительно теряется в ней.) В настоящее время, однако, все существующие методы иерархического планирования основываются на создаваемой человеком последовательности абстрактных и конкретных действий. Мы пока не понимаем, как можно научиться практическому формированию таких иерархий из опыта.

Логика — это наука о рассуждении на основе точного знания. Она носит всецело общий характер, независимо от предмета, а именно, знание может быть абсолютно о чем угодно. Логика, таким образом, есть неотъемлемая часть нашего понимания универсальной разумности.

Главным условием логики является формальный язык с точными значениями предложений этого языка, так, чтобы имелся однозначный процесс определения того, является ли предложение истинным или ложным в данной ситуации. Вот и все. Если это условие выполнено, мы можем писать осмысленные алгоритмы рассуждения, составляющие новые предложения из уже известных. Эти новые предложения гарантированно будут вытекать из предложений, которые система уже знает, следовательно, обязательно будут истинными в любой ситуации, в которой истинны исходные предложения. Это позволяет машине отвечать на вопросы, доказывать математические теоремы или разрабатывать планы, которым гарантирован успех.

Хорошим примером является алгебра, изучаемая в старших классах (хотя, возможно, у кого-то это пробудит тяжелые воспоминания). Ее формальный язык включает такие предложения, как 4х + 1 = 2y — 5. Это предложение истинно в ситуации, когда х = 5 и y = 13, и ложно при х = 5 и y = 6. Из этого предложения можно вывести другое, например y = 2х + 3, и в любом случае, когда первое предложение истинно, второе также гарантированно будет истинным.

Основная идея логики, выработанная независимо в древних Индии, Китае и Греции, состоит в том, что одни и те же понятия с точным значением и обоснованной логикой можно использовать в предложениях совершенно обо всем, не только о числах. Канонический пример исходит из утверждений «Сократ — человек» и «Все люди смертны» и делает из них вывод «Сократ смертен»[342]. Этот вывод является строго формальным в том смысле, что не опирается ни на какую дополнительную информацию о том, кто такой Сократ или что значит человек и смертен. Тот факт, что логическое рассуждение является строго формальным, означает, что возможно написать алгоритм, который это делает.

Пропозиционная логика

Нам с вами для понимания возможностей и перспектив ИИ важны два типа логики, по-настоящему существенные: пропозиционная логика и логика первого порядка. Разница между ними имеет принципиальный характер для понимания текущей ситуации в сфере разработки ИИ и ее вероятного развития.

Давайте начнем с более простой пропозиционной логики. Предложения составляются только из двух типов объектов: символов, обозначающих утверждения, которые могут быть истинными или ложными, и логических связок: и, или, нет и если… то (дальше я приведу пример). Эти логические связки иногда называют Булевыми, в честь Джорджа Буля, логика XIX в., вдохнувшего новую жизнь в эту сферу знания, предложив новые математические идеи. Это то же самое, что логические элементы компьютерных чипов.

Практические алгоритмы формирования рассуждения в пропозиционной логике известны с начала 1960-х гг.[343][344] Хотя задача универсального рассуждения в худшем случае может потребовать экспоненциального времени[345], современные алгоритмы пропозиционной логики решают задачи с миллионами пропозиционных символов и десятками миллионов предложений. Это основной инструмент составления гарантированно исполнимых логистических планов, верификации дизайна чипов перед их производством и проверки корректности программных приложений и протоколов безопасности перед их использованием. Замечательно, что один алгоритм — алгоритм формирования рассуждений пропозиционной логики — решает все задачи, если они сформулированы как задачи на рассуждение. Очевидно, это шаг на пути к универсальности интеллектуальных систем.