В предыдущей заметке мы остановились на конце 1970-х годов. Первая «зима искусственного интеллекта» остудила ожидания, но именно тогда вызрела мысль, что интеллектуальной системе необходимы глубокие знания предметной области, а не только универсальный механизм поиска решений. В 1980-е годы эта идея впервые превратилась в заметный коммерческий рынок. Десятилетие началось с первых убедительных примеров промышленного применения экспертных систем и продолжилось беспрецедентным вниманием со стороны бизнеса и государств. Одновременно в середине 1980-х годов возобновился интерес к нейронным сетям, которые долгое время оставались на периферии основных исследований.

XCON: искусственный интеллект приносит деньги

Символом нового периода стала система XCON. Её созданием в конце 1970-х годов занялся Джон Макдермотт из Университета Карнеги-Меллона, а заказчиком выступила корпорация Digital Equipment Corporation, один из крупнейших производителей вычислительной техники того времени. Задача выглядела скромно. Система проверяла заказы покупателей на семейство мини-компьютеров VAX и автоматически доукомплектовывала их, подбирая кабели, блоки питания и другие компоненты, которые клиенты неизменно упускали. До её появления конфигурированием занимались инженеры, и каждая ошибка обходилась дорого.

Система, первоначально называвшаяся R1, начала работать в 1980 году. По мере развития она превратилась в важный элемент бизнеса. К середине десятилетия XCON использовалась для конфигурирования практически всех соответствующих заказов DEC и стала частью производственного процесса, а экономический эффект от её применения оценивался в десятках миллионов долларов. Впервые программа, построенная на методах искусственного интеллекта, приносила измеримую коммерческую выгоду. Это изменило отношение бизнеса к направлению, которое ещё недавно считалось пережившим кризис.

Знания становятся товаром

Успех XCON подсказал коммерческую модель. Ещё в 1980 году на основе медицинской системы MYCIN, о которой шла речь в предыдущей заметке, была создана EMYCIN — по существу опустошённая экспертная система, из которой удалили медицинские знания, сохранив механизм рассуждений. Так появилась концепция оболочки экспертной системы (expert system shell): универсального программного каркаса, который можно наполнять знаниями из любой предметной области. Возникли компании, продающие такие инструменты и услуги по разработке систем, — IntelliCorp, Inference Corporation, Teknowledge и другие.

Сформировалась и новая профессия: инженер по знаниям (knowledge engineer) — специалист, который интервьюирует экспертов, извлекает из их опыта правила и переводит их в формальный вид. Для символических вычислений, на которых строились экспертные системы, компании Symbolics и Lisp Machines Inc., выросшие из Массачусетского технологического института, выпускали специализированные компьютеры — Lisp-машины, каждая из которых стоила десятки тысяч долларов. К середине 1980-х, по оценкам того времени, большинство крупнейших корпораций США развернули собственные программы в области искусственного интеллекта. А к 1985 году компании по всему миру тратили на искусственный интеллект больше миллиарда долларов, в основном на собственные подразделения.

Государства вступают в соревнование

Поворотным моментом стала японская инициатива. В 1982 году Министерство внешней торговли и промышленности Японии запустило проект компьютеров пятого поколения (Fifth Generation Computer Systems) — десятилетнюю национальную программу с бюджетом в несколько сотен миллионов долларов. Япония сделала ставку на логическое программирование (logic programming) на языке Пролог, созданном ещё в начале 1970-х годов в Марсельском университете, и на параллельные машины логического вывода, которые должны были обрабатывать знания принципиально эффективнее обычных компьютеров.

Объявленная цель (компьютеры, работающие со знаниями, а не только с числами) была воспринята в США и Западной Европе как технологический вызов. Ответные программы появились одна за другой. В Великобритании в 1983 году стартовала пятилетняя программа Alvey объёмом около 350 миллионов фунтов стерлингов, в которой интеллектуальные системы на основе знаний стали одним из приоритетов. В США агентство передовых оборонных исследовательских проектов (DARPA) в том же году открыло стратегическую вычислительную инициативу с финансированием порядка миллиарда долларов на десятилетие, включавшую в том числе работы по автономным транспортным средствам. Американские корпорации, опасаясь проиграть гонку, объединились в 1982 году в консорциум MCC, в рамках которого Дуглас Ленат в 1984 году начал масштабный проект Cyc. Это система, предназначенная для формализации человеческого здравого смысла, то есть миллионов утверждений о мире, которые человек использует, не задумываясь.

Цена знаний и пределы роста

У Cyc была глубокая мотивация. Экспертные системы доказали, что формализованные знания работают, однако каждая из них знала лишь свой узкий мир. Врач, инженер или геолог опираются на обширный фон повседневных представлений (от свойств физических предметов до социальных условностей), который невозможно перечислить в виде нескольких сотен правил. Работа над Cyc продолжалась десятилетиями и продолжается до сих пор, что хорошо показывает масштаб поставленной задачи.

Ограничения становились заметны и в прикладных системах. Извлечение знаний у специалистов, о котором уже говорилось в предыдущей заметке, оказалось медленным и дорогим процессом. Системы проявляли так называемую хрупкость. На границе своих знаний они не распознавали ситуацию как выходящую за пределы компетенции и уверенно выдавали неверные ответы. База правил XCON выросла до многих тысяч, и для её поддержания потребовалась отдельная команда. Наконец, поставщики систем в погоне за рынком нередко обещали универсальную применимость технологии. К концу десятилетия эти противоречия должны были разрешиться — и разрешились не в пользу оптимистов.

Тихое возрождение нейронных сетей

Пока в центре внимания находились экспертные системы, на периферии науки происходило не менее важное движение. В 1982 году физик Джон Хопфилд опубликовал работу, в которой сеть взаимосвязанных формальных нейронов описывалась как динамическая система с энергетической поверхностью. Такая сеть могла работать как ассоциативная память. По частично искажённому образу она восстанавливала полный, причём доступ к информации осуществлялся по содержанию, а не по адресу ячейки. Работа Хопфилда привлекла в область физиков, увидевших в нейронных сетях богатый математический объект. Параллельно в Финляндии Теуво Кохонен развивал самоорганизующиеся карты — сети, самостоятельно формирующие упорядоченные представления данных.

Главное событие произошло в 1986 году. Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали в журнале Nature статью, в которой описали метод обратного распространения ошибки (backpropagation) — способ обучения многослойных нейронных сетей, при котором сигнал ошибки проходит от выходного слоя к входному, слой за слоем уточняя веса. Справедливости ради, идея вычисления градиентов через слои сети высказывалась и раньше, в частности в диссертации Пола Вербоса 1974 года. Однако именно публикация 1986 года стала одной из ключевых работ, способствовавших возрождению интереса к обучаемым многослойным нейронным сетям.

Принципиально важно, что многослойные сети с обучаемыми скрытыми слоями (hidden layers) позволяли преодолеть ограничения однослойного перцептрона, на которые указывали Минский и Паперт. В частности, такие сети могли решать задачи вроде исключающего ИЛИ (XOR), недоступные однослойному перцептрону. Направление получило название коннекционизма (connectionism), а его философия была прямой противоположностью экспертным системам. Её смысл — не извлекать правила у человека, а позволить сети самой выработать нужные зависимости из примеров. Заметной демонстрацией стала программа NETtalk Теренса Сейновски и Чарльза Розенберга, которая методом обратного распространения ошибки училась переводить английский текст в фонетическую запись, то есть по существу читать вслух. Ещё раньше, в 1980 году, Кунихико Фукусима предложил неокогнитрон — иерархическую сеть для распознавания образов, ставшую отдалённым предком будущих свёрточных архитектур.

Двойной итог десятилетия

К середине 1980-х годов искусственный интеллект переживал новый период высокой популярности. Символическое направление доминировало в индустрии, правительственных программах и общественном внимании. Коннекционизм только что возродился, и его возможности ограничивались доступными вычислительными мощностями и объёмами данных. Обе линии несли в себе неразрешённые противоречия. У экспертных систем это были стоимость и хрупкость ручного наполнения знаниями, у нейронных сетей — недоказанная способность масштабироваться до практических задач. В 1987 году рынок Lisp-машин резко сократился. Одновременно становились всё очевиднее высокая стоимость разработки и сопровождения экспертных систем и ограничения их применения. В последующие годы это привело к сокращению коммерческих и государственных программ и началу второй «зимы искусственного интеллекта». Интерес к нейронным сетям снова снизится, но исследования продолжатся. Развитие машинного обучения, появление больших наборов данных и рост вычислительных возможностей постепенно создадут условия для нового этапа. О второй «зиме» — в следующей заметке.