До того как я начал пользоваться инструментами искусственного интеллекта (Artificial Intelligence, также называемый AI и ИИ), история этой области меня почти не занимала. Потом я стал разбираться, какие задачи ставили перед собой исследователи, как они к этому шли, что обсуждают сейчас. Эти заметки являются попыткой разложить всё по порядку: какие вопросы привели к самому понятию искусственного интеллекта, как двигались исследования, как реагировала отрасль, что происходило с экономикой при внедрении технологий, где были успехи, а где провалы. Надеюсь, они окажутся полезны ещё кому-нибудь и позволят взглянуть на то, что мы называем искусственным интеллектом, с разных сторон и понять, из каких идей выросли инструменты, которыми мы пользуемся сегодня.
Если отбросить современный маркетинг, видно, что ИИ возник не на пустом месте. За ним стоит труд множества людей, и большая часть этой работы была сделана задолго до того, как вокруг неё появились деньги и пиар. Историю ИИ лучше начинать не с нейросетей и даже не с компьютеров, а с нескольких научных направлений, которые сошлись в 1940-1950-х годах. Из этого пересечения к 1955-1956 годам выросла отдельная область под названием Artificial Intelligence.
Самое старое из этих направлений — попытки формализовать рассуждение. Ещё Аристотель в IV веке до нашей эры описал правила, по которым из двух утверждений с общим понятием следует третье. Правильность такого вывода зависит только от его формы, о чём бы ни шла речь, поэтому проверить его можно, не вникая в содержание. Так же устроен и письменный счёт, где правила выполняют шаг за шагом, не задумываясь, почему они верны. В IX веке такие правила для индийских цифр (тех, что мы называем арабскими) описал в своей книге багдадский учёный Мухаммад ибн Муса аль-Хорезми. Европа знала её в латинском переводе, который начинался словами Dixit algorizmi, «сказал Алгоризми». От этой формы пошло слово algorismus, которым стали называть любое руководство по такому счёту, а от него и слово «алгоритм». Алгоритмом сегодня называют пошаговую процедуру, которую можно выполнить, не вникая в смысл, и именно такими процедурами позже будут описывать работу машин.
Соединить проверку рассуждения по форме и счёт по правилам попытался Готфрид Вильгельм Лейбниц. В XVII веке он мечтал о языке, на котором любое рассуждение можно было бы записать и проверить вычислением. Тогда, писал он, в споре двум философам понадобится не больше препирательств, чем двум счётоводам. Достаточно будет взять перья, сесть за счётные доски и сказать друг другу: «Посчитаем». Часть этой мечты осуществил в середине XIX века Джордж Буль, который свёл логику к алгебре. На этих идеях в XIX и начале XX века строилась математическая логика, а вместе с ней крепла мысль, что рассуждения можно описать формальными правилами, то есть представить хотя бы часть человеческого мышления как операции над символами. Отсюда вырос вопрос, который поставил Давид Гильберт, — существует ли механическая процедура, которая для любого утверждения логики решит, можно ли его доказать?
Ответ в 1936 году дал Алан Тьюринг в статье «О вычислимых числах» (On Computable Numbers, with an Application to the Entscheidungsproblem), и этот ответ оказался отрицательным. Чтобы это доказать, Тьюринг формализовал понятие вычислимости (почти одновременно и независимо это сделал Алонзо Чёрч) и описал абстрактную машину, известную теперь как машина Тьюринга. Она моделировала человека-вычислителя, который по строгим правилам выписывает символы на бумаге. Искусственным интеллектом это ещё не было. Но появилась идея, без которой он был бы невозможен, — интеллектуальную задачу можно попробовать представить как последовательность формальных вычислительных операций.
Второе направление шло от изучения мозга. В 1837 году чешский физиолог Ян Эвангелиста Пуркине представил на съезде естествоиспытателей и врачей в Праге рисунки нервных клеток из разных отделов мозга. Долго оставалось неясным, самостоятельные ли это клетки или узлы сплошной сети. Камилло Гольджи считал нервную систему единой сетью, а Сантьяго Рамон-и-Кахаль в 1888 году показал, что нервные клетки только соприкасаются друг с другом. Само слово «нейрон» для такой клетки предложили в 1891 году. Нобелевскую премию 1906 года Гольджи и Кахаль разделили, так и не договорившись о том, как устроена нервная система, и в своей нобелевской лекции Гольджи по-прежнему спорил с теорией нейрона. Победили в итоге взгляды Кахаля. Раз нейрон — отдельная клетка, его можно рассматривать как отдельный элемент и попробовать описать математически.
Это и сделали в 1943 году нейрофизиолог Уоррен Маккалок и математик Уолтер Питтс в статье «Логическое исчисление идей, относящихся к нервной активности» (A Logical Calculus of the Ideas Immanent in Nervous Activity). Они предложили математическую модель нейрона. Элемент получает сигналы и срабатывает, если их сумма превышает порог, а если не превышает, молчит. Такой принцип «всё или ничего» позволил описать нервную активность языком логики, и сеть таких элементов, как они показали, способна выполнять логические операции. Строение сети при этом считалось неизменным, а обучение авторы обсуждали лишь в общем виде, так что до обучаемых сетей было ещё далеко. Однако именно здесь возникла связь, которая через много десятилетий приведёт к глубокому обучению (deep learning, так называют обучение нейросетей с большим числом слоёв, на котором работают нынешние модели). Упрощённо:
нервная система > формальные элементы > логические операции > вычисление
Параллельно развивалось третье направление — электронные вычислительные машины. Связь между логикой и техникой появилась ещё до них. В 1937 году Клод Шеннон в магистерской работе применил алгебру Буля к проектированию релейных схем, то есть показал, что логические операции может выполнять электрическая схема. Во время Второй мировой войны были созданы первые практически значимые электронные вычислительные системы. Американский компьютер ENIAC начали строить в 1943 году. Программу, то есть последовательность инструкций, которые выполняет машина, для него задавали сотнями проводов и переключателей, и на смену программы уходили дни. Эти трудности подсказали новую идею — хранить программу в памяти машины так же, как числа. В 1945 году её изложил Джон фон Нейман в отчёте о проекте следующей машины, EDVAC, и часть идей в нём принадлежала создателям ENIAC Джону Эккерту и Джону Мокли. Сам ENIAC показали публике в 1946 году, а первой программу, записанную в электронной памяти, выполнила 21 июня 1948 года небольшая экспериментальная машина в Манчестере. Эту программу написал Том Килберн. Она перебором искала наибольший собственный делитель числа, и один из первых её прогонов длился 52 минуты. Теперь машине можно было дать любую задачу, которую удаётся записать как алгоритм, просто заменив программу. А если и рассуждение сводится к правилам, как думали со времён Аристотеля и Лейбница, то до вопроса, может ли машина рассуждать, оставался один шаг.
В октябре 1950 года в журнале Mind вышла статья Алана Тьюринга «Может ли машина мыслить?» (в оригинале Computing Machinery and Intelligence). Она открывалась этим вопросом, «Can machines think?». Тьюринг понимал, что вопрос плохо определён, ведь неясно, что такое «машина» и что такое «думать». Вместо ответа он предложил заменить вопрос экспериментом, который назвал imitation game, игрой в имитацию. В исходной игре спрашивающий сидит в отдельной комнате и переписывается с мужчиной и женщиной, пытаясь угадать, кто из них кто. Тьюринг предлагал посадить на место одного из участников машину и посмотреть, сумеет ли спрашивающий её распознать. Он даже рискнул прогнозом, что лет через пятьдесят машины будут играть так, что после пяти минут вопросов средний спрашивающий угадает не чаще чем в 70 случаях из 100. Из этой работы вырос потом широко известный тест Тьюринга. Так Тьюринг сформулировал проблему и предложил способ её обсуждать. В той же статье есть раздел «Learning Machines», обучающиеся машины. Тьюринг спрашивал, почему бы не моделировать ум ребёнка вместо ума взрослого, а потом этого «ребёнка» обучать. Идея машинного обучения, таким образом, существовала задолго до глубокого обучения.
Первые работающие программы, которые позже отнесут к ИИ, появились в начале 1950-х годов, и почти все они играли в игры. Почему для начала подходили именно игры, хорошо видно из работы Клода Шеннона 1950 года о программировании компьютера для игры в шахматы. Шахматы, по его словам, удобны потому, что задача точно определена и по допустимым ходам, и по цели, она не слишком проста и не безнадёжно трудна, а хорошая игра в шахматы считается делом мышления. Решив её, писал Шеннон, придётся либо признать возможность механизированного мышления, либо сузить само понятие «мышление». Кристофер Стрэчи в 1951 году написал программу для игры в шашки, а Артур Сэмюэл в компании IBM разработал более развитую программу для той же игры и исследовал возможность её обучения на собственном опыте. Способность машины механическим образом обрабатывать события и прогнозировать развитие ситуации раскрывала огромные горизонты для технологий.
В 1955 году появилось само название. Насколько известно, как имя науки выражение Artificial Intelligence впервые встречается в названии заявки на летний исследовательский проект по искусственному интеллекту (A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence), которую 31 августа подготовили четверо исследователей. Это были Джон Маккарти из Дартмутского колледжа, Марвин Минский из Гарварда, Натаниэл Рочестер из IBM и Клод Шеннон из Bell Labs. Авторы предлагали провести летом 1956 года в Дартмутском колледже двухмесячное исследование силами десяти человек и просили на это у Фонда Рокфеллера 13 500 долларов. Это лето позже назовут Дартмутским семинаром.
Название выбрал Маккарти. Он хотел «прибить флаг к мачте», то есть прямо заявить цель. Поводом стал сборник статей об автоматах (Automata Studies), который он готовил вместе с Шенноном. О разумном поведении машин там, на его взгляд, говорилось слишком мало. Была и другая причина. Маккарти хотел уйти от слова «кибернетика», которым Норберт Винер в 1948 году назвал науку об управлении и связи в машине и в животном, чтобы не пришлось ни признавать Винера гуру, ни спорить с ним.
Авторы заявки исходили из того, что «каждый аспект обучения и любое другое свойство интеллекта в принципе можно описать настолько точно, что машину можно заставить его моделировать». Исследователи собирались изучать использование машиной языка, формирование абстракций и понятий, решение задач, которые тогда считались доступными только человеку, и способность машины совершенствовать себя. Отдельный раздел заявки был посвящён нейронным сетям, и в нём упоминалась работа Маккалока и Питтса. Содержание предложения удивительно близко к тому, что сегодня называют исследованиями ИИ.
По воспоминаниям Маккарти, фонд дал 7500 долларов, и деньги пришли только в декабре, когда у многих уже были планы на лето. Отчасти поэтому летом 1956 года проект в Дартмуте состоялся совсем не так, как задумывался. Главной же причиной Маккарти позже называл то, что у каждого участника была своя программа исследований. Семинар шёл примерно с 18 июня по 17 августа, однако всё это время там провели только Маккарти, Минский и Рэй Соломонов. Остальные приезжали на разные сроки, и совместной работы не получилось.
Звёздами семинара Маккарти называл Аллена Ньюэлла и Герберта Саймона, которые приехали всего на несколько дней и представили программу Logic Theorist. Вместе с Клиффом Шоу они создали её для автоматического доказательства математических теорем, и это был один из первых примеров программы, специально созданной для выполнения задачи, которую принято считать интеллектуальной. Кроме них, результаты работы программ были только у Артура Сэмюэла с его шашками. Logic Theorist сыграла важную роль в дальнейшем развитии ИИ.
Именно этот семинар обычно называют рождением искусственного интеллекта как самостоятельной науки. Сам Маккарти считал прямой научный результат скудным, но, по его словам, семинар прежде всего дал области имя. Неверно говорить, что в 1956 году был изобретён искусственный интеллект, но в этот период сформировалась научная область, получившая название Artificial Intelligence, которая в дальнейшем привела к нынешнему ИИ. До этого логика, изучение мозга и вычислительные машины встречались лишь в отдельных работах, как у Маккалока и Питтса или у Шеннона. Дартмут, пусть и без совместной работы, собрал эти направления под одним названием и в одну программу исследований. После этого начинается собственно история ИИ как научной дисциплины.
Здесь важно, что и первые игровые программы, и Logic Theorist создавались не как попытка воспроизвести мозг, а как стремление заставить компьютер выполнять отдельные интеллектуальные задачи: игру в шашки и шахматы, доказательство теорем, логический вывод, распознавание закономерностей, работу с символами. Мысль о том, чтобы воспроизвести мозг, при этом никуда не делась. Ей был посвящён и раздел о нейронных сетях в дартмутской заявке. В те же 1950-е годы из трёх направлений сложились две линии развития ИИ, два разных представления о том, как его создавать. Обе опирались на вычислительные машины, но одна шла от логики, а другая от изучения мозга.
Первая — символьный ИИ (его также называют символическим). Здесь интеллект понимается как работа с символами и правилами. Упрощённо:
человек > символы > правила > логические операции > вывод
Эту линию развивали Ньюэлл, Саймон, Маккарти, Минский и другие, а Logic Theorist стала одной из первых её программ. Отсюда впоследствии появились экспертные системы, логическое программирование, системы правил, представление знаний, классическая обработка естественного языка (NLP).
Вторая — искусственные нейронные сети. Здесь интеллект понимается как результат взаимодействия большого количества простых элементов, похожих на нейроны. Фундаментальной была работа Маккалока и Питтса 1943 года, а дальнейший путь этой линии можно проследить по вехам:
- 1943 — математический нейрон Маккалока и Питтса
- 1957-1958 — перцептрон Фрэнка Розенблатта, сеть с настраиваемыми весами
- 1969 — книга Марвина Минского и Сеймура Пейперта «Персептроны» (Perceptrons) о пределах перцептрона, в те же годы спадает интерес к нейросетям
- 1980-е — сеть Джона Хопфилда (1982) и обучение многослойных сетей методом обратного распространения ошибки (1986)
- 1990-е — свёрточные сети читают рукописные цифры на банковских чеках, а к концу десятилетия первенство переходит к другим методам машинного обучения
- 2006 — удаётся обучать сети с большим числом слоёв, их называют глубокими
- 2012 — глубокая сеть AlexNet почти вдвое снижает ошибку в конкурсе распознавания изображений ImageNet
- 2017 — трансформер (Transformer)
- 2020-е — большие языковые и мультимодальные модели
За каждой строкой этого списка стоят годы работы множества людей, хотя широкая публика узнавала о ней обычно лишь тогда, когда приходили деньги и пиар. О том, как обе линии пытались выполнить обещания Дартмута в первые полтора десятилетия, от перцептрона Розенблатта и языка Lisp до программы-собеседника ELIZA и робота Shakey, я расскажу в следующей заметке.
Литература
Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности. В сборнике Автоматы под редакцией К. Э. Шеннона и Дж. Маккарти. Москва, Издательство иностранной литературы, 1956, с. 363-384. Перепечатка в журнале «Нейрокомпьютер», 1992, № 3-4, с. 40-53.
Тьюринг А. Может ли машина мыслить? Перевод Ю. А. Данилова. Москва, Физматгиз, 1960. Перевод статьи «Computing Machinery and Intelligence» (1950).
Шеннон К. Работы по теории информации и кибернетике. Под редакцией Р. Л. Добрушина и О. Б. Лупанова. Москва, Издательство иностранной литературы, 1963.
Минский М., Пейперт С. Персептроны. Перевод с английского Г. Л. Гимельфарба и В. М. Шарыпанова. Москва, Мир, 1971.