#6 О «пушистой» логике (но это неточно)

Как описать математически слова без чётких границ, за что высмеивали слово fuzzy и как такими словами стали управлять машинами, - об этом в шестой части истории ИИ.

Сколько градусов в слове «горячо»? «Сейчас» и «скоро» — это когда? А «тёмный» — это какой цвет? Мы постоянно говорим такими словами и понимаем друг друга. Так же специалист рассказывает о своей работе: «сильно греется», «немного убавить», «почти готово». В прошлой заметке было два ответа на вопрос, откуда в машине берутся знания. Их записывают люди, правило за правилом, или нейросеть находит их в примерах сама. Знания специалиста выражаются словами, а у таких слов нет чётких границ. Ещё в 1965 году инженер из Беркли Лотфи Заде предложил способ описывать такие понятия математически. Этот способ называют нечёткой логикой (fuzzy logic), и вокруг этого fuzzy разгорелись целые страсти, но об этом позже. Нечёткая логика — это раздел математики, который родился рядом с ИИ и повлиял на его развитие. Прошлая заметка остановилась на середине 1980-х, а эта история начинается на двадцать лет раньше.

Обычная логика размытых границ не знает. В алгебре Джорджа Буля, о которой я писал в первой заметке, утверждение либо истинно, либо ложно. Так же устроено в математике множество, то есть собрание объектов с общим признаком, которое называют ещё классом. Объект в него входит или не входит, третьего не дано. Заде начал свою статью 1965 года с того, что в жизни классы объектов чаще всего устроены не так. Собаки, лошади и птицы к животным явно относятся, а с морской звездой или бактерией уже не так ясно. «Красивые женщины» или «высокие мужчины» в обычном математическом смысле вообще не множества. И всё же, писал Заде, такие неточно определённые классы играют важную роль в человеческом мышлении, особенно когда мы узнаём предметы, передаём и обобщаем сведения.

Заде пришёл к этой мысли из теории систем, то есть математического описания того, как ведут себя устройства и процессы. В 1962 году, рассуждая о биологических системах, он упомянул мнение некоторых учёных, что обычная математика для них непригодна в принципе. Таким системам, считали они, нужна совсем другая математика, математика расплывчатых, туманных величин, которые не описать распределениями вероятностей. От себя Заде добавил, что нужда в такой математике становится всё заметнее даже для неживых систем.

Идея нечёткого множества пришла к Заде в июле 1964 года в Нью-Йорке. Ужин, на который он собирался, отменился, родителей не было дома, и Заде остался в их квартире один. «Я задумался о размытых границах между классами, — вспоминал он. — Тогда мне и пришло в голову простое понятие нечёткого множества». Через месяц в Санта-Монике он рассказал о своей идее математику Ричарду Беллману, с которым тогда вместе писал о том, как машине разбирать объекты по классам. Беллман сразу его поддержал. Журнал Information and Control получил рукопись статьи «Нечеткие множества» (Fuzzy Sets) в конце ноября 1964 года и опубликовал её в июне 1965-го.

Заде предложил в этой статье считать, что объект может входить в множество отчасти, и выражать, насколько он входит, числом от нуля до единицы. Единица значит, что объект входит в множество полностью, ноль — что не входит вовсе, а число между ними — что входит в какой-то мере. Такое число называют степенью принадлежности (grade of membership), а правило, по которому каждый объект получает свою степень, — функцией принадлежности (membership function). Множество с такими степенями и называют нечётким. Один из двух числовых примеров в статье — множество чисел, которые «много больше единицы». Заде задал числу 5 степень 0,01, числу 10 степень 0,2, числу 100 степень 0,95, а числу 500 полную единицу. Числа 0 и 1 в это множество не входят вовсе. Заде оговаривал, что такие значения субъективны.

Степень принадлежности у нечёткого множества растёт плавно, у обычного меняется скачком

Обычное множество, например множество чисел больше единицы, в такой записи оказывается частным случаем, где степень бывает только 0 или 1. Таким образом, теория Заде включает в себя логику Буля с её «да» и «нет», добавляя к ней все промежуточные значения.

Число от нуля до единицы похоже на вероятность, но Заде с самого начала подчёркивал, что это другое. В статье «Тени нечетких множеств», которую в 1966 году опубликовал на русском языке журнал «Проблемы передачи информации», он писал об этом так:

…источником неточности является вовсе не наличие каких-то случайных величин, а появление в рассматриваемой задаче какого-то класса или классов, не имеющих строго определенных границ.

Разницу хорошо видно на примере, который в 1993 году привёл Джеймс Бездек в редакционной статье первого номера журнала IEEE Transactions on Fuzzy Systems. Представьте, что вы неделю провели в пустыне без питья и нашли две бутылки, A и B. Про бутылку A известно, что её содержимое входит в множество безопасных для питья жидкостей со степенью 0,91. Про B известно, что жидкость в ней безопасна с вероятностью 0,91. Степень 0,91 значит, что жидкость в A довольно похожа на совершенно безопасную, на чистую воду. Вероятность устроена иначе. Если взять много таких бутылок, как B, примерно в 91 из 100 жидкость окажется безопасной, а в остальных может быть что-то негодное и даже смертельное. Поэтому большинство, писал Бездек, выберет A и рискнёт разве что выпить болотной воды. Потом бутылки открывают, и в A оказывается пиво, а в B соляная кислота. Вероятность для B после этого падает до нуля, а степень для A остаётся прежней, ведь пиво от того, что бутылку открыли, не изменилось. Нечёткость заложена в самом понятии и после проверки никуда не девается, а вероятность описывает только то, чего мы ещё не знаем.

Числа в MYCIN, медицинской программе, о которой я писал в третьей заметке, означали третье. Её правила помогали врачу решить, какая бактерия вызвала у больного инфекцию. Одно из них кончалось словами «есть основания предполагать (0,6), что это бактероид», а бактероидами называют одну из групп бактерий. Бактерия при этом либо бактероид, либо нет, так что частичной принадлежности тут нет. Вероятностью это число тоже не было. Оно выражало, насколько врачи, которые писали правило, доверяли такому выводу.

Английское fuzzy значит «пушистый» и «с размытыми или расплывчатыми очертаниями», а fuzzy ideas или fuzzy thinking — путаные мысли. Заде с самого начала понимал, что с этим прилагательным будут трудности, ведь оно звучит и пренебрежительно, и ненаучно. Были у него на примете и другие слова: «мягкий» (soft), «нерезкий» (unsharp), «смазанный» (blurred), «эластичный» (elastic). Но ни одно, по его словам, не описывало точно того, что он имел в виду. Он остановился на fuzzy, потому что оно лучше всех передавало неточность, которая возникает, когда у классов нет резких границ. Понимая, что слово сделает теорию спорной, Заде отдал статью в журнал Information and Control, где сам состоял в редакционной коллегии. Рецензия на неё была одна, и очень прохладная. Не будь он в редколлегии, считал Заде, статью бы отклонили. На русский язык слово fuzzy переводили и как «расплывчатый», и как «размытый», а термин «нечёткий» появился уже в статье 1966 года и в конце концов устоялся.

В начале 1970-х Заде перенёс нечёткость с объектов на слова. Главные элементы человеческого мышления, писал он в 1972 году, — не числа, а названия нечётких множеств, классов с размытой границей. Такое название может быть значением переменной. Если значения роста — «высокий», «не высокий», «очень высокий», «очень-очень высокий», то рост, по Заде, лингвистическая переменная (linguistic variable), переменная, значения которой — слова. Подробно Заде разобрал такие переменные в работе 1973 года. На русском языке она вышла под названием «Понятие лингвистической переменной и его применение к принятию приближенных решений». Из слов вроде «высокий» складываются правила «если… то…». Люди, заметил Заде, постоянно пользуются ими в обычной речи, например «если Джон с тобой мил, будь и ты к нему добр». Правило может предписывать и действие, скажем «немного уменьшить x, если y велико».

Зачем всё это нужно, Заде объяснял принципом несовместимости. Чем сложнее система, тем труднее сказать о её поведении что-то одновременно точное и осмысленное. Он и задумывал свою теорию для систем, которые слишком сложны или слишком плохо определены, чтобы их можно было точно рассчитать.

Сам Заде вспоминал, что его идеи встречали в основном со скепсисом, а порой и с откровенной враждебностью. Кроме самого термина fuzzy, из-за которого он переживал поначалу, критики упрекали теорию в трёх вещах. Одни считали её переодетой теорией вероятностей, другие не видели, как на деле определить степень принадлежности. Третьи сомневались, что она решит задачи лучше привычных методов.

В сентябре 1972 года Заде сделал доклад о лингвистических переменных на конференции «Человек и компьютер» во французском Бордо. Создатель современной теории управления Рудольф Калман высказался об этом докладе так: «Замена точного нечётким — своего рода научная вседозволенность. Из неё обычно выходят лозунги, которые нравятся публике, но за ними нет дисциплины тяжёлой научной работы и терпеливого наблюдения». Увлечение Заде нечёткостью он связал с политическим климатом в США, климатом «небывалой вседозволенности». Теория управления изучает, как автоматически держать машины и процессы в нужном режиме, а Калман разработал фильтр, который применяли в навигационной системе «Аполлона». Калман, как и Заде, в 1950-е преподавал в Колумбийском университете.

Заде ответил, что тот, кто нападает на догму, должен быть готов к ответному удару, а пилюлю, хоть и горькую, в конце концов проглотят. Калман возразил, что не видит свидетельств того, что Заде способен решить хоть одну нетривиальную задачу. Алхимиков, напомнил он, преследовали не за убеждения, а за то, что у них не вышло золота. Через три года ему вторил будущий лауреат премии Тьюринга Уильям Кэхэн, чей кабинет в Беркли был через несколько дверей от кабинета Заде: «Нечёткая теория ошибочна, ошибочна и пагубна. Я не могу придумать задачи, которую обычная логика не решила бы лучше… Нам нужно больше логического мышления, а не меньше. Опасность нечёткой теории в том, что она поощрит то неточное мышление, которое уже принесло нам столько бед».

Заде думал иначе. Его профессора в Тегеранском университете учились во Франции, и у них, вспоминал Заде, даже о самых неточных вещах приходилось думать очень точно. «С нечёткой логикой то же самое», — говорил он.

Математик Майкл Арбиб, который в своё время работал у Калмана в Стэнфорде, в 1977 году разобрал в бюллетене Американского математического общества три книги о нечётких множествах. В одной из книг степенью от нуля до единицы описывали, насколько человек высок. «Ужасная мысль, — писал Арбиб. — Что, если бы Ньютон отказался от понятия массы и строил свою теорию на «степени тяжести» между 0 и 1 для каждого предмета во Вселенной?» Рецензию он закончил пожеланием, чтобы новые книги показывали, где язык нечётких множеств помогает, а где только добавляет теории нечёткости.

Дело дошло и до Конгресса США, поскольку исследования Заде оплачивал Национальный научный фонд (NSF). Сенатор Уильям Проксмайр, который раздавал шуточную премию «Золотое руно» за напрасную трату казённых денег, написал в фонд письмо. По рассказу Заде, сенатор задал вопрос, зачем фонд платит за такую чепуху, и грозился отметить её своей премией. Заде и фонд ответили ему письмами в защиту работы, и премию она так и не получила.

Насмешки над термином fuzzy пережили десятилетия. В 1994 году на конференции в Финиксе Заде позвал Кэхэна присоединиться к разговору о нечёткой логике. Тот переспросил: «Это в смысле «чем нечёткая логика отличается от нечёткого мышления»?» Эбрахим Мамдани, о работе которого я расскажу чуть позже, в том же году писал, что у нечёткой логики с самого начала были недоброжелатели. Не в последнюю очередь, по его словам, дело было в ярлыке fuzzy, который будто бы принижает серьёзный облик науки. Некоторые, писал Мамдани, так раздражены, что хватаются за любую соломинку, лишь бы избавиться от исследований нечётких множеств. Заде о своём выборе не жалел. «Думаю, лучше быть заметным и вызывающим, чем пресным», — говорил он в 1995 году.

Пока шли споры, нечёткие правила успели испытать в деле. В 1973-1974 годах в колледже Королевы Марии (Queen Mary College) Лондонского университета Эбрахим Мамдани и его аспирант Ассилиан построили и испытали регулятор для паровой машины. Регулятором называют устройство или программу, которая автоматически удерживает, например, давление или скорость на нужном уровне. Машина у них была настоящая, лабораторная, с маленьким котлом. Регулятор удерживал давление пара нагревом котла, а обороты машины — дроссельной заслонкой, которая пропускает пар. Для сравнения обычный цифровой регулятор управлял теми же величинами. Сначала Мамдани и Ассилиан хотели, чтобы их регулятор научился управлять машиной сам, с нуля. Брайан Гейнс и Милдред Шоу потом написали в обзоре 1985 года, что этого не случилось, по крайней мере пока в паровой машине не кончилась вода. Тогда Мамдани и Ассилиан записали словами правила, по которым машиной управлял бы оператор, как и предлагал Заде. Одно из правил выглядело так:

ЕСЛИ отклонение давления положительное и большое, а изменение отклонения не отрицательное среднее и не отрицательное большое, ТО изменить нагрев на отрицательную большую величину.

Проще говоря, если давление намного выше нужного и не падает быстро, нагрев надо резко убавить. Смысл слов «большое» и «среднее» задавали функции принадлежности. Всего правил было 24. Раз в десять секунд небольшой компьютер PDP-8 применял эти правила, опираясь на данные, получаемые от машины.

Паровую машину можно было описать уравнениями, пусть и приближённо. Только параметры в этих уравнениях менялись от режима к режиму, поэтому обычный цифровой регулятор было трудно настроить. На семинаре 1976 года Мамдани и его соавтор рассказывали, что нечёткий регулятор (fuzzy controller) был к таким переменам гораздо менее чувствителен. Он хорошо управлял на всех режимах, во многих случаях лучше обычного. Этот регулятор не педант, говорил там Мамдани, зато действует разумно. Ассилиан в 1974 году написал диссертацию «Искусственный интеллект в управлении реальными динамическими системами» (Artificial Intelligence in the Control of Real Dynamical Systems). Сами авторы считали свою работу частью ИИ.

Мамдани и его соавтор писали в том же докладе, что сложными промышленными установками, например цементными и доменными печами (от слова «домна», а не «домен», не то чтобы я сомневался в знаниях читателя, но, наверное, не все изучали металлургию), трудно управлять автоматически. На разных режимах термические процессы ведут себя по-разному, со временем они могут изменяться, а параметры процессов внутри печей измеряются с низкой точностью. Так было с цементной печью, в которой обжигают сырьё для цемента. Фирма FLSmidth потом писала в патенте, что первые попытки управлять печью по теории управления и математическим моделям разочаровали и до продажи такие системы не дошли. Печь обслуживали операторы, и управление держалось в основном на их умении и опыте. В книге 1972 года о вращающихся цементных печах было сформулировано 27 правил для операторов, записанных словами, вроде «уменьшить скорость вращения печи» и «уменьшить подачу топлива».

FLSmidth узнала о нечёткой логике в 1974 году и перенесла опыт операторов в правила для компьютера. Температура в этих правилах бывала «немного низкой», подачу угля надо было «умеренно уменьшить», а заслонку вытяжного вентилятора «слегка приоткрыть». Функция принадлежности задавала, сколько градусов значит «немного низкая». Первые испытания на настоящей печи прошли в 1978 году на датском цементном заводе, а с 1980 года систему начали продавать. На одном американском заводе в 1982 году при работе систем с таким управлением стали тратить на 3-4% меньше топлива.

И паровой машиной, и печью управляли не по точным уравнениям, а по правилам, которыми оператор описывал свою работу. Так же были устроены экспертные системы, о которых я писал в третьей и четвёртой заметках. Гейнс и Шоу в своём обзоре назвали регулятор Мамдани и Ассилиана одной из первых экспертных систем. Главное в экспертной системе, по их словам, — повторять то, как задачу решает специалист, а не описывать саму задачу. Так что в 1970-е и в начале 1980-х нечёткие правила считали частью ИИ.

Спорить стали о том, как экспертной системе выражать неуверенность, ведь знание специалиста редко бывает окончательным. Создатели MYCIN выражали её своими степенями уверенности. О нечётких множествах они знали и в 1975 году объяснили, почему ими не пользуются. Они писали, что врачам, которые формулируют правила, неестественно описывать признаки болезни через принадлежность множеству. Да и как переводить в числа лингвистические переменные Заде и как их сочетать, было пока плохо определено. Создатели MYCIN в 1984 году добавили, что для нужной им точности такие подробности лишние.

Сторонники теории вероятностей не принимали ни того, ни другого. Британский статистик Деннис Линдли в 1982 году писал, что значения, полученные по правилам нечёткой логики, недопустимы и разумно описывать неопределённость можно только вероятностью. Исследователь ИИ Питер Чизмен в 1985 году опубликовал в трудах конференции IJCAI статью «В защиту вероятности» (In Defense of Probability). Для рассуждений в условиях неопределённости, писал он, вероятности достаточно, а другие теории в лучшем случае не нужны и в худшем вводят в заблуждение. Нечёткая логика стояла в его списке таких теорий рядом со степенями уверенности MYCIN. Первая конференция о неопределённости в ИИ (Uncertainty in AI) прошла в июле того же года в Лос-Анджелесе, и Заде доказывал там, что одной вероятности мало.

Главное направление ИИ всё-таки выбрало вероятность. Мамдани создал целую область, нечёткие системы правил, и считал её частью ИИ. Но эта область, как писали в 2012 году французские исследователи Дидье Дюбуа и Анри Прад, в конце концов от ИИ отошла. Нечёткая логика осталась в автоматическом управлении машинами и процессами. Нынешние языковые модели, на которых работают чат-боты, учатся вероятностям того, какие слова идут друг за другом. Вероятность тоже лежит между «да» и «нет», но говорит о другом, о неизвестном исходе. Мне кажется, на нынешний ИИ нечёткая логика повлияла через отрицание. Это был определённый этап, через который прошли поиски лучших решений.

В 1987 году в США начал рушиться рынок Lisp-машин, компьютеров для программ ИИ, о которых я писал в четвёртой заметке. За первой зимой ИИ, о которой я писал во второй заметке, начиналась вторая. Летом того же года в японском городе Сэндай открыли линию метро Намбоку, где поездами управлял нечёткий регулятор фирмы Hitachi. Почему в США наступила вторая зима ИИ и как в те же годы нечёткие регуляторы появились в японской технике, я расскажу в следующих заметках.

Литература

Заде Л. А. Тени нечетких множеств. Перевод В. Л. Стефанюка. Журнал «Проблемы передачи информации», 1966, т. II, вып. 1, с. 37-44.

Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений. Перевод с английского Н. И. Ринго, под редакцией Н. Н. Моисеева и С. А. Орловского. Серия «Математика. Новое в зарубежной науке». Москва, Мир, 1976.

Заде Л. А. Нечеткие множества. Перевод И. З. Батыршина и Н. Г. Ярушкиной под редакцией И. З. Батыршина. Журнал «Нечеткие системы и мягкие вычисления», 2015, т. 10, № 1, с. 7-22. Перевод статьи «Fuzzy Sets» (1965).