Perceptron: Как работала самая первая нейросеть в истории?

Сегодня мы расскажем с чего началась эпоха современного ИИ. Это произошло через год после полета первого искусственного спутника Земли и имело не менее колоссальное значение для человечества.

И, как водится, здесь не обошлось без россыпи блестящих умов.

Ты помнишь как все начиналось…

1958 год в США запомнится годом циклонов. Именно этим холодным и влажным летом мир изменился навсегда, просто он еще не подозревал об этом.

В Управление военно-морскими исследованиями США начинался невиданный доселе эксперимент. Огромному компьютеру весом 5 тонн, занимающему целую комнату, “скормили” две группы перфокарточек, отличавшихся друг от друга дырчатыми узорами.

Розенблатт, здесь еще соискатель докторской степени, за работой над электронным профилем анализирующего компьютера, прообразом Перцептрона. Источник: news.cornell.edu.

Перед компьютером стояла нетривиальная задача: научиться различать левую группу карточек от правой самому. Спустя всего каких-то 50 попыток он-таки сумел это сделать. Фактически без вмешательства человека. Присутствующие наблюдали рождение того самого Перцептрона — первого из первых, с которого начнется эпоха машинного обучения. И как скажет о нем сам автор Фрэнк Розенблатт “Это первая машина, способная придумать собственную, оригинальную идею”.

Создатель нового чуда света имел необычную специализацию: инженер и психолог-исследователь в одном лице. Но именно такое сочетание, по все видимости и нужно было, чтобы заставить огромным шкаф с лампами приблизиться хотя бы на волосок к автономному мышлению.

Как заставить что-то думать?

Да, задача эта и правда нетривиальная. Иногда нам трудно заставить думать живых людей и даже самих себя, не то что какую-то там военную супермашину.

Но интерес к тому как устроена психика и как работают когнитивные процессы привел Розенблатта к судьбоносной публикации исследовательского тандема Уоррена Маккалоха и Уолтера Питтса.

Математик Питтс и нейрофизиолог Маккалох пытались понять и перенести на бумагу принцип работы человеческого мышления, представить его как некий символьный язык. Похожие идеи, кстати, озвучивал еще Лейбниц в своем characteristica universalis — где каждое понятие выражалось бы уникальным символом, а сложные идеи — их комбинациями по строгим логическим правилам. 

Первоначально Маккалох хотел ввести нечто под названием “психон” в качестве условной единицы мыслительно-нервной работы. Но зачем изобретать велосипед, когда уже есть групповое открытие Яна Пуркине, Камилло Гольджи и Сантьяго Рамон-и-Кахаля имя которому “нейрон”?

Итак, Питтс-Маккалох описали следующий принцип: нейрон принимает бинарные входы xixi​ (0 или 1), соответствующие импульсам от других нейронов. 

Каждый вход взвешивается фиксированным коэффициентом wiwi​ положительным для возбуждающих синапсов и отрицательным для тормозных. Взвешенная сумма: S=∑wixiS=∑wi​xi​ становится активацией нейрона. То есть, если сумма S больше или равна порогу θ — нейрону не остается ничего другого как включиться.

Розенблатт увидел в этой структуре гигантский потенциал. Он включил ее в анатомию мышления Перцептрона, внеся пару коррективов — прежде всего самообучаемость. Для этого понадобилось добавить веса синапсов, которые бы менялись по правилу дельта-коррекции при ошибках классификации. До этого в оригинальной работе был установлен лишь деспотически жесткий порог для реализации конкретных логических функций по типу и, или, нет.

Кстати, история Питтса  — сюжет достойный фильма в жанре rags-to-riches или “из грязи в князи”. Уолтер Питтс был родом из крайне неблагополучной детройтской семьи, где мальчишкой он сталкивался с систематическим домашним насилием. 

Однажды он буквально прожил в местной библиотеке целую неделю, где натолкнулся на Principia Mathematica Рассела. Эскапируя в мир чисел, он обнаружил, что хорошо понимает язык формул и даже сумел составить ряд вопросов, которые затем выслал автору РМ в Англию. В итоге 13-летний парень к своему восторгу получит вполне благожелательный ответ великого философа, с предложением учиться в аспирантуре Кембриджа! Такая реакция буквально окрылила Питтса, который твердо решит покорить науку. 

Ослепительный взлет и такое же падение

Итак, работа над Перцептроном началась в 1959 году. Он увидел свет в кампусе “Итака”, Корнеллского университета. 

Новорожденный монстр состоял из 400 фотоэлементов для сканирования изображений, 8 ламп-потенциометров с 520 переменными резисторами, которые задавали обучаемый вес связи вручную или сервоприводом и еще одного сумматора на лампах в связке с пороговый элементом. Они суммировали сигналы и выдавали бинарный выход в качестве ответа.

При ошибке сервоприводы поворачивали ручки потенциометров, изменяя сопротивления весов. Это механически реализовывало правило обучения Розенблатта. Да, это вам не уютная нейронка в домашних условиях для вайбкодинга.

Модификация Розенблатта позволила Перцептрону учиться самостоятельно и вскоре он научился сортировать карточки и различать простые геометрические фигуры: кружочки, квадратики и треугольники. Успех моментально привлек к себе внимание.

Одна из газет рвала глотку заголовком: “Новое устройство ВМС учится пока делает! Психолог-исследователь продемонстрировал зародыш компьютерной системы, созданной с умением читать и умнеть.”

В итоге на мощные плечи Перцептрона свалилось слишком много внимания и они оказались… хрупкими. Правда откроется это не сразу, а почти 10 лет спустя после первого сольного эксперимента первой аналоговой нейросети.

Как это бывает, умную технологию захотели окончательно прибрать к рукам военные чины и так началась тотальная вепонизация перцептронов. В 1969 году перед ними встала роковая задача: решить XOR-problem так же известную как Exclusive OR (Исключающее “или”). 

Перцептроны щелкали как орехи базовые задачи на линейную логику, но XOR ставила совсем другую проблему:

• Два входа, каждый 0 или 1;

• Выход = 1, только если один вход 1, а второй 0.

• Если оба 0 или оба 1, выход = 0.

Эти данные не линейно разделимые, а значит однослойная структура перцептрона не смогла бы их осилить физически, что и произошло на практике.

Военные провели эксперимент с обнаружением замаскированных танков в формате обучения с учителем (supervised learning). В лабораторных условиях перцептрон вроде бы справился на отлично, определив все вражеские единицы в камуфляже. 

Но затем подошло время полевого испытания с нетренировочными снимками танков и это был разгром по всем фронтам. Модель скатилась до случайного угадывания, не будучи способной разглядеть танк смотревший в упор прямо в камеру. А причиной тому была ошибка в запоминании корреляции данных.

Все тренировочные фото прячущихся боевых единиц были сделаны в облачную погоду. А фото леса без них в солнечную В итоге Перцептрон установил ложную закономерность: если  пасмурно, значит танки определенно есть. Если солнечно, их быть не может. Нужно ли говорить какое это было фиаско для ML-сферы?

Наступают заморозки…

Настала шекспировская зима печали для ИИшников. Сначала был провальный эксперимент с танками, затем вышла книга Марвина Минского и Сеймура Паперта “Перцептроны”, где они резко высказываются об их несовершенстве, что фактически подписало архитектуре смертный приговор. Денежный кран был перекрыт.

В итоге пять лет спустя наступила первая “ИИ зима” — никто больше не хотел вкладываться в машинное обучение, потому что это было дорого и бесперспективно. Постепенная разморозка начнется только в конце 80-х, когда начнут появляться доступные ЦПУ с параллельной обработкой данных, большие массивы тренировочных сэмплов, новые нейро-архитектуры и самое главное спрос.

Фрэнка Розенблатта не станет в 1972, три года спустя после того как его детище понесло сокрушительное поражение. Но его можно считать отомщенным: он точно знал, что машины смогут видеть, различать и сортировать данные за мгновение, просто не успел подойти к решению этой проблемы.

Сегодня именем Розенблатта названа награда за особый вклад в изучение ИИ, машинного обучения, нечетких систем, парадигм вычислений и многого другого. Она проводится ежегодно с 2018 года и лауреатов награждают бронзовой медалью с рельефом автора Перцептрона.

Маленький брелок для ключей в виде Mark I Perceptron тоже бы не повредил.