Deep Learning (DL) – это комплекс методов machine learning, обучение которого происходит на основе представлений (representation learning). При помощи этой технологии можно исследовать огромные массивы данных, минимально привлекая человека к их первичной обработке. Deep Learning дает возможность получить более четкие и точные итоги, чем могут предоставить другие методы machine learning.

История DL

Сам термин Deep Learning используется с 1986 года, в научное сообщество его ввела Рина Дихтер – американский учёный в области информатики. Первый общий рабочий алгоритм для перцепторонов (базовый уровень сети) был опубликован советскими учеными Ивахненко и Лапой. 

Для более глубоких и детальных архитектур, базирующихся на распознавании закономерностей данных, истоком стала разработка Кунихико Фукусимы – искусственная нейронная сеть (неокогниторон). К 1991 году подобные системы были способны распознавать двумерные рукописные цифры. Год спустя был создан “кресцептрон”, способный распознавать трехмерные модели.  

Следующий большой скачок в развитии Deep learning случился в середине 2000, когда наборы данных стали достаточно подробными и большими, компьютеры – более мощными и способными быстро обучать большие нейронные сети (чтобы само обучение в принципе имело смысл), а в методологии произошел большой прорыв благодаря работам Джеффри Хинтона, британо-канадского ученого-информатика. В его статье «A Fast Learning Algorithm for Deep Belief» подробно представлены преимущества DL, которых можно достичь за счет увеличения слов в сети. 

Разработанная и представленная миру в 2014 году система глубокого обучения Facebook, получившая название DeepFace, использовала нейронные сети для идентификации лиц с точностью 97,35%. Это улучшение на 27% по сравнению с предыдущими усилиями и показатель, который соперничает с человеческим (97,5%).

Сегодня Deep Learning незаметно присутствует в нашей жизни: распознавание голоса и картинок Google, системы рекомендаций, Siri от Apple, автоматические электронные письма и текстовые ответы, чатботы и др.

Особенности и специфика DL

Глубокое обучение способно обобщать и имитировать абстрактное мышление человека. Даже если вы никогда не видели кошку, то взглянув на фото, вы все равно поймете, что на изображении это животное. И неважно, лежит оно, бегает, прыгает или сидит. Вы поймете, потому что помните определяющие признаки: размеры, форму головы, наличие и расположение вибрисс, количество лап и др. За счет нейронной сети DL самостоятельно определяет представление, формирует образы и ранжирует их по степени важности, чтобы в дальнейшем понимать, что находится на изображении. 

Стоит отметить, что обучение нейронной сети возможно при наличии большого набора данных и значительной вычислительной мощности. Данные разделяют на три вида:

• тренировочный набор – данные, которые модель “изучает”, чтобы находить новые представления;
• тестовый набор – данные, на которых обученную модель проверяют;
• валидационный набор – данные для оценки модели в процессе обучения.

У каждой модели есть параметры, которые задаются пользователем перед началом обучения:

• количество слоев;
• количество нейронов в каждом из слоев;
• количество циклов обучения;
• размер пакетов обучения;
• оптимизаторы.

Сферы применения DL

DL может применяться практически в любой сфере, обязательное условие – наличие большого набора данных:

• рекомендации в соцсетях, чатботах, интернет-магазинах;
• переводы с одного языка на другой;
• преобразование изображений (например, “раскрасить” старое фото);
• управление беспилотными объектами;
• генерация текстов;
• биоинформатика;
• распознавание речи;
• медицина и др.