От AlexNet до ChatGPT: подводим первые итоги десятилетки революции глубокого обучения
Текущий этап в развитии информационных технологий часто называют «новой весной» искусственного интеллекта. Её начало обычно отсчитывают с момента появления нейронной сети AlexNet, успех которой в деле распознавания изображений возвестил всему миру о начале «революции глубокого обучения», в результате которой машины смогли превзойти человека при решении многих интеллектуальных задач.
Сегодня мало кого удивляют победы машин над сильнейшими игроками в го, создание нейросетями музыки и картин, предсказание пространственной структуры белков и многие другие вещи, которые десять лет назад мы посчитали бы чудесами. Новые технологии искусственного интеллекта быстро вошли в нашу жизнь и стали её неотъемлемой частью. Например, каждый раз, когда вы делаете фотографию при помощи своего смартфона, её обработку выполняет нейронная сеть, а благодаря другой нейронной сети вы можете использовать голосовые команды, чтобы попросить виртуального ассистента поставить ваш любимый музыкальный трек.
Нам трудно представить, что ещё десять лет назад мир был совсем иным. Поэтому сегодня было бы правильнее говорить уже не о новой весне, а о лете искусственного интеллекта.
Лето искусственного интеллекта
Итак, 30 сентября 2012 года свёрточная нейронная сеть, известная сегодня под названием AlexNet, с существенным отрывом заняла первое место в конкурсе ILSVRC 2012 (ImageNet Large Scale Visual Recognition Challenge, Соревнования по широкомасштабному распознаванию изображений ImageNet). Считается, что именно это событие стало отправной точкой для очередного витка общественного интереса к сфере искусственного интеллекта. Авторы The Economist в статье под названием «От «не работает» — к работе нейронных сетей» (From not working to neural networking — название основано на игре слов «not working»/«networking») так охарактеризовали общественную реакцию на это событие: «Внезапно было привлечено внимание людей не только из ИИ-сообщества, но и из технологической отрасли вообще».
Ежегодные соревнования ILSVRC начали проводиться с 2010 года, однако в 2010 и 2011 году нейросетевые модели не участвовали в соревнованиях, а первые места доставались моделям на базе совсем других алгоритмов, таких, например, как масштабно-инвариантная трансформация признаков (Scale-invariant feature transform, SIFT) в сочетании с методом опорных векторов или классификация на основе средних значений для ближайшего класса (Nearest class mean, NCM). В общем, 30 сентября 2012 года вполне можно выбрать в качестве даты начала новой весны искусственного интеллекта, хотя её наступлению предшествовало множество других важных событий. В первую очередь речь идёт о создании самого датасета ImageNet, что было непростой задачей, особенно если учитывать тот факт, что по размеру он многократно превосходил все созданные ранее датасеты.
В современных популярных статьях по истории нейронных сетей, по всей видимости, в силу особенностей самого формата, картина обычно выглядит следующим образом: жил-был Ян Лекун (Yann LeCun), который изобрёл свёрточные нейронные сети и в 1998 году показал их эффективность в распознавании рукописных почтовых индексов. Спустя 12 лет как чёртик из табакерки или, будет правильнее сказать, как фея из сказки, появляется Фей-Фей Ли (Fei-Fei Li) из Стэнфорда, создаёт базу изображений ImageNet, спустя ещё два года немного доработанная архитектура Лекуна в виде программы AlexNet, благодаря использованию при обучении графических процессоров от Nvidia, рвёт в клочья все древние технологии, и наступает эра глубокого обучения.
В целом, такая картина, конечно, не очень сильно грешит против фактов, но в ней невооружённым глазом заметен некоторый изъян: неясно, чем был вызван 12-летний разрыв между появлением свёрточных сетей и началом революции глубокого обучения. Казалось бы, ещё в 1990-е годы работы Яна Лекуна, Джеффри Хинтона (Geoffrey Hinton) и их коллег показали перспективность нейросетевого подхода, почему же новой весне искусственного интеллекта потребовалось ждать целых 12 лет? Ещё удивительнее становится эта картина, когда выясняется, что задолго до Лекуна, в 1960-70-е годы уже появились нейросетевые архитектуры, напоминающие свёрточные нейронные сети. Например, «Неокогнитрон» Кунихико Фукусимы (Kunihiko Fukushima) или «Тобермори» Фрэнка Розенблатта (Frank Rosenblatt). А если говорить о самой идее искусственных нейронных сетей, то она берёт своё начало едва ли не в 1930-х, когда разработкой первых моделей нейронных сетей начали заниматься Уоррен Мак-Каллок (Warren McCulloch) и Уолтер Питтс (Walter Pitts). Первые самообучающиеся системы появляются в 1940-е годы, первые опыты по распознаванию образов при помощи нейронных сетей приходятся на 1950-е.
Современным успехам в создании «умных машин» предшествовали десятилетия кропотливого труда исследователей, периоды всеобщего оптимизма и, напротив, отчаяния. В 1956 году друг безвременно ушедшего Алана Тьюринга Джон Маккарти (John McCarthy) впервые предложил использовать термин «искусственный интеллект» для обозначения области науки, занимающейся созданием машин, способных подменить человека при решении различных интеллектуальных задач. В те годы многим казалось, что до создания электронного мозга, ни в чём не уступающего человеческому, остались считанные годы. Людям, забросившим спустя год на орбиту планеты крошечный искусственный спутник, тоже казалось, что уже через несколько десятилетий человечество сможет дотянуться до звёзд.
В действительности для того, чтобы эксперименты в области нейросетевых моделей привели к ошеломляющим успехам, потребовалось длительное развитие и рост сразу трёх фундаментальных факторов:
• моделей и методов машинного обучения;
• объёмов оцифрованных данных;
• вычислительных мощностей, позволяющих объединить модели и данные в крупномасштабных экспериментах по машинному обучению.
Человеческий мозг с его 86 миллиардами нейронов и почти квадрильоном синапсов и по сей день является во многом непревзойдённым устройством, несмотря на все возможности современных технологий. Поэтому для того, чтобы превзойти его даже в отдельно взятых интеллектуальных задачах, требуется применение весьма изощрённых подходов.
На начало «революции глубокого обучения» в арсенале исследователей были следующие модели и методы.
1. Вычислительно эффективные модели искусственного нейрона — грубые, но эффективные; нейроны в большинстве искусственных нейронных сетей, предназначенных для решения прикладных задач, напоминают свои биологические прототипы не в больше мере, чем бумажный самолёт напоминает птицу.
2. Многослойные свёрточные сети — число слоёв искусственных нейронных сетей перевалило за десяток. Фактически свёрточные сети стали воплощением идеи сборки нейронных сетей из типовых блоков. В отличие от нейронок 1970-х, нейронки 2010-х собирались из параметризованных слоёв, подобно детскому конструктору. Помимо свёрточных активно применялись рекуррентные сети — благодаря работам Юргена Шмидхубера (Jürgen Schmidhuber) и его учеников удалось создать такие рекуррентные сети (LSTM — долгая краткосрочная память, GRU — вентильный рекуррентный блок и др.), которые были способны эффективно обрабатывать последовательности из десятков, а не единиц элементов, как ранее.
3. Эффективные методы подбора весов искусственных нейронных сетей — в первую очередь, градиентные методы оптимизации и метод обратного распространения ошибок, а во вторую, но не последнюю — методы «умной» инициализации начальных значений весов, которые, в конечном счёте, и позволили эффективно обучать действительно глубокие сети.
Что касается данных, то к началу 2010-х было создано несколько десятков больших массивов оцифрованных и размеченных данных — начиная от ImageNet и заканчивая текстовыми корпусами, приближающимися по объёму к миллиарду слов, а также сотнями часов размеченных аудиозаписей человеческой речи.
Что же касается вычислительных мощностей, то помимо практически экспоненциального их роста вслед за увеличением числа элементов массово производимых интегральных схем (удвоение раз в два года в соответствии с законом Мура) важным реквизитом революции глубокого обучения стало появление графических ускорителей — фактически тензорных процессоров, способных производить за один такт операции не с отдельно взятыми числами, а с целыми матрицами. Это стало первым шагом в направлении преодоления одной важной технической проблемы.
Дело в том, что при симуляции нейронных сетей при помощи компьютеров с фон-неймановской архитектурой возникает нежелательный эффект, получивший в 1977 году с лёгкой руки Джона Бэкуса (John Backus) наименование «бутылочное горлышко фон Неймана» [von Neumann bottleneck]: поскольку в этой архитектуре программы и данные хранятся в памяти, а процессор и память разделены и данные пересылаются между ними при помощи соединительной шины, это приводит к возникновению задержек. Независимо от того, насколько быстро может работать процессор, на деле он ограничен скоростью передачи данных, являющейся узким местом архитектуры. В биологических нейронных сетях нейроны выполняют одновременно функции хранения и обработки данных. Данные, воплощающиеся в пороге активации нейрона и параметрах синаптических связей, не требуют пересылки по перегруженной общей шине устройства. При симуляции нейронной сети фон-неймановская машина вынуждена выполнять расчёт сигналов в каждом нейроне последовательно, что сильно замедляет процесс симуляции. Возможность выполнять такие расчёты в «крупноблочном режиме» позволяет добиться значительного прироста. Именно поэтому современные нейронные сети обычно обучают при помощи графических или даже специализированных нейронных процессоров.
Перманентная технологическая революция
В фантастической повести Аркадия и Бориса Стругацких «Волны гасят ветер» один из «постлюдей»-люденов так характеризует состояние дел в люденских технологиях: «За спиной — шесть НТР, две технологические контрреволюции, два гносеологических кризиса…» Примерно так же последние десять лет дело обстояло и в области глубокого обучения. Появились нейронные сети с сотнями слоёв, появились совершенно новые разновидности самих слоёв. На смену сетям, в которых сигнал распространялся строго от предшествующего слоя к последующему, появились сети с причудливыми огибающими соединениями, способными «пробрасывать» сигналы в обход десятков слоёв. Было перепробовано множество альтернативных типов искусственных нейронов (с другими функциями активации). Усовершенствованные методы оптимизации намного эффективнее стали «ощущать» наиболее перспективные направления поиска в многомерном пространстве возможных значений параметров моделей. Появились нейронные сети, проектирующие другие нейронные сети, гибридные нейросимвольные модели и сети, оснащённые отдельными механизмами памяти. По мере технологических усовершенствований, роста объёмов данных и вычислительных мощностей нейросети достигали человеческого и сверхчеловеческого уровня в новых и новых задачах. В 2015 году нейросетям удалось обогнать людей в точности распознавания объектов на изображениях ImageNet, в 2016-2017 годах на некоторых массивах данных искусственные нейросети смогли достичь паритета с людьми в задаче распознавания речи, примерно в те же годы нейросети научились создавать фотореалистичные изображения объектов, играть на сверхчеловеческом уровне не только в шахматы и го, но и в покер. Заметно улучшилось качество машинного перевода.
И именно последней области мы обязаны следующим революционным открытием в области технологий машинного обучения. Именно для задач машинного перевода был изобретён нейросетевой механизм внимания, который лёг в основу новой нейросетевой архитектуры — трансформера. Изначально механизм внимания был предназначен для использования в составе рекуррентных сетей, однако увидевшая свет в 2017 году статья «Внимание — это всё, что вам нужно» [Attention Is All You Need] группы исследователей из Google Brain и Google Research открыла всем глаза на неожиданную истину: вместо того, чтобы использовать блоки внимания в рекуррентных сетях, можно надстраивать их друг над другом в отсутствие всяких циклических связей. Конечно, длина обрабатываемых такой сетью последовательностей будет ограничена, но зато все элементы последовательностей будут обрабатываться параллельно. Этот подход позволил расширить «бутылочное горлышко фон Неймана» и создавать искусственные нейронные сети с десятками и даже сотнями миллиардов параметров. Для обучения таких сетей стали использовать неразмеченные данные. Этот подход получил название «самообучение» [self-supervised learning]. Дело в том, что подавляющее число «дотрансформерных» моделей обучалось в режиме так называемого обучения с учителем [supervised learning], когда модель старалась предсказывать ответ человека-разметчика для каждого образца входных данных. Например, чтобы научить распознавать котиков на фото, вам требовались десятки тысяч изображений, в отношении каждого из которых был бы указан правильный ответ — есть на этом изображении котик или нет. В роли учителя могла выступать и среда обучения — в этом случае мы имели дело с такой отраслью обучения с учителем, как обучение с подкреплением [reinforcement learning]. В действительности в некоторых случаях есть возможность избежать дорогостоящей ручной разметки данных или вычислительно затратных экспериментов в виртуальной среде обучения. Например, взяв сотни гигабайт текста, вы можете попробовать научить модель предсказывать следующее слово в тексте на основе предшествующих. В этом случае роль входных факторов будут выполнять предшествующие текущему контексту слова, а роль эталонно правильного ответа — следующее за ними слово. Поскольку неразмеченных данных во всемирной сети превеликое множество, появилась возможность выполнять «предобучение» гигантских сетей, чтобы затем дообучать их, используя сравнительно небольшое число примеров, относящихся к конкретной целевой задаче. Именно к числу таких моделей принадлежат нейронные сети BERT, GPT, GPT-2, GPT-3, T5 и т.д. Сегодня исследователи относят их к классу так называемых фундаментальных моделей [foundation models]. Их появление ознаменовало смену парадигмы современного искусственного интеллекта. Эта смена парадигмы была всерьёз воспринята академическими исследователями. Например, в рамках Стэнфордского института человеко-ориентированного ИИ (Stanford Institute for Human-Centered Artificial Intelligence, HAI) в 2021 году был основан Центр исследования фундаментальных моделей (Center for Research on Foundation Models, CRFM), программное исследование которого получило название «О возможностях и рисках фундаментальных моделей» [On the Opportunities and Risks of Foundation Models].
В какой-то мере подход, лежащий в основе обучения фундаментальных моделей, напоминает то, как организовано образование в человеческом обществе. В детском саду и за школьной партой мы решаем самые разные задачи — складываем и вычитаем яблоки, имеющиеся у Маши и Пети, рисуем петельки в прописях, выполняем синтаксический разбор предложений, выпиливаем лобзиком из фанеры фигуры зайчиков и белочек. Многие из этих задач, казалось бы, не имеют прямого отношения к тому, чем бы будем заниматься во взрослой жизни. Однако те представления об окружающем мире, которые мы формируем в процессе решения разнообразных учебных задач, затем успешно используются нашим мозгом в прикладных целях. Действительно, в динамично развивающемся мире мы не можем заранее предугадать, какие именно задачи придётся решать нынешним детям спустя много лет после того, как они покинут школьные скамьи. Но разнообразие и полнота учебного материала позволяет нам надеяться на то, что сформированные учениками мысленные образы и обобщения в будущем позволят им быстро осваивать новые, сообразные их будущим задачам знания и навыки. Тот же принцип лежит в основе парадигмы предобучения фундаментальных моделей.
Если взять в качестве примера такое семейство фундаментальных моделей, как GPT (Generative Pretrained Transformers, Генеративные предобученные трансформеры), то можно отметить, что сегодня они используются для решения самых разных задач в области обработки естественного языка — от написания рекламных текстов до машинного перевода. В принципе, абсолютно любую интеллектуальную задачу можно представить в виде задачи продолжения некоторого текста, и это означает, что потенциально языковые модели могут решать вообще любые интеллектуальные задачи.
Конечно, те модели, которые создают специалисты по машинному обучению в наши дни, пока ещё далеки от такой степени универсальности. Тем не менее, прогресс в разработке таких моделей в последние годы оказался столь впечатляющим, что многие исследователи стали рассматривать трансформерные модели в качестве серьёзного движения в сторону общего искусственного интеллекта, то есть к созданию систем, способных, подобно человеческому мозгу, решать неопределённо широкий спектр интеллектуальных задач.
Путём нехитрых трюков можно обучить трансформерную нейросеть работе не только с текстом, но и с другими типами информации. Например, зрительной. Для этого можно использовать отдельную нейросеть-автокодировщик, которая будет выполнять своеобразный перевод изображения в последовательность, напоминающую естественный язык, состоящую из последовательности псевдослов-токенов. В принципе, описать изображение можно, просто перечисляя цвета каждого пикселя, но использование автокодировщика позволяет создать более компактное представление графической информации. Именно благодаря этому подходу в начале 2021 года свет увидела нейросеть DALL·E (названная так в результате смешения фамилии художника Сальвадора Дали и имени робота WALL-E из одноимённого мультфильма). До DALL·E нейросети умели генерировать качественные изображения, однако их способности были локализованы в отдельных доменах — то есть отдельные нейросети обучали для рисования человеческих лиц, котиков, собак и так далее. DALL·E стала первой нейросетью, способной весьма качественно генерировать изображения по произвольному текстовому описанию. Эта сеть вполне могла изобразить девочку-редиску в балетной пачке, выгуливающую на поводке собаку, хотя в обучающей выборке даже близко не было ничего подобного. Сегодня традицию, начатую DALL·E, подхватили так называемые диффузионные модели (например, Stable Diffusion, DALL·E 2, Midjourney, Kandinsky 2.1 и так далее).
Создание мультимодальных моделей — ещё один важный тренд в развитии современных генеративных нейросетей. Часто говорят о так называемых M3-моделях — то есть моделях, объединяющих в себе мультимодальность (способность работать с разными модальностями информации — визуальной, звуковой и т.д.), многозадачность и многоязычность. Четвёртой «M» может стать multi-embodiment (дословно — мультивоплощение), то есть возможность применения модели для управления самыми разными агентами в виртуальном или физическом мире.
Также существует важный тренд в направлении увеличения размера моделей и роста общего уровня их «интеллекта». С 2017 года объёмы вычислений, затрачиваемых на обучение наиболее продвинутых фундаментальных моделей, растут темпами, напоминающими экспоненциальные. В связи с этим важное значение имеет такое свойство больших трансформерных нейросетей, как эмерджентность, то есть скачкообразный рост качества решения различных интеллектуальных задач при достижении моделью определённого числа параметров.
До универсального искусственного интеллекта остался один «Манхэттенский проект» — или нет?
Прогресс в создании всё более и более продвинутых фундаментальных моделей подлил масла в огонь дискуссии о том, насколько мы приблизились к созданию систем общего (универсального) искусственного интеллекта (Artificial General Intelligence, AGI). В августе 2020 года свет увидела статья двух молодых исследователей — Джона-Кларка Левина (John-Clark Levin) и Маттийса Мааса (Matthijs Maas) под названием «Дорожная карта по созданию дорожной карты: как мы сможем определить, когда AGI окажется от нас на расстоянии «Манхэттенского проекта»?» [Roadmap to a Roadmap: How Could We Tell When AGI is a ’Manhattan Project’ Away?].
В ней авторы ищут ответ на вопрос: по каким признакам можно понять, что задача создания AGI уже вышла на «взлётную полосу» и для её реализации достаточно лишь воплотить в жизнь соответствующий мегапроект (сопоставимый с проектом по созданию ядерного оружия или по отправке человека на Луну)?
Первым делом авторы задаются вопросом о том, что именно мы понимаем под мегапроектом. «Манхэттенский проект» (кодовое название программы США по разработке ядерного оружия) и программа «Аполлон» (программа пилотируемых космических полётов космического агентства США НАСА) по объёму ежегодных затрат достигали в пике 0,4% ВВП США, что для современного объёма ВВП США составило бы около 80 миллиардов долларов в год. Объёмы финансирования современных крупных проектов в области исследований и разработки гораздо скромнее. Например, проект по созданию лазерно-интерферометрической гравитационно-волновой обсерватории (Laser Interferometer Gravitational-Wave Observatory, LIGO) довольствовался 300 миллионами долларов в год, проект по расшифровке генома человека — 400 миллионами долларов в год, Большой адронный коллайдер на этапе постройки обходился в 475 миллионов долларов в год, а на этапе эксплуатации — в 1 миллиард долларов в год. Пиковое значение годового бюджета Международного термоядерного экспериментального реактора (International Thermonuclear Experimental Reactor, ITER) составило 2 миллиарда долларов. Авторы предполагают, что теоретически мегапроект по созданию AGI может быть на один-два порядка дороже современных мегапроектов, что автоматически выводит его за пределы возможностей частного сектора.
Однако выделение столь большого бюджета вовсе не является достаточным условием успеха. Увеличение финансирования Манхэттенского проекта с 0,4% ВВП до 4% или даже 40% не могло бы привести к созданию ядерной бомбы в 1935 году. Как говорится, если одна женщина может родить ребёнка за девять месяцев, это вовсе не значит, что девять женщин смогут родить его за месяц.
Авторы считают, что в реальности возможны три варианта развития событий в области проектирования общего искусственного интеллекта (AGI).
1. У этой проблемы будет стадия «взлёта», но мы пока ещё не «вырулили» на «взлётную полосу».
2. У этой проблемы будет стадия «взлёта», и мы уже находимся внутри неё.
3. У этой проблемы в принципе не будет стадии «взлёта», потому что последний шаг для создания AGI окажется невозможным реализовать как мегапроект (например, если AGI будет создан в результате неожиданного теоретического прорыва в другой области, который резко повысит возможности уже созданных систем).
В статье авторы озвучивают страхи в отношении того, что в силу своей способности к быстрой консолидации ресурсов «авторитарные режимы» могут продвинуться в задаче создания AGI дальше, чем «демократические», что создаёт угрозу создания глобального технологического превосходства первых.
Для оценки продвижения к стадии «взлёта» авторы предлагают мониторинг ряда технико-экономических показателей, научных публикаций, а также поведения ключевых действующих лиц — учёных, политиков, предпринимателей и так далее.
Спустя почти три года после выхода статьи можно с уверенностью сделать выводы о том, что мы наблюдаем все признаки «выруливания» разработки AGI на «взлётную полосу». Например, компания OpenAI, изначально декларировавшая миссию расширения и демократизации доступа к технологиям искусственного интеллекта, сегодня отказалась не только от публикации обученных моделей или хотя бы кода для их обучения в открытом доступе, но и вообще от раскрытия любых архитектурных деталей создаваемых моделей. Даже спустя несколько месяцев после запуска ChatGPT мы знаем очень мало подробностей о фундаментальных моделях, лежащих в основе этого сервиса. «Технический отчёт» о создании нейросети GPT-4 впервые не содержит сведений ни о числе параметров модели, ни о количестве слоёв, ни о способах кодирования позиций токенов в последовательности; в отчете вообще нет ничего, что могло бы пригодиться другим командам, работающим над созданием конкурирующих моделей.
ChatGPT с лёгкостью справляется со множеством интеллектуальных задач, которые были не под силу искусственному интеллекту ещё несколько лет назад: пишет содержательные эссе, сочиняет и редактирует программный код, генерирует идеи, стилизует и анализирует тексты и так далее. Неспециалистам в ряде случаев трудно в общении отличить ChatGPT от собеседников-людей.
Тем не менее, несмотря на впечатляющий прогресс, современные трансформерные архитектуры обладают рядом ограничений, над преодолением которых работают сегодня многие исследователи в области машинного обучения. Вот некоторые из таких ограничений:
— вычисление и даже выполнение больших сетей потребляет значительные вычислительные ресурсы;
— поскольку время вычисления модуля внимания, лежащего в основе трансформеров, является функцией от квадрата длины контекста модели, у таких моделей возникают сложности с обработкой длинных текстов — поэтому такая модель может написать небольшой рассказ или короткую статью, но не может справиться с созданием структуры длинных текстов (например, романов);
— современные многослойные трансформеры не являются рекуррентными сетями, значит, число «шагов рассуждения» при вычислении сети конечно — это мешает моделям выполнять многие нехитрые алгоритмы (арифметические действия с большими числами, сортировка больших списков, «перевёртывание» длинных списков или текста, подсчёт элементов и т.д.);
— такие модели нередко ошибаются в фактах (особенно не самых общеизвестных) и могут откровенно фантазировать (этот эффект называют «галлюцинациями» моделей);
— знания моделей без дообучения устаревают;
— большие модели склонны заучивать клише (многократно повторённые в обучающих выборках последовательности).
Для измерения «уровня интеллекта» больших языковых моделей сегодня созданы большие наборы тестов. Наиболее фундаментальным из них является «BIG-bench», описанный в статье 2022 года «За пределами игры в имитацию: количественная оценка и экстраполяция возможностей языковых моделей» [Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models]. Этот опросник включает в себя 204 различных типа задач и разработан 442 авторами из 132 научных коллективов. Результаты тестирования современных фундаментальных моделей на этом наборе тестов показывают, что хотя прогресс в последние годы очень значителен, сохраняется множество задач, в которых люди пока что уверенно превосходят даже самые совершенные нейросети, но, если существующие темпы роста возможностей фундаментальных моделей будут сохраняться до конца 2020-х годов, этот разрыв, скорее всего, будет ликвидирован.
В целом, подводя итоги десятилетия в области искусственного интеллекта, можно сделать вывод, что за это время технологии глубокого обучения уверенно вступили в фазу зрелости. Многие интеллектуальные задачи, о решении которых машинами ещё несколько десятилетий назад можно было только мечтать, сдались под напором новых методов, многократно увеличившихся вычислительных мощностей и объёмов цифровых данных. Этот прогресс вплотную приблизил мечту о создании систем общего искусственного интеллекта к её постановке в практической плоскости. Возможно, именно в эти дни в ведущих исследовательских центрах мира принимаются решения, которые во многом повлияют на будущее нашего общества, и вызревают технологии, благодаря которым наша жизнь никогда уже не будет прежней.