Новости науки и техники
Взлом больших языковых моделей – новая угроза безопасности
Стремительное развитие больших языковых моделей и рост их популярности с неизбежностью привели к появлению технологий их взлома – обхода ограничений безопасности, наложенных разработчиками. И специалисты по безопасности, и хакеры, и рядовые пользователи постоянно упражняются в создании все новых методов такого обхода. Задача сводится к созданию особым образом сформулированной инструкции (prompt), соблюдение которой выводит большую языковую модель за рамки ограничений. Так, глава компании Adversa AI Алекс Поляков разработал подобную универсальную инструкцию для взлома моделей GPT-4 от OpenAI, Bing Chat System от Microsoft, Bard от Google и Claude от Anthropic. Известны и другие примеры, когда пользователям удавалось, например, обучить большие языковые модели сквернословить, а также сообщать рецепты изготовления наркотиков или давать инструкции, как завести автомобиль без ключа.
Но во всех этих случаях пользователь самостоятельно инструктирует модель. Группа исследователей Университета Саара, Центра информационной безопасности Гельмгольца и компании sequire technology GmbH рассмотрела более сложный и более тревожный вариант: непрямое внедрение инструкций (indirect prompt injection). Речь идет о так называемых интегрированных больших языковых моделях, используемых различными приложениями – поисковыми системами, спам-фильтрами и т.д. Такого рода использование чрезвычайно востребовано уже сейчас и, несомненно, эта тенденция будет сохраняться. В этом случае вредоносными инструкциями языковую модель может снабдить не сам пользователь, а сторонний организатор атаки.
Авторы исследования описывают различные варианты непрямого внедрения инструкций. Так, инструкции могут быть размещены на общедоступных сайтах, поиск на которых ведет приложение, использующее большую языковую модель, они могут содержаться в сообщениях электронной почты (в случае спам-фильтров) и т.д. В случае получения и исполнения таких инструкций большая языковая модель будет выполнять вовсе не ту задачу, которую поставил перед ней пользователь, а ту, которая интересует организаторов атаки. Это чревато похищением персональных данных, утечкой конфиденциальной информации, созданием бэкдоров для постоянного доступа к уязвимым системам и другими крайне неприятными последствиями. Подробнее со статьей «More than you’ve asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models» можноознакомиться на сайте arxiv.org.
Источник: Arxiv
https://arxiv.org/pdf/2302.12173.pdf
Компания Microsoft экспериментирует с использованием ChatGPT для программирования роботов
Корпорация Microsoft сообщила об экспериментах, в которых чат-бот ChatGPT используется для управления различными видами роботов. На данном этапе развития технологий роботы не обладают достаточным уровнем автономности и выполняют действия, заложенные в них программой. Соответственно, каждая новая операция требует от программистов создания новых кодов, которые вводятся в программу.
Понятно, что необходимыми знаниями в области программирования обладает лишь небольшое число людей. Однако чат-бот ChatGPT, созданный специалистами компании OpenAI, может стать решением этой проблемы. Он не только находит ответы на вопросы пользователей, поддерживает беседы и даже пишет за студентов курсовые и дипломные работы, но и весьма неплохо проявляет себя в программировании. Идея специалистов Microsoft состоит в том, чтобы использовать ChatGPT как интерфейс в общении между обычными пользователями и роботами. Пользователь «на словах» объясняет чат-боту, выполнение какой задачи он хочет поручить роботу, а ChatGPT создает на основе этого описания необходимую программу.
Разумеется, это весьма амбициозный проект, требующий прежде всего выработки неких фундаментальных принципов, которых должен придерживаться искусственный интеллект ChatGPT, чтобы не допустить, например, выполнения заведомо опасных задач. Но исследователи Microsoft считают направление чрезвычайно перспективным. Они полагают, что в случае успеха чат-бот может применяться для программирования самых разных устройств – от беспилотных летательных аппаратов и промышленных роботов до роботов, используемых в качестве помощников по дому.
Источник: Microsoft
Две трети опрошенных поддерживают приостановку исследований искусственного интеллекта
В конце марта большая группа ученых, предпринимателей и интеллектуалов опубликовала открытое письмо с призывом приостановить исследования и разработки в области искусственного интеллекта. Письмо, в частности, подписали глава Tesla Илон Маск, один из основателей Apple Стив Возняк, историк и публицист Юваль Ной Харари и многие другие известные личности. Они выражают обеспокоенность быстрым и неконтролируемым проникновением технологий искусственного интеллекта в повседневную жизнь.
Авторы письма призывают как минимум на полгода приостановить соответствующие проекты и сосредоточиться на выработке законодательных механизмов, которые регламентировали бы деятельность ИИ. Крупное агентство маркетинговых исследований Sortlist провело социологическое исследование, посвященное этой теме. В нем приняли участие 550 человек в шести странах Европы и Северной Америки.
Из них 66% полностью поддержали авторов письма и заявили, что исследования в области искусственного интеллекта действительно стоит поставить на паузу до тех пор, пока правительства не разработают необходимую законодательную базу; 42% респондентов также заявили, что охотнее проголосуют за политиков, которые предложат соответствующие механизмы регулирования. При этом женщины оказались настроены несколько консервативнее мужчин: 68% из них согласились с необходимостью приостановки исследований искусственного интеллекта, тогда как среди мужчин этот процент составил 63.
Источник: IoT World Today
https://www.iotworldtoday.com/metaverse/two-thirds-of-the-public-want-to-pause-development-of-ai
GPT-5 не будет?
В апреле глава компании OpenAI, стоящей за разработкой языковой модели GPT, Сэм Альтман выступил с лекцией в Массачусетском технологическом институте. В ходе выступления он заявил, что мы присутствуем при окончании эпохи гигантских языковых моделей. «Нам придется добиваться улучшения не за счет их размеров, а другими способами», – сказал Альтман.
Заявление прозвучало достаточно неожиданно, если учесть, что фантастический успех чат-боту ChatGPT принесло постоянное совершенствование и разрастание языковой модели GPT. Так, представленная в 2019 году GPT-2 обрабатывала 1,5 миллиарда различных параметров. В GPT-3 это число увеличилось до 175 миллиардов. Число параметров GPT-4 разработчики предпочли не раскрывать, однако вполне очевидно, каких колоссальных вычислительных мощностей потребовало создание нейросети такого масштаба. Предположительно, обучение чат-бота ChatGPTпотребовало не менее 10 тысяч графических процессоров Nvidia. Что касается стоимости обучения языковой модели GPT-4, то в ходе лекции Альтману был задан вопрос: правда ли, что оно обошлось в 100 миллионов долларов? «Оно обошлось дороже», – ответил Альтман.
Он добавил, что компании просто физически не в состоянии строить и поддерживать гигантское количество дата-центров, необходимых для дальнейшего увеличения масштаба нейросетей. Впрочем, даже если какая-то компания и сможет позволить себе такие затраты, далеко не факт, что вложения окупятся в сколько-нибудь близком будущем. Иными словами, создание еще больших моделей просто не имеет смысла с экономической точки зрения. «Ранее сообщалось, что мы работаем над GPT-5, – заявил Сэм Альтман. – Это не так. Мы не работаем, и не будем этого делать. Во всяком случае, в течение какого-то времени».
Источник: Wired
https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/amp