МОСКВА, 22 мая — РИА Новости, Владислав Стрекопытов. Недавно сразу две российские компании объявили о запуске русскоязычных аналогов чат-бота ChatGPT. На подходе еще одно решение. О том, почему так важно, чтобы в России были собственные разработанные с нуля генеративные нейросети, — в материале РИА Новости.
Время умных чат-ботов
Самообучающиеся нейросети — главный технологический тренд в мире. В конце 2022-го компания OpenAI, один из основателей которой — Илон Маск, запустила первый в мире чат-бот с генеративным искусственным интеллектом ChatGPT. Это универсальная языковая модель, способная вести диалог, анализируя ответы и настроение собеседника, создавать тексты на любые темы, в том числе научные или рекламные статьи, писать коды на нескольких языках программирования, сочинять стихи и выполнять множество других задач.
Благодаря мультиязычному интерфейсу, модель сразу стала невероятно популярной. На ее основе уже разработаны многочисленные приложения — как узкоспециализированные, так и общего назначения. За полгода компания OpenAI опубликовала несколько обновлений. Среди языков, которые использует чат-бот, есть и русский, но из-за санкций доступ к ChatGPT в России и еще нескольких странах сейчас ограничен.
В конце марта 2023-го отечественная компания Sistemma запустила функциональный аналог ChatGPT — SistemmaGPT — на русском и английском языках. Спустя месяц генеративную нейросеть GigaChat представил «Сбер». Над собственной версией языковой модели работает и «Яндекс». Проект получил название YaLM 2.0.
Недавно в компании сообщили, что за счет подключения к виртуальному помощнику «Алиса» возможности нейросети существенно расширились. Теперь «Алиса» может написать сценарий для выпускного, составить деловое письмо, предложить план путешествия и варианты подарка на свадьбу.
Ничего личного
Принципиальных различий между разработками зарубежных и отечественных производителей нет: алгоритмы, составляющие основу моделей, формируются по единому принципу.
«Сначала мы формируем ядро модели, обучаем ее оперировать словами, запоминать их последовательности, выстраивать логические цепочки, как ребенка учат говорить, — рассказывает основатель и генеральный директор компании Sistemma Сергей Зубарев. — Затем создаем надстройку, в которую уже закладываем определенные смыслы».
Для начального обучения нейросетей используют так называемые дата-сеты. Как правило, это открытые базы текстовых и прочих данных, полученные при сканировании интернета. Информацию в них можно структурировать по языкам и категориям.
Полный набор источников, который использовали для формирования ядра ChatGPT, не раскрывается, но известно, что в его основе — массив данных Common Crawl. Этот веб-архив обновляется ежемесячно и содержит контент на самых разных языках, в том числе на русском. Но больше всего в нем, конечно, англоязычных сайтов, зарегистрированных в США.
Однако это не значит, что нейросеть в своих ответах будет ориентироваться на взгляды и менталитет американцев. Чтобы избежать обвинения в предвзятости, создатели ChatGPT старались собрать максимально нейтральные с политической, идеологической, религиозной и прочих точек зрения тексты, а систему контроля за этим заложили на самом раннем этапе обучения.
«Мы используем чат-бот ChatGPT уже несколько месяцев применимо к разным тематикам, — говорит Маргарита Баженова, руководитель отдела контентного развития SEO-компании «Скобеев и Партнеры». — И не заметили, чтобы генерируемый контент имел какую-либо идеологическую, этическую или политическую окраску. А вот с точки зрения фактов ответы не всегда корректны, ведь для обучения чата использовали информацию 2021-2022 годов. Для некоторых областей — например, юридической — это критично».
Нейросеть с характером
Нейросеть (западная или российская) — всего лишь программа. Ответы, которые она выдает, — своего рода среднестатистический результат, основанный на анализе массива текстов, предоставленных в обучающей выборке. А специфический «характер» чат-бота, эмоциональную окраску его ответов определяет команда, которая адаптирует модель под конкретные задачи и затем осуществляет поддержку.
«Предварительный этап обучения не так важен, как надстройка, которая формируется при дообучении, — отмечает глава компании Sistemma. — Она, как кора головного мозга, управляет потом всеми процессами».
В этом заключается особенность ChatGPT и его аналогов. Базовая модель — универсальная, а дообучают ее под конкретную задачу на специально подобранном корпусе текстов. Например, если создают нейросеть для анализа экономической деятельности компаний, ответ она будет формировать в виде финансовых показателей. А если это медицинский чат-бот, то надстройка ориентирует модель прежде всего на поиск связи между симптомами и диагнозом.
«Можно в надстройке прописать, кем модель будет себя «ощущать», — уточняет Зубарев. — Если загрузить в нее школьную программу, поведет себя как учитель по отношению к ребенку. Если приспособить для работы с законодательными актами, она — уже как юрист — будет давать только конкретные ответы на конкретные вопросы, не позволяя никаких вольностей в плане интерпретации».
В принципе, можно даже создать персональный чат-бот на основе ChatGPT — он будет «думать» и отвечать, как его владелец.
«Каждая разработка уникальна, — отмечает Сергей Запечников, профессор Института интеллектуальных кибернетических систем НИЯУ МИФИ. — Одна модель имеет огромное число параметров, но при этом неспособна к дообучению, другая при меньшем количестве параметров регулярно обращается к актуальным интернет-источникам».
При дообучении обычно используют метод подкрепления (RL — Reinforcement Learning), при котором нейросети задают наводящие вопросы, а в качестве примера приводят сотни тысяч вариантов ответов, ранжированных от «плохих» до «отличных». Так у программы складывается понимание, чего от нее ждут. И здесь вопрос в том, кто выступает в роли экспертов, задающих критерии отбора, какую цель они преследуют.
В последних версиях ChatGPT разработчики использовали метод обучения с подкреплением на основе обратной связи с человеком (RLHF — Reinforcement Learning from Human Feedback). Он основан на том, что чат-бот сверяет ответы не только с набором проверенных экспертами вариантов, но и учитывает мнение аудитории, используя для этого в том числе диалоги чатов и соцсетей. В RLHF это называется средой.
