Инновационнее Google: платформа машинного обучения Baidu ERNIE 2.0

Обработка естественных языков (Natural Language Processing) — это отрасль, чрезвычайно важная для развития AI. Она отвечает за то, насколько хорошо искусственный интеллект может «понимать» естественные человеческие языки и в конечном итоге определяет успех взаимодействия человека с AI-системами. Китайскому лидеру AI-технологий Baidu удалось внести значительный вклад в развитие отрасли.

Ситуация в отрасли: Одна из старейших областей применения технологии — обработка поисковых запросов, поэтому неудивительно, что один из главных игроков отрасли — это Alphabet (Google). В октябре 2018 года компания опубликовала исходный код новой прорывной платформы обработки естественных языков BERT (Bidirectional Encoder Representations from Transformers). В 2019 году компания в сотрудничестве с Чиангмайским университетом Таиланда разработала усовершенствованную систему XLNet, которая показала лучшую, чем BERT производительность в 20 задачах.

«Китайский Google» Baidu конечно же не остался в стороне, и в конце 2019 года компания представила свою платформу ERNIE 2.0.

Уникальное преимущество: Разработка изначально была нацелена на адаптацию инновационных моделей обработки естественных языков к китайскому языку. Специфика китайского состоит в том, что минимальная единица обработки информации — это не слово, а иероглиф. Некоторые иероглифы имеют конкретное значение: 水 (вода), 绿 (зелёный), 很 (очень), в то время как другие имеют огромное количество значений, и конкретное значение определяется только в сочетании с другими иероглифами.

ERNIE 2.0 работает на том же принципе, что и разработка Google, обучаясь за счёт так называемой «маскировки». Примерно 15% слов в тексте «закрывается», потом система пытается угадать их, опираясь на окружающий контекст. Затем система сравнивает свои догадки со словами в тексте и обучается таким образом. Обучение происходит без вмешательства человека.

Главная инновация ERNIE 2.0 — в способе маскировки. В то время как BERT маскирует для обучения отдельные слова, ERNIE 2.0 маскирует сочетания иероглифов. При этом система при маскировке может отличать значимые сочетания от незначимых. В результате точность ERNIE 2.0 на китайском языке смогла превзойти BERT.

Неожиданно обнаружилось, что модель ERNIE 2.0 имеет определённые преимущества и для английского языка. В английском тоже встречаются слова, которые имеют определённое значение в сочетании с другими словами, хотя и реже, чем в китайском. В особенности преимущество ERNIE 2.0 видно при переводе имён.

В испытаниях ERNIE 2.0 продемонстрировала следующие преимущества:

1. Точность. ERNIE 2.0 превзошла конкурентов в 16 заданиях на китайском и английском языке — в семи задачах на понимание естественного языка и в девяти разнотипных заданиях, таких как понимание текста, анализ настроения, вопросы и ответы.
2. Меньший объём данных. Основная трудность самообучаемых моделей обучения — ограниченность объёма данных. ERNIE 2.0 использует всего 7.9 миллиарда токенов для обучения модели — всего около четверти данных, которые использует XLNet.
3. Меньшие вычислительные мощности. ERNIE 2.0 не только успешно обгоняет конкурентов на меньших объёмах данных, но и экономит вычислительные мощности, используя всего около одной восьмой вычислительных мощностей, которые требуются для обучения XLNet.

Применение ERNIE 2.0 позволит улучшить многие сервисы, предоставляемые Baidu.

Поиск. Возможность алгоритма точнее «понять» поисковый запрос означает, что алгоритм будет выдавать более релевантные результаты. Поиск Baidu нередко подвергается критике за неадекватные результаты. Так, в прошлом году компанию обвиняли в подтасовке результатов поиска сервиса Baijiahao. Но несмотря на это, применение ERNIE 2.0 значительно увеличило удовлетворённость пользователей от Baidu. Проведённое компанией исследование по результатам третьего квартала 2019 года показало, что число пользователей, удовлетворённых самым первым результатом поиска повысилось на 16%, сообщила компания.

Ввод текста. Программа для ввода текста на китайском (и японском) языках Baidu IME — второй сервис, который позволяет усовершенствовать ERNIE 2.0. При вводе текста используется фонетический принцип, то есть программа должна угадывать, какие иероглифы имеет в виду пользователь, и предлагать несколько вариантов на выбор. Baidu IME может угадывать целые предложения, и благодаря более эффективному учёту контекста, предлагать более точные результаты.

Машинный перевод. Машинный перевод Baidu Translate ежедневно обрабатывает более 100 миллионов запросов. Компания не считает Baidu Translate источником прямой прибыли, используя его для улучшения других сервисов, таких как Baidu Encyclopedia, Baidu Library и Baidu Browser. Вместе с тем, аналогично Yandex и Google, компания предлагает платную подписку на него для перевода больших объёмов текста. Качество перевода в первую очередь зависит от возможности точно подобрать эквивалент для каждого слова в целевом языке, и алгоритм с усовершенствованным семантическим представлением, такой как ERNIE 2.0, может существенно повысить его.

Контекст: Существующая «гонка вооружений» между двумя сильнейшими разработчиками в области обработки естественных языков может ускорить развитие технологии AI. ERNIE 2.0 — очередной пример того, что Китай смог не только занять достойное место в мировой технологической гонке за AI, но и внести вклад в развитие AI-технологий, которые несут пользу не только для Китая, но и для всего мира.