Журналисты TechNode протестировали английскую грамматику Sogou. Это было ужасно
(Автор: Вэй Шэн)
Сравню ли с летним днем твои черты? Но ты милей, умеренней и краше.
Шекспир не писал этого – возможно, потому что ему не помогал редактор на основе искусственного интеллекта, выпущенный китайской поисковой системой Sogou.
Недавно компания выпустила сервис Sogou AI Writing Assistant, которая использует оптимизированные алгоритмы искусственного интеллекта для функций проверки грамматики и орфографии. ИИ также предлагает замены терминов, которые определяются как английский стиль письма или речи Chinglish, появившийся под влиянием китайского языка. Такой стиль критикуется в Китае, так как не является родным.
Компания Sogou заявила, что инструмент точен в 96,83% случаев.
Его эффективность отражает то, что китайские технологические компании относятся к искусственному интеллекту как к технологической панацее. Он продвигается как «секретный ингредиент», переоцененный за способность решать проблемы, выходящие за рамки его возможностей.
Репортер TechNode протестировал редактор с помощью своей статьи об отставке генерального директора Tiktok Кевина Майера из Bytedance. В результате, ИИ Sogou исправил название компании Bytedance, в которой работал Майер, на Bidens.
Алгоритмы искусственного интеллекта идентифицировали слово Bytedance как опечатку, и предложили альтернативу, которая обозначает растение, похожее на ромашку, также известное как череда. Кроме того, это фамилия довольно известного американца.
Далее была проверена еще одна статья от TechNode о первичном размещении акций в США (IPO) китайского производителя электромобилей Xpeng.
На этот раз инструмент, возможно, не нашел термин “Xpeng” в своем словарном запасе. По заявлению компании, он содержит более 100 000 английских предложений (что равно примерно 31 книге) и более 10 000 единиц высококачественных данных, скорректированных человеком. Поэтому программа заменила название компании на распространенную китайскую фамилию Peng.
Инструмент также изменил фразу “backed by”, которая обозначала, что Xpeng получил средства от Alibaba и Xiaomi, на “with the support of”, создавая намек на то, что Alibaba и Xiaomi помогли компании с IPO.
Затем автор решил проверить в сервисе Сонет 18 Шекспира. Вот что получилось:
Представитель Sogou отказался комментировать результаты, но сказал, что точность, упомянутая в пресс-релизе, была рассчитана на основе реальных данных от пользователей.
Когда продукт был впервые запущен, местные СМИ сравнили его с популярным программным обеспечением для проверки грамматики Grammarly, который базируется в Сан-Франциско, штат Калифорния.
Для сравнения репортер проверил некоторые предложения TechNode с помощью Grammarly. Эта программа также дала некоторые ненадежные предложения. В любом случае пользователю придется самостоятельно просмотреть все предложения Grammarly и решить, использовать исправления или нет. Но в целом программа не пыталась копаться в значении предложений. В этой области современные технологии искусственного интеллекта действительно плохи.
Вот как программа Grammarly исправила Сонет 18.
Похоже, что у Grammarly проблемы с некоторыми старомодными выражениям, но в остальном программа дала Шекспиру оценку 98 из 100. Молодец, Уильям.
Согласно сообщению в блоге Grammarly, программа также использует ИИ для грамматических исправлений. В частности, используется машинное обучение, которое позволяет системам изучать и выполнять задачи с помощью добавления большого количества данных и использования различных подходов к обработке естественного языка (NLP). Все это учит машины понимать и обрабатывать человеческий язык.
Разработчик программного обеспечения и технологический аналитик Бен Диксон написал в статье, опубликованной в 2019 году, что успех Grammarly был в значительной степени обусловлен ее упором на узком применении ИИ NLP: grammar assistance, так как программа знает пределы современных технологий ИИ.
По словам Диксона, в настоящее время технологии глубинного обучения и нейронных сетей ужасны в решении проблем, требующих здравого смысла.
Он писал, что при разборе значений предложений и семантических отношений слов, алгоритмы глубинного обучения терпят неудачу.
Соответственно, редактор Sogou на основе ИИ здесь потерпел неудачу. Очевидно, что существует шаблон с инструментом, с помощью которого программа пытается интерпретировать смысл автора и переписать предложение, используя свою собственную логику. ИИ может это делать, но не очень хорошо.
Кроме того, в Китае на основе ИИ создали учителя, враче на основе ИИ и даже поэтов.
