Перейти к содержимому

Невидимый языковой налог

·~ 5 мин

В статье я сравниваю русский и английский просто потому, что эти языки мне ближе всего. Похожие эффекты наблюдаются и для других языковых семей, но их масштаб зависит от модели и токенайзера. Данные по другим языкам можете посмотреть в источниках, прикрепленных в статье.

Введение

2024 год. Офис в Москве. Мы с коллегами фронтендерами сидим, делимся эмоциями и методами как мы круто ускоряемся с помощью Cursor и sonnet-3.5. У всех примерно одинаковые советы и промпты, но одна деталь выделяется и именно на моем ноуте - общение с моделью на английском. Зачем?

На тот момент я тренировал английский, и это, если честно, было главной причиной. Со временем я всё больше узнавал о том, как работают LLM, и начал подозревать, что выбор языка важен ещё и с технической точки зрения.

По своему опыту знаю, что многие русскоговорящие (и не только русскоговорящие) разработчики все также пишут промпты на своем родном языке просто потому, что "так легче". В этом посте я приведу цифры, которые показывают, что за эту легкость такие люди платят и деньгами, и интеллектом модели, а также почему им в таком случае стоит забить на результаты любых бенчмарков типа Artificial Analysis и прочих.

Пункт первый - интеллект

Вот смотрите вы на результаты бенчмарков новой модели и радуетесь, что Opus 5.5 вырос на 7 пунктов относительно Opus 5. Если вы пишите промпты не на английском - этот результат для Вас фактически не имеет никакого значения.

Взгляните на эту диаграмму из бенчмарка MMLU-ProX:

Лучшие результаты LLM на MMLU-ProX для каждого языка, , сгруппированные по регионам

А также таблицу из той же статьи (которую я немного визуально переделал, убрав другие языки):

Model performance (%) on MMLU-ProX

Ради справедливости, исследование не новое и проводилось на уже относительно старых моделях (хотя самое свежее из того, что мне удалось найти). При этом GPT-4o показал на русском результат даже выше, чем на английском.

Но какие выводы можно сделать:

  • В большинстве случаев большинство моделей лучше "понимают" и "отвечают" на английском, гэп может разниться от модели к модели, но в среднем по больнице результаты отрицательные.
  • Большинство бенчмарков, которые вы смотрите на Artificial Analysis производятся на английском, при написании промптов на другом языке вы в теории можете получить результат такой же или даже хуже, чем на модели прошлого поколения. То есть в теории Opus 5.5 для ВАС может быть хуже Opus 5. В большинстве случаев конечно скорее всего прирост будет пропорционален, но как мы видим может произойти и наоборот, и самое страшное, что вы об этом никогда не узнаете.

Ну и вкратце почему так происходит, постараюсь объяснить на пальцах:

  • Модель обучается на данных, чем данных больше, тем более "правильно" будет отвечать модель (если сравнивать с аналогичной с меньшим кол-вом данных конечно же). Данных на английском языке просто статистически больше, поэтому и точность ответов выше.
  • Знания могут переноситься между языками неполно и ненадёжно. То, что модель отвечает правильно на английском, не гарантирует правильного ответа на тот же вопрос на русском. Можно почитать об этом здесь.

Пункт второй - налоги

Вы любите налоги? Будете рады, если я скажу, что каждый промпт на русском стоит в среднем в 2.5 раза дороже? Почему?

Токенайзеры. Промпт разбивается на токены, которые потом превращаются в векторы и над которыми происходят вычисления. Собственно стоимость той или иной модели обычно вычисляется двумя параметрами: цена на миллион токенов на input и на миллион за output.

Прикол в том, что эти токенайзеры максимально оптимизированы для обработки именно английского текста и одно и то же лексикографическое (одинаковые по смыслу) предложение может разбиваться на разное количество токенов.

Взгляните на эту диаграмму из этой статьи:

Среднее число токенов на предложение FLORES по группам письменностей (цифры над линиями это количество языков в группе)

Видно что кириллица занимает больше токенов чем латиница при одном и том же промпте. Вспоминаем в чем измеряется стоимость, а также что модель также отвечает на кириллице (т.е. возрастает кол-во input и output токенов).

Стоимость семейства языков относительно английского

Этот эффект и называется The Invisible Language Tax.

Опять же ради справедливости, исследование достаточно старое - 2023 года аж на GPT-3.5. Однако помним, что тут уже зависимость не от модели, а от токенайзера и судя по свежим исследованиям, ситуация улучшилась, но не сильно. Например в этой статье 2026 года французский требует на 31–58% больше токенов чем английский, а в этой статье показывают, что с обновлением токенайзера оверхэд хинди упал с 4.83x с GPT-3.5/4 до 1.59x c GPT-4o. Еще вот недавняя статья, которая показывает что *Opus 5 использует на 200% больше токенов на русском при одинаковых лексикографических промптах.

Какие выводы можно сделать:

  • Стоимость одного и того же запроса в среднем увеличивается, если вы используете любой язык, кроме английского. Иначе говоря ваши лимиты по подписке утекают быстрее.
  • Размер контекстного окна ограничен числом токенов. Если русский текст занимает больше токенов, в то же окно поместится меньше информации, а в агентных сценариях сжатие контекста может понадобиться раньше.

Вывод

Для повседневных задач разница может быть незаметна. Но если вы постоянно работаете с агентами и большими контекстами, выбор языка заслуживает внимания.

С появлением нейросетей необходимость знания английского только возросла. Код и так пишется на латинице, все комменты в коде должны быть на английском, т.к. попадают в контекст, документация, которая может быть использована агентом должна быть на английском, т.к. попадает в контекст, ваши промпты должны быть также на английском, т.к. создают этот контекст.

Есть такой график для моделей, который называется Intelligence Index vs. Cost per Intelligence Index Task на который многие ориентируются при выборе моделей как на оптимальные по соотношению цены и качества. Если вы продолжаете писать промпты на русском каждый раз мысленно перемещайте эту точку направо и вниз, туда где дороже и глупее. Это и будет ваш налог за "легкость".

Используйте инглиш, пожалуйста.