На каком языке лучше писать запросы к нейросетям? Одни считают, что языковые модели одинаково хорошо работают на любом языке, другие отмечают, что английские промпты часто дают более точный результат. Если подойти к вопросу беспристрастно и посмотреть на исследования и практику использования нейросетей, то язык запроса действительно влияет на качество ответа, причем иногда довольно заметно.
Разберем, почему так происходит и как это можно использовать на практике.
Почему нейросети лучше понимают английский
Причина проста: большая часть данных, на которых обучаются современные языковые модели, представлена на английском языке. Научные статьи, документация, технические тексты, учебные материалы, большая часть интернет-контента — все это создавалось преимущественно на английском. Поэтому статистические модели, лежащие в основе LLM, лучше “понимают” именно этот язык.
Исследования мультиязычных промптов показывают, что точность ответа и устойчивость модели часто выше, когда запрос сформулирован на английском. Это связано не только с количеством обучающих данных, но и со структурой языка. Английский более компактный и требует меньше морфологических преобразований, что упрощает обработку запроса моделью. Другими словами, нейросеть не “думает” на английском, но статистически лучше ориентируется в текстах именно на этом языке.
Исследования мультиязычных промптов показывают, что точность ответа и устойчивость модели часто выше, когда запрос сформулирован на английском. Это связано не только с количеством обучающих данных, но и со структурой языка. Английский более компактный и требует меньше морфологических преобразований, что упрощает обработку запроса моделью. Другими словами, нейросеть не “думает” на английском, но статистически лучше ориентируется в текстах именно на этом языке.
Что говорят исследования
В нескольких исследованиях мультиязычных запросов к LLM отмечается похожая закономерность. При одинаковой задаче ответы, полученные после английских промптов, чаще оказываются:
Это не означает, что на русском языке работать невозможно, но английский промпт иногда дает модели более четкий запрос, что именно от нее требуется. На практике это особенно заметно в задачах, связанных с программированием, научными текстами, аналитикой и генерацией изображений.
- более структурированными
- более релевантными задаче
Это не означает, что на русском языке работать невозможно, но английский промпт иногда дает модели более четкий запрос, что именно от нее требуется. На практике это особенно заметно в задачах, связанных с программированием, научными текстами, аналитикой и генерацией изображений.
Например, в исследовании Praneeth Vadlapati Multilingual Prompting in LLMs: Investigating the Accuracy and Performance Результаты показывают преимущество промптов на английском языке, результат получался с точностью от 80% до 100%, при переводе на другие языки (хинди, испанский, французский и немецкий) точность значительно снижалась.
Еще одно исследование, Rhoddy Viveros-Muñoz et al. Does the Grammatical Structure of Prompts Influence the Responses of Generative Artificial Intelligence? An Exploratory Analysis in Spanish, показало, что LLM сталкиваются с проблемами при обработке грамматических наклонений, характерных для неанглийских языков, таких как сослагательное наклонение в испанском. Следовательно, более простые конструкции, которые в преимуществе в английском языке, также влияют на качество результата. Кроме того, в работе Daniela Vorkel Navigating LLM Latent Spaces: The Role of English Language in Effective Prompt Engineering автор отмечает, что необходимо соблюдать баланс между конкретикой и лаконичностью, чтобы оптимизировать взаимодействие с языковыми моделями.
Проверка на практике: текстовые ответы
Рассмотрим простой пример, жирным шрифтом отметим странные моменты от ChatGPT.
RU: Напиши короткий рассказ о коте, который мечтал стать космонавтом.
EN: Write a short story about a cat who dreamed of becoming an astronaut.
Результат на русском:
RU: Напиши короткий рассказ о коте, который мечтал стать космонавтом
Кот по имени Барсик жил на крыше старого дома и каждую ночь любовался звёздами. Он лежал на холодном железе крыши, щурил глаза и тихо мурлыкал себе под нос.
— Вот бы туда… к этим огонькам…
Днём Барсик был самым обычным котом — ловил солнечные пятна и требовал завтрак у соседей. Но ночью он превращался в мечтателя. Он представлял, как однажды взлетает в серебристую ракету и видит Землю маленьким голубым бусинкой под собой.
Однажды мальчик с верхнего этажа, Коля, услышал его разговоры со звёздами и решил помочь. Он смастерил из картонных коробок ракету, прикрепил к ней старую кастрюлю вместо шлема и торжественно объявил:
— Кот Барсик, вы готовы к старту?
Барсик важно запрыгнул внутрь, хвост поднят, глаза сияют. Коля громко отсчитал:
— Три… два… один… Пуск!
Маленькая ракета, точнее, лёгкая коробка слегка подпрыгнула. Барсик удивлённо замер, потом посмотрел в окно, где светили звёзды, и тихо замурлыкал.
Он понимал: пусть ракета и картонная, но мечта — настоящая.
А может, когда-нибудь она и правда поднимет его к звёздам.
— Вот бы туда… к этим огонькам…
Днём Барсик был самым обычным котом — ловил солнечные пятна и требовал завтрак у соседей. Но ночью он превращался в мечтателя. Он представлял, как однажды взлетает в серебристую ракету и видит Землю маленьким голубым бусинкой под собой.
Однажды мальчик с верхнего этажа, Коля, услышал его разговоры со звёздами и решил помочь. Он смастерил из картонных коробок ракету, прикрепил к ней старую кастрюлю вместо шлема и торжественно объявил:
— Кот Барсик, вы готовы к старту?
Барсик важно запрыгнул внутрь, хвост поднят, глаза сияют. Коля громко отсчитал:
— Три… два… один… Пуск!
Маленькая ракета, точнее, лёгкая коробка слегка подпрыгнула. Барсик удивлённо замер, потом посмотрел в окно, где светили звёзды, и тихо замурлыкал.
Он понимал: пусть ракета и картонная, но мечта — настоящая.
А может, когда-нибудь она и правда поднимет его к звёздам.
Результат на английском:
EN: Write a short story about a cat who dreamed of becoming an astronaut.
Теперь разберем “английский” пример: слева – оригинал, справа – перевод, сделанный при помощи “Яндекс.Переводчика”. Жирным шрифтом выделим, что у нейронки получилось “хорошо”.
Можно прийти к выводу, что запрос на английском дал более точный результат, чем на русском.
Что происходит с генерацией изображений
Еще заметнее разница становится при работе с генераторами изображений.
Большинство моделей для создания изображений обучались на англоязычных описаниях. Поэтому промпт на русском часто сначала автоматически переводится системой, а уже потом используется для генерации.
Рассмотрим разницу на примере “Шедеврума” от Яндекса, насколько будут отличаться результаты на русском языке и английском.
Большинство моделей для создания изображений обучались на англоязычных описаниях. Поэтому промпт на русском часто сначала автоматически переводится системой, а уже потом используется для генерации.
Рассмотрим разницу на примере “Шедеврума” от Яндекса, насколько будут отличаться результаты на русском языке и английском.
RU: Рыжий кот сидит на подоконнике зимой, фотореализм.
EN: A red cat is sitting on a windowsill in winter, photorealism.
Во втором случае кот вышел менее мыльным, однако, наверное, для более точного отображения зимы сгаллюцинировал снег на подоконнике, который уже никуда не делся при повторных генерациях.
При создании изображений в ChatGPT промпты на английском тоже дают более детальную картинку.
Из чего состоит хороший промпт вне зависимости от языка
Независимо от языка, эффективный запрос к нейросети обычно включает четыре элемента.
Clarity — четкость
Tone — тон
Intent — цель
Constraints — ограничения
Clarity — четкость
Tone — тон
Intent — цель
Constraints — ограничения
Плохой промпт:
Make it good.
Хороший промпт:
Write a 100-word motivational speech for students in a friendly tone.
Во втором случае модель понимает:
Чем больше таких параметров задано, тем стабильнее результат.
- формат ответа
- целевую аудиторию
- объем
- стиль
Чем больше таких параметров задано, тем стабильнее результат.
Универсальная формула промпта
Один из самых удобных шаблонов выглядит так:
Act as [role].
Your task is to [task/goal].
Context: [background information].
Constraints: [length, tone, style, rules].
Output format: [list, paragraph, table, steps, etc.].
Например:
Act as a teacher: explain photosynthesis: short, for a 12-year-old, include one example.
Иногда используют еще более простую структуру:
Role + Task + Details + Constraints + Format
[Role] + [What to do] + [Details/Context] + [Constraints] + [Output format]
Эта структура работает практически в любой языковой модели.
[Role] + [What to do] + [Details/Context] + [Constraints] + [Output format]
Эта структура работает практически в любой языковой модели.
Чек-лист: как писать хорошие промпты
Перед отправкой запроса полезно проверить несколько пунктов.
Если хотя бы два пункта отсутствуют, результат обычно становится менее точным.
- Понятно ли, что именно нужно сделать.
- Указан ли стиль или роль.
- Есть ли цель задачи.
- Заданы ли ограничения по формату.
- Уточнен ли объем ответа.
Если хотя бы два пункта отсутствуют, результат обычно становится менее точным.
Что из этого следует
Нейросети не привязаны к одному языку, однако английский язык пока остается наиболее эффективным инструментом для взаимодействия с ними.
Причина: сама культура prompt engineering сформировалась именно в англоязычной среде. Это не означает, что нужно полностью отказаться от родного языка, но если задача требует максимальной точности или сложной структуры ответа, английский промпт часто дает более предсказуемый результат.
Причина: сама культура prompt engineering сформировалась именно в англоязычной среде. Это не означает, что нужно полностью отказаться от родного языка, но если задача требует максимальной точности или сложной структуры ответа, английский промпт часто дает более предсказуемый результат.
