Мова запиту змінює рекомендації ШІ: методологія вимірювання на 1 800 відповідях

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Мене звати Максим Онищенко. Я розробник і роблю маленький сервіс, який рахує, як часто ШІ-системи згадують бізнес у своїх відповідях.

Цей текст — для тих, хто вже пробував поміряти «видимість у ChatGPT» або тільки збирається, і ловив себе на думці: перше число, яке випадає, щось бреше. Так і є. Далі покажу на власних даних — 1 800 відповідей, три мови, п’ять систем, — як відрізнити реальний ефект від шуму.

Починалося все з красивого маркетингового питання: «а чи можна поміряти позицію бренду в ChatGPT?». А закінчилося нудною інженерною відповіддю: можна, але перше число, яке ви отримаєте, — це завжди шум. Його треба вміти віднімати.

Що я зробив: взяв 20 однакових комерційних запитань. Нішу взяв максимально приземлену — стоматології. Це класичний локальний сервіс, де користувач фактично просить «порадьте мені когось». І прогнав ці 20 запитань через п’ять AI-систем у трьох столицях: Київ (українська / англійська), Варшава (польська / англійська), Вільнюс (литовська / англійська). Кожне запитання — кожною мовою — по три повних кола. Разом вийшло 1 800 відповідей, зібраних 22–24 серпня 2026 року.

Які системи міряв: ChatGPT з пошуком (gpt-5-search-api), окремо ChatGPT без пошуку (gpt-5.6-terra, відповідає тільки з пам’яті — я свідомо взяв його як базову лінію), Perplexity (sonar), Gemini (gemini-3.6-flash) і Google AI Overview. Останній довелося зчитувати з живого пошуку з прив’язкою до кожного міста — в Google немає API для Overview, тому брав через DataForSEO з локаллю клієнта.

Правило перше: запитання не повинно називати бренд

Кандидатів у «бренди» я видобував із самих відповідей, а не вгадував наперед — інакше я вимірював би власні очікування. Жодне з 20 запитань не називає клініку. Це важливо: запитання зі згадкою бренду завжди повертає цей бренд, і «частка» виходить надутою приблизно вдвічі (цю помилку я свого часу зловив на перших звітах і більше так не роблю).

Правило друге: спочатку виміряй шум

Головний прийом дослідження — контрольний рівень шуму. Я беру множину клінік, названих мовою X, і множину, названих англійською, і міряю перетин (Жаккар). А потім — і це та частина, яку пропускає більшість порівнянь, — міряю, наскільки мова перетинається сама з собою, якщо просто спитати ще раз за годину.

Друге число ніколи не 100%. У Вільнюсі литовською о 09:30 і об 11:00 системи назвали Tavo dantistas, SSKC та Implantų centras — а за годину Fi Clinica і Neodenta з’явилися нізвідки. Нічого не перефразовували, нічого не перекладали: ~15% складу «ротується» між ідентичними запитами. Будь-яке чесне читання цієї категорії починається звідси: список, що змінюється між двома однаковими запитами, нічого не доводить, доки невідомо, наскільки він змінюється, коли не змінюється нічого.

Результати (перетин множин, обидва стовпці пораховано однаково — попарно між прогонами):

РинокТа сама мова, інший прохідМісцева мова проти англійської
Київ87%70%
Варшава78%52%
Вільнюс85%73%

В усіх трьох ринках міжмовний перетин нижчий за внутрішньомовний. Три мови, три різні популяції клінік, один напрям. Зауважу одразу: порівнювати три розриви між собою не можна — розміри кастів різні (48 клінік у Києві, 113 у Варшаві, 60 у Вільнюсі), а ця метрика падає зі зростанням касту з обох боків.

Механізм: ефект подорожує разом із пошуком

Розбиття за системами показало, звідки береться ефект. ChatGPT без пошуку — жодного мовного ефекту на жодному ринку: +1, +1 і +4 пункти, всі три інтервали перетинають нуль (перевірено бутстрепом: 2 000 перерахунків з тих самих 20 запитань). А три системи, що перед відповіддю читають веб, показують ефект скрізь.

Окремо я перевірив, чи не тягне результат одне випадкове запитання: 2 000 разів перерахував розрив на випадкових підвибірках з моїх же 20 запитань (якісь пораховано двічі, якісь пропущено). Смуга покриває середні 95% цих перерахунків. Двадцять запитань — це мало, і саме тому смуга, а не точка: де вона цілком вище нуля, жодне окреме запитання результат не тягне.

Це найсильніше твердження, яке підтримують дані: мовний ефект подорожує разом із пошуком. Модель, що відповідає з власних ваг, видає приблизно ті самі клініки будь-якою мовою. Модель, що йде читати веб, видає різні — бо веб різний кожною мовою.

Окремий рядок — Google AI Overview, який часто взагалі відмовляється відповідати. У Вільнюсі огляд з’явився для 58% запитань литовською і лише 20% тих самих запитань англійською. Тобто англійською змінювався не список клінік, а сам факт відповіді. Через це для Overview я не публікую міжмовний розрив узагалі: у Вільнюсі мови поділяють лише три запитання з відповіддю, і порівняння було б порівнянням різних запитань.

Курація — це гейт, а не косметика

Перед підрахунком треба вирішити, що вважати «тим самим» бізнесом, і це судження змінює число. Литовські відповіді називають Dantų harmonija; англійські — про той самий бізнес на тій самій вулиці — кажуть Dental Harmony. Вважай їх одним бізнесом — і мови згодні. Вважай двома — і отримаєш дві розбіжності з одного перекладеного імені. Друге правило роздуває саме той розрив, заради якого існує дослідження.

Тому я порахував Вільнюс обома способами на тих самих 600 відповідях і опублікував менше число. Третина «сирого» розриву була артефактом перекладу назви самим рушієм. Київська курація коштувала близько половини заголовного числа — тому чесне твердження для Києва це діапазон, а не точка.

Те саме з не-бізнесами: процес видобутку назв з відповідей підкидає речі, схожі на клініки. Ordoline — бренд елайнерів поруч з Invisalign. Pincetas — платформа відгуків, згадана у 21 відповіді. У Варшаві за тим самим правилом вилетіли Modern Dental, Right Clinic і Dental Bridge (процедура, коли одне з 20 запитань — про імпланти проти мостів).

Як повторити це самостійно

Рецепт відтворюється за вечір, і саме тому я його описую: перевірити чужий «рейтинг в ШІ» має вміти кожен.

  1. Напишіть 10–20 запитань так, як їх пише покупець, мовою ринку. Жодне не повинно містити назву бізнесу — інакше ви вимірюєте власний бренд, а не ринок.
  2. Поставте кожне запитання двічі з перервою хоча б у годину. Порахуйте перетин множин названих бізнесів між двома проходами — це ваш шум. Якщо він 80%, то будь-який результат нижче 80% у подальших порівняннях — це той самий шум.
  3. Тепер поставте ті самі запитання іншою мовою і порахуйте міжмовний перетин тим самим способом. Ефект є, лише якщо він відчутно нижчий за шум.
  4. Вручну почистіть каст: викиньте не-бізнеси, злийте перекладені назви. Порахуйте обома способами і опублікуйте менше число.
  5. Повторюйте вимірювання, а не запитання: одне опитування — це знімок, тренд видно з другого прогону.

Якщо після кроку 3 різниці з шумом немає — у вас немає знахідки, і це теж результат. Саме так у моїх даних вийшло з ChatGPT без пошуку на всіх трьох ринках.

Обмеження — чесно

Це стоматології трьох міст, серпень 2026-го, не світовий рейтинг. Курація містить судження, і кожен ринок вимагав іншого правила — я виміряв ціну кожного і опублікував найменш вигідне для власної тези. Провайдерські API — не споживчі застосунки: те, що бачить людина у вікні ChatGPT, може відрізнятися. Шум масштабу днів і тижнів не вимірювався — мої шість проходів на ринок ішли в межах однієї сесії, і якщо довгострокова нестабільність більша, розриви звужуються.

Дані

Кожне число вище перераховується з файлів: рядок — це клініка в одній мові, на одному проході, з однієї системи, з кількістю відповідей, що її згадують, і знаменником доступних відповідей. 6 630 рядків, CC BY 4.0:

Висновок

«Позиція в ШІ» як одне число — це вигадка, доки поруч немає контрольного рівня шуму, отриманого тими самими запитаннями за годину. Коли шум виміряно, картина стає чесною і корисною: мова запиту змінює рекомендації там, де система шукає у вебі, і не змінює там, де відповідає з пам’яті. Тож якщо ви щось міряєте в цій категорії — міряйте мовою покупця, багатьма запитаннями, повторними прогонами і з відкритими даними. Інакше ви вимірюєте або не той ринок, або шум.

👍ПодобаєтьсяСподобалось3
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Дуже цінний підхід з контрольним рівнем шуму. Цікаво, чи плануєте повторити прогін через кілька тижнів, щоб побачити, наскільки розрив між мовами стабільний у часі, а не лише в межах однієї сесії?

Можливо, але поки не маю цього в планах. Якби дослідження викликало більший інтерес то зробив би це вже, а так поки відклав це на невизначений час.

Можно я зроблю саммарі, а ви його перевірите
1) якщо відповідь від AI береться з матеріалів на якій її вчили, мова не має значення
2) якщо AI доводиться шукати інформацію в інтернеті, то мова запиту має роль і впливає на результат

я правильний висновок зробив?

Текст писав ШІ, з типовими маркерами.

Писав я, ШІ як асистент для виправлень і рев’ю. Цікаве в дослідженні не те, хто писав, а те, що дані реальні і висновки перевіряються.

Скажіть, будь-ласка, що до типових маркерів ви віднесли не довгі тире

ви страшна людина
ААААА!!