К сожалению пока таких не встречал.
Я лишь пример привёл. Я не неправ не «в корне», а лишь с вашей точки зрения. Если ПРОДАВАТЬ услугу тестирования — то да, я не прав, так я слона не продам :)
Хорошо. «С моей точки зрения», А/Б тест — это метод статистической проверки, и дальше уже по определению это лишь опровержение нулевой гипотезы. Всё остальное — это как и зачем его использовать.
Абстрактный пример про AIDA звучит хорошо, но не убедительно, потому что вопрос в деталях: цели, ожидания, гипотеза, трафик, метрики, сама воронка и много чего другого.
Лично мне, это звучит как «а вот молоток плох в забивании шурупов...». Ну да, наверное молоток не самый лучший инструмент, да и к задаче «забивание шурупов» есть вопросы...
Я бы не оценивал эксперименты других компаний. Просто потому что мы не знаем целей и условий.
Что цель эксперимента — поиск источников зависимостей, а не просто удачного варианта.
Здесь вы в корне не правы. Цель эксперимента именно в опровержении нулевой гипотезы, т.е. подтверждении, что связь между двумя событиями (изменение в варианте Б и изменение целевой метрики) есть.
И гипотеза должна быть подкреплена теорией
Я бы сказал желательно подкреплена, чем должна. Это поможет увеличить шансы успеха в эксперименте.
Багато чого різного є. На яке питання хотіли б знайти відповідь?
Хоча... є книга яку я рекомендую для оптимізації конверсії більше ніж для А/Б тестування, але там є розділ про тести и дуже гарно показана роль тестів як частини процессу.
«Добавьте в корзину. Ключевые принципы повышения конверсии веб-сайта» (978-5-91657-193-6) Дуже давно не зустрічав книгу в наявності, но бачив в Інтернеті можна скачати.
Я правильно прочитал, что баги на Проме за последний год, вы относите на А/Б тесты?
Простите, почему он дорог? Очевидно, что инструмент имеет стоимость, но почему дорог, а не дёшев, или приемлемая цена?
Да, так и есть (скорее всего так и будет). Это решается на уровне гипотез: хотим ли мы тестировать что-то для детей в момент сезона «скоро в школу». Если хотим, то зачем? Какова гипотеза и т.д.
Что вы подразумеваете под метаданными в этом конкретном случае и почему без них тесты дадут результат близкий к случайному?
> что есть некий волшебный способ угадать, какая половина результатов полезна, а какая — неверна.
К сожалению, это правда, волшебного способа угадать нет. Потому и приходится тестировать. Если бы, да кабы, да такой волшебный метод существовал, то в А/Б тестировании не было бы никакой необходимости.
> И что ещё опаснее, они не тестируют зависимость во времени, когда одно и то же воздействие оказывается одновременно и вредным, и полезным.
Это зависит исключительно от дизайна самого эксперимента.
> Пример: с точки зрения А/Б тестирования, героин — лучшее средство от простуды.
Да, можно спроектировать тест так, что это окажется правдой. А можно спроектировать иначе. Как ответ зависит от вопроса, так же и результат теста зависит от гипотезы.
Дякую, що ділитися досвідом, Paul
Підкажіть, чи є кейси, коли ментор не підтримує відповідь ШІ? Скільки % таких відповідей?