Product manager в Preply
  • А/Б-тесты: как работать с типичными ошибками на старте

    К сожалению пока таких не встречал.

  • А/Б-тесты: как работать с типичными ошибками на старте

    Я лишь пример привёл. Я не неправ не «в корне», а лишь с вашей точки зрения. Если ПРОДАВАТЬ услугу тестирования — то да, я не прав, так я слона не продам :)

    Хорошо. «С моей точки зрения», А/Б тест — это метод статистической проверки, и дальше уже по определению это лишь опровержение нулевой гипотезы. Всё остальное — это как и зачем его использовать.

    Абстрактный пример про AIDA звучит хорошо, но не убедительно, потому что вопрос в деталях: цели, ожидания, гипотеза, трафик, метрики, сама воронка и много чего другого.

    Лично мне, это звучит как «а вот молоток плох в забивании шурупов...». Ну да, наверное молоток не самый лучший инструмент, да и к задаче «забивание шурупов» есть вопросы...

  • А/Б-тесты: как работать с типичными ошибками на старте

    Я бы не оценивал эксперименты других компаний. Просто потому что мы не знаем целей и условий.

    Что цель эксперимента — поиск источников зависимостей, а не просто удачного варианта.

    Здесь вы в корне не правы. Цель эксперимента именно в опровержении нулевой гипотезы, т.е. подтверждении, что связь между двумя событиями (изменение в варианте Б и изменение целевой метрики) есть.

    И гипотеза должна быть подкреплена теорией

    Я бы сказал желательно подкреплена, чем должна. Это поможет увеличить шансы успеха в эксперименте.

  • А/Б-тесты: как работать с типичными ошибками на старте

    Багато чого різного є. На яке питання хотіли б знайти відповідь?

    Хоча... є книга яку я рекомендую для оптимізації конверсії більше ніж для А/Б тестування, але там є розділ про тести и дуже гарно показана роль тестів як частини процессу.

    «Добавьте в корзину. Ключевые принципы повышения конверсии веб-сайта» (978-5-91657-193-6) Дуже давно не зустрічав книгу в наявності, но бачив в Інтернеті можна скачати.

  • А/Б-тесты: как работать с типичными ошибками на старте

    Я правильно прочитал, что баги на Проме за последний год, вы относите на А/Б тесты?

  • А/Б-тесты: как работать с типичными ошибками на старте

    Простите, почему он дорог? Очевидно, что инструмент имеет стоимость, но почему дорог, а не дёшев, или приемлемая цена?

  • А/Б-тесты: как работать с типичными ошибками на старте

    Да, так и есть (скорее всего так и будет). Это решается на уровне гипотез: хотим ли мы тестировать что-то для детей в момент сезона «скоро в школу». Если хотим, то зачем? Какова гипотеза и т.д.

  • А/Б-тесты: как работать с типичными ошибками на старте

    Что вы подразумеваете под метаданными в этом конкретном случае и почему без них тесты дадут результат близкий к случайному?

  • А/Б-тесты: как работать с типичными ошибками на старте

    > что есть некий волшебный способ угадать, какая половина результатов полезна, а какая — неверна.
    К сожалению, это правда, волшебного способа угадать нет. Потому и приходится тестировать. Если бы, да кабы, да такой волшебный метод существовал, то в А/Б тестировании не было бы никакой необходимости.

    > И что ещё опаснее, они не тестируют зависимость во времени, когда одно и то же воздействие оказывается одновременно и вредным, и полезным.
    Это зависит исключительно от дизайна самого эксперимента.

    > Пример: с точки зрения А/Б тестирования, героин — лучшее средство от простуды.
    Да, можно спроектировать тест так, что это окажется правдой. А можно спроектировать иначе. Как ответ зависит от вопроса, так же и результат теста зависит от гипотезы.