Senior Machine Learning Engineer в DataRobot
  • Як влаштуватися на роботу під час карантину: FAANG-like в цифрах, $260k в Дубліні та офер на $120k у Києві

    Lyft, Kyiv / Remote. Total: $93k

    налог 20% ?

    Поддержал: Igor Golodnitsky
  • Немного про A/B-тестирование на проекте Jiji.ng

    А от сюда выходит что до 5% вероятность, что значение будет вне интервала (то что сказанно в статье)

    Выходит немного другое: вероятность того, что интервал не покрыл реальное значение равна 5%. А вероятность того, что значение вне интервала либо 0, либо 1.

  • Немного про A/B-тестирование на проекте Jiji.ng

    Загвоздка крылась в самом определении доверительного интервала, которое грубо звучит так: с вероятностью X реальное значение конверсии лежит в пределах [a;b], из этого следует, что с вероятностью до (1-Х) значение конверсии лежит вне интервала [a;b].

    Достаточно грубо, что бы быть неправдой:) Реальное значение конверсии не есть случайной величиной, т.о. вероятностная интерпретация в данном случае не применима. Более того, реальная конверсия либо лежит в этом интервале, либо нет. Вероятность относится к самому интервалу: при повторных сэмплированиях 95% всех доверительных интервалов, построенных таким образом, будут содержать реальное значение конверсии.

    Через некоторое время данных о конверсиях у нас стало уже более чем достаточно, и мы могли использовать эти данные, чтобы провести байесово А/B-тестирование.

    Скорее наоборот, байесовская статистика помогает избежать сбора «нужного» количества данных и позволяет принимать разумные решение на малых выборках. Так же, она дает возможность ответить на вопрос «с какой вероятностью А лучше, чем В?». Качественные ресурсы на эту тематику: cdn2.hubspot.net/..._technical_whitepaper.pdf + блог автора статьи.

    Так же, есть ряд решений, которые позволяют принимать решения быстрее, используя традиционную частотную статистику:
    elem.com/...t1-rigorous.html#use-this
    www.evanmiller.org/...equential-ab-testing.html

    Поддержали: Viktoria Repa, Igor Isupoff