А от сюда выходит что до 5% вероятность, что значение будет вне интервала (то что сказанно в статье)

Выходит немного другое: вероятность того, что интервал не покрыл реальное значение равна 5%. А вероятность того, что значение вне интервала либо 0, либо 1.

Загвоздка крылась в самом определении доверительного интервала, которое грубо звучит так: с вероятностью X реальное значение конверсии лежит в пределах [a;b], из этого следует, что с вероятностью до (1-Х) значение конверсии лежит вне интервала [a;b].

Достаточно грубо, что бы быть неправдой:) Реальное значение конверсии не есть случайной величиной, т.о. вероятностная интерпретация в данном случае не применима. Более того, реальная конверсия либо лежит в этом интервале, либо нет. Вероятность относится к самому интервалу: при повторных сэмплированиях 95% всех доверительных интервалов, построенных таким образом, будут содержать реальное значение конверсии.

Через некоторое время данных о конверсиях у нас стало уже более чем достаточно, и мы могли использовать эти данные, чтобы провести байесово А/B-тестирование.

Скорее наоборот, байесовская статистика помогает избежать сбора «нужного» количества данных и позволяет принимать разумные решение на малых выборках. Так же, она дает возможность ответить на вопрос «с какой вероятностью А лучше, чем В?». Качественные ресурсы на эту тематику: cdn2.hubspot.net/..._technical_whitepaper.pdf + блог автора статьи.

Так же, есть ряд решений, которые позволяют принимать решения быстрее, используя традиционную частотную статистику:
elem.com/...t1-rigorous.html#use-this
www.evanmiller.org/...equential-ab-testing.html