Calculateur de test A/B

Un test A/B compare deux taux de conversion et demande si l’écart observé suffit à rejeter l’idée que les deux groupes partagent la même probabilité sous-jacente. Vous saisissez quatre effectifs non négatifs : visiteurs et conversions du bras témoin, visiteurs et conversions du bras variante. Ce calculateur exécute le test z classique à deux proportions : il forme chaque taux d’échantillon, regroupe les succès sous l’hypothèse nulle de taux égaux, construit l’erreur type de la différence et renvoie le score z avec une valeur p bilatérale de la loi normale centrée réduite.

Ce que le test z à deux proportions dit d’une expérience A/B

Une conversion est un résultat binaire : le visiteur a atteint l’objectif ou ne l’a pas atteint. Le taux de conversion du témoin est le nombre de conversions du témoin divisé par ses visiteurs. Le taux de la variante est le nombre de conversions de la variante divisé par ses visiteurs.

Sous l’hypothèse nulle que les deux bras partagent une même probabilité de succès inconnue, l’estimateur le plus efficace de cette probabilité commune est le taux regroupé : toutes les conversions des deux bras divisées par tous les visiteurs des deux bras. L’erreur type de la différence de taux suit alors la formule de manuel à deux proportions : la racine carrée du taux regroupé fois un moins ce taux fois la somme des inverses des tailles d’échantillon.

Le score z est la différence de taux observée, variante moins témoin, divisée par cette erreur type. Un z positif signifie que la variante a mieux converti que le témoin ; un z négatif, qu’elle a moins bien converti. La valeur p bilatérale est la probabilité, sous une normale centrée réduite, d’un z au moins aussi extrême dans l’une ou l’autre direction que celui observé.

Une petite valeur p est une preuve contre des taux égaux ; une grande valeur p signifie que l’écart est ordinaire vu les tailles d’échantillon. Ce point d’accès n’invente pas de valeurs p séquentielles toujours valides, n’ajuste pas le regard intermédiaire sur les données et ne calcule pas la taille d’échantillon requise : c’est le test classique regroupé de deux proportions binomiales indépendantes, écrit pour qu’un responsable produit, un étudiant et un script d’automatisation reçoivent les mêmes nombres à partir des quatre mêmes effectifs.

Où un calculateur de test A/B gagne sa place

Les équipes de croissance et les bureaux d’analytique produit ont besoin d’un calculateur de test A/B déterministe qui ne renvoie jamais NaN en silence lorsqu’on colle une ligne à zéro visiteur issue d’une cellule d’expérience vide. Les carnets de growth marketing s’appuient sur le test z à deux proportions pour résumer une expérience de page d’atterrissage ou de paiement avant de passer à un logiciel statistique complet pour CUPED, tests séquentiels ou ajustement par régression.

Les plateformes d’enseignement et les générateurs d’examens ont besoin d’un oracle qui marque les bras à zéro visiteur comme erreurs plutôt que comme charges utiles de succès vides qu’un correcteur défectueux pourrait traiter comme justes. Comme l’implémentation est parse pur de niveau A, chaque appel réussi est bon marché, rapide et reproductible sur les edge workers et les navigateurs.