PREMIUM

Template per Disegno di un A/B Test

Per product manager, growth e analyst che devono lanciare un A/B test difendibile e non un esperimento improvvisato: questo prompt produce il documento di disegno completo, dalla ipotesi falsificabile ai criteri di interruzione, con la logica per stimare la dimensione del campione.

#ab-test #esperimento #statistica #ipotesi #conversione

Scarica il template Gratis con la registrazione Compila con i tuoi dati

Esempio di output

## 1. Contesto e ipotesi
- Problema: il CTA della pricing page converte poco.
- Ipotesi (H1): cambiare la copy del CTA da 'Inizia' a 'Prova gratis 14 giorni' aumenta il click-through.
- H0: nessuna differenza di CTR tra varianti.

## 2. Metrica primaria e secondarie
| Tipo | Metrica | Definizione |
|---|---|---|
| Primaria | CTR sul CTA | click CTA / visite pagina |
| Secondaria | tasso di signup | signup / visite |
| Guardrail | rimborsi 30g | non deve aumentare |

## 3. Varianti
| Variante | Descrizione | Allocazione |
|---|---|---|
| Control (A) | copy attuale 'Inizia' | 50% |
| Treatment (B) | copy 'Prova gratis 14 giorni' | 50% |

## 4. Parametri statistici
| Parametro | Valore | Note |
|---|---|---|
| Tasso base (control) | ~8% | da storico, indicativo |
| MDE | +1 pt assoluto | effetto minimo utile |
| Significatività alfa | 0.05 | due code |
| Potenza 1-beta | 0.80 | |

## 5. Dimensione campione e durata
- Formula (proporzioni): n per variante stimato con il test z a due proporzioni.
- Stima indicativa: ~Xk utenti/variante -> con ~Y visite/giorno, durata ~Z giorni (validare con calcolatore).

## 6. Criteri di stop
- Durata minima: 14 giorni interi (coprire il ciclo settimanale).
- Stop anticipato SOLO se un guardrail peggiora oltre soglia.
- VIETATO interrompere al primo p<0.05.

## 7. Piano di analisi
- Test z a due proporzioni sulla primaria; intervallo di confidenza 95%.
- Decisione: rilascio B se IC dell'effetto è interamente > 0 e guardrail ok.

Domande frequenti

Il prompt calcola la dimensione del campione?

Imposta correttamente il calcolo: ti chiede o assume tasso base, effetto minimo rilevabile (MDE), livello di significatività e potenza, poi mostra la formula e una stima indicativa, segnalando chiaramente che il numero va validato con un calcolatore di potenza. Non spaccia una stima per un calcolo esatto sui tuoi dati reali.

Come evita il problema del 'peeking' e degli stop anticipati?

Il documento include una sezione dedicata ai criteri di stop, distinguendo la durata minima prefissata dagli stop legittimi (per danno evidente sui guardrail) e vietando esplicitamente l'interruzione opportunistica al primo risultato significativo, che gonfia i falsi positivi.

Posso usarlo anche per test non sul tasso di conversione?

Sì. La metrica primaria può essere una proporzione, una media (es. valore medio ordine, tempo sul task) o un conteggio: il prompt adatta la formulazione dell'ipotesi e la logica di campionamento al tipo di metrica che indichi.

Vuoi un template su misura?

Costruiscine uno in poche domande — con la struttura corretta per il tuo standard.

Crea il tuo template