Eksperimen & statistik
A/B test, signifikansi, dan ukuran sampel.
A/B testEksperimen · Split test
Eksperimen yang membagi pengguna secara acak ke versi kontrol dan versi baru untuk mengukur dampak perubahan.
Lift
Perubahan relatif metrik grup treatment dibanding grup control.
Signifikansi statistikp-value
Ukuran seberapa mungkin perbedaan sebesar itu muncul hanya karena kebetulan, jika sebenarnya tidak ada efek.
Confidence intervalInterval kepercayaan · CI
Rentang nilai yang kemungkinan besar memuat efek sebenarnya.
MDE dan statistical powerMinimum Detectable Effect · Power
MDE adalah efek terkecil yang bisa dideteksi eksperimen dengan ukuran sampel tertentu; power adalah peluang mendeteksinya kalau efek itu memang ada.
Sample ratio mismatchSRM
Pembagian pengguna antar varian eksperimen yang tidak sesuai rencana, tanda ada masalah teknis.
Guardrail metric
Metrik yang tidak boleh memburuk saat eksperimen, meskipun metrik utama membaik.