Sample ratio mismatch
SRM
Pembagian pengguna antar varian eksperimen yang tidak sesuai rencana, tanda ada masalah teknis.
Cara menyuruh agent
✕ Kurang tepat
“Datanya aman buat dibandingin?”
✓ Lebih tepat
“Cek sample ratio mismatch: uji chi-square jumlah pengguna control vs treatment terhadap rencana 50/50.”
SRM bisa membatalkan seluruh hasil eksperimen; perlu dicek sebelum membaca lift.
Yang perlu dicek di jawaban agent
SRM dicek sebelum hasil eksperimen ditafsirkan.
Istilah terkait
Latih istilah seperti ini bersama agent sungguhan
Setiap kasus berisi data nyata yang berantakan, permintaan bos, dan agent yang hanya bekerja sebaik instruksimu.
Lihat kasus