Ringkasan Buku The Lean Startup oleh Eric Ries (6)

Artikel ini merupakan kelanjutan dari pembahasan tentang metode pengukuran atau pengujian dari hasil penawaran MPV. Bagian ini juga merupakan penjabaran prinsip akuntansi inovasi, yaitu menghitung sampai sejauh mana inovasi yang ditawarkan diterima pasar.

Pada bagian ini ditunjukkan beberapa contoh metode perhitungan metriks.

Cara mengukur kemajuan salah satunya adalah menggunakan analisis Cohort. Cohort merupakan sekelompok data dengan karakteristik yang sama dalam kurun waktu tertentu. Berikut adalah contoh data kunjungan dan registrasi sebuah platform website dalam 3 hari yang dianalisa dengan menggunakan analisis Cohort. Pada data ini disertakan data metriks yang bagus (diwakili data persentase Tingkat Pendaftaran) dan metriks yang menipu (diwakili data Total Pendaftaran)

• Cohort 1 (Dikunjungi Rabu): Tingkat Pendaftaran: 2%; Total Pendaftaran: 100
• Cohort 2 (Dikunjungi Kamis): Tingkat Pendaftaran: 3%; Total Pendaftaran: 90
• Cohort 3 (Dikunjungi Jumat): Tingkat Pendaftaran: 9%; Total Pendaftaran: 110

Seperti yang Anda lihat, ketika dilakukan perubahan pada platform di hari Jumat tampaknya berhasil, dengan tingkat pendaftaran meningkat dari 3% menjadi 9%, relatif lebih banyak daripada saat ditampilkan platform versi rabu atau versi kamis. Jika Anda melihat metrik yang menipu, yaitu total pendaftaran,, Anda tidak akan dapat melihat peningkatan ini.

Bila dilihat keseluruhan, di antara Anda mungkin ada yang melihat masalah potensial dengan pengujian Cohort sederhana, mungkin ada sesuatu yang istimewa pada hari Jumat yang membuat persentase orang yang mendaftar lebih tinggi daripada pada hari Rabu atau Kamis. Dengan kata lain, mungkin terdapat bias data, terdapat variabel lain yang mempengaruhi kejadian di hari jumat.

Untuk mengatasi masalah ini, kita dapat menggunakan apa yang disebut pengujian A/B. Pengujian A/B, juga dikenal sebagai pengujian terpisah atau A/B testing, pada dasarnya adalah eksperimen di mana Anda menunjukkan kepada pengguna dua atau lebih versi halaman atau fitur produk secara acak selama periode waktu yang sama.

Keuntungan besar dari pengujian A/B adalah memunculkan data kuantitatif apakah metrik yang dijadikan acuan benar-benar meningkat atau karena disebabkan faktor lain. Pengujian A/B akan membuat Anda dan tim berhenti berdebat tentang hal yang menyebabkan keberhasilan dan memungkinkan Anda mengetahui secara pasti faktor apa yang menyebabkan keberhasilan itu.

Bagaimana pengujian A/B dapat mengubah contoh sebelumnya:

• Tes A: Tingkat Pendaftaran: 2%; Total Pendaftaran: 40
• Tes B: Tingkat Pendaftaran: 6%; Total Pendaftaran: 120
• Tes C: Tingkat Pendaftaran: 4%; Total Pendaftaran: 80

Dalam contoh ini, Anda menjalankan semua versi platform (versi rabu – jumat) dalam beberapa hari yang sama, dengan pengguna secara acak dikirim ke salah satu dari tiga laman, sehingga semua eksperimen menerima jumlah pengguna yang sangat mirip. Seperti yang Anda lihat, ketika eksperimen dikontrol dengan cara ini, ternyata Tes B (versi kamis) adalah versi dengan kinerja terbaik. Artinya dalam eksperimen awal memang terdapat beberapa bias yang mempengaruhi junlah data pengguna yang mendaftar pada hari Jumat.

Sains bisa Anda temukan di balik lean startup dengan contoh penggunaan pengujian A/B. Ini adalah proses yang memungkinkan sebuah ide bagus mencapai kemenangan, bukan karena pengaruh politik pemilik ide, firasat, opini, tren pasar, dll.