01Arti A/B testing: kontrol, varian, dan satu variabel
Huruf A dan B adalah nama dua versi. Versi A biasanya yang sedang berjalan dan disebut kontrol. Versi B sama persis kecuali satu hal yang ingin Anda uji, dan disebut varian. Karena hanya satu hal yang berbeda, selisih hasil bisa dikaitkan ke perubahan itu. Bila judul, gambar, dan harga diganti bersamaan, Anda tahu versi mana yang menang tetapi tidak tahu sebabnya.
| Istilah | Artinya | Contoh |
|---|---|---|
| Kontrol (versi A) | Versi yang sedang berjalan dan menjadi pembanding. | Ad set dengan audiens berbasis minat yang selama ini dipakai. |
| Varian (versi B) | Salinan kontrol yang diubah di satu hal saja. | Ad set yang sama, tetapi audiensnya lookalike dari daftar pembeli. |
| Variabel | Hal yang dibedakan antara kontrol dan varian. Semua hal lain dibuat sama. | Audiens. Materi iklan, budget, dan jadwal kedua ad set sama. |
| Ukuran pemenang | Satu angka yang ditetapkan sebelum tes dimulai dan tidak diganti setelah hasil keluar. | Biaya per closing untuk tes iklan, atau conversion rate untuk tes halaman. |
| Signifikan secara statistik | Selisih hasil cukup besar dibanding jumlah datanya, sehingga kecil kemungkinan muncul karena kebetulan. | Meta menyebutnya persentase keyakinan, yaitu peluang hasil serupa muncul bila tes diulang. Google Ads menandai hasil experiment yang signifikan secara statistik dengan tanda bintang biru. |
A/B testing berbeda dari membandingkan bulan ini dengan bulan lalu. Perbandingan sebelum dan sesudah mencampur efek perubahan dengan semua hal lain yang ikut berubah di antara dua periode, misalnya musim, harga pesaing, atau hari gajian. A/B testing paling sering dibahas dalam CRO untuk menguji halaman, tetapi audiens iklan, penempatan, dan pesan awal chat juga bisa diuji dengan cara ini.
02A/B testing di Meta Ads dan Google Ads
Di Meta Ads Manager, fiturnya bernama A/B test. Menurut halaman About A/B testing dari Meta, tiap versi ditayangkan ke segmen audiens yang berbeda dan Meta memastikan tidak ada orang yang melihat keduanya. Meta mendaftar empat jenis variabel, yaitu creative, audience, placements, dan custom. Variabel custom mengubah beberapa hal sekaligus, jadi hasilnya menunjukkan strategi mana yang menang, bukan perubahan mana yang bekerja. Dynamic creative bukan A/B test, karena fitur itu menggabungkan beberapa gambar dan teks menjadi banyak variasi dan melaporkan performa gabungannya.
Di Google Ads, padanannya adalah custom experiment. Menurut halaman Set up a custom experiment, versi uji dibuat dari campaign asli dan berbagi traffic serta budget dengannya, dan fitur ini hanya tersedia untuk campaign Search, Display, Video, dan Hotel. Di Display, pembagiannya selalu berdasarkan cookie, sehingga satu pengguna hanya melihat satu versi.
Langkah membuat tes di kedua platform, lama tes yang disarankan, cara platform memilih pemenang, dan cara menghitung budget tes dibahas di artikel A/B testing iklan.
03Di alur iklan ke WhatsApp
Untuk bisnis yang menjual lewat WhatsApp, hasil yang dipilih saat membuat tes biasanya klik tautan atau percakapan yang dimulai, karena angka itu yang paling cepat terkumpul. Versi yang menang di ukuran itu belum tentu menang di penjualan. Iklan dengan janji paling murah bisa mendatangkan chat paling banyak dari penanya yang hanya membandingkan harga. Karena itu baca pemenang dua kali, sekali menurut platform dan sekali menurut closing dan omzet dari chat tiap versi.
Dalekta tidak membuat tes, tidak membagi audiens, dan tidak memilih pemenang. Dalekta mencatat tiap lead dari chat pertama sampai Closing beserta nilai closing-nya, lalu Campaign Report menampilkannya per campaign, ad set, dan iklan. Bila Meta Ads terhubung di Tracking → Ad Connections dan akun iklannya dipilih, Spend dibaca per campaign dan per ad set yang ID-nya cocok. Spend per iklan belum tersedia, dan biaya Google Ads tidak dibaca. Jadi biaya per closing tiap versi paling mudah dibaca bila tiap versi punya campaign atau ad set Meta sendiri, misalnya pada tes audiens.
Agar lead tiap versi masuk ke barisnya sendiri, iklan ke landing page perlu membawa template parameter dari URL Parameter Meta Ads. Lead iklan Click to WhatsApp baru punya nama campaign dan ad set bila Meta Ads terhubung dan akun iklannya dipilih.
| Angka (rekaan) | Ad set A: audiens minat | Ad set B: lookalike pembeli |
|---|---|---|
| Spend | Rp 3.000.000 | Rp 3.000.000 |
| 150 | 100 | |
| Spend ÷ WhatsApp | Rp 20.000 | Rp 30.000 |
| Closing | 4 | 9 |
| Revenue | Rp 4.800.000 | Rp 10.800.000 |
| Spend ÷ Closing | Rp 750.000 | sekitar Rp 333.000 |
Bila tes dinilai dari biaya per chat, ad set A menang karena tiap chat Rp 10.000 lebih murah. Dibaca sampai Closing, ad set B menghasilkan 9 closing dan Rp 10.800.000 dari spend yang sama, dengan biaya per closing kurang dari separuh ad set A. Closing rate ad set B juga lebih tinggi, 9 dari 100 chat dibanding 4 dari 150. Jumlah closing sekecil 4 dan 9 belum cukup untuk memastikan selisihnya bukan kebetulan, jadi anggap hasil ini petunjuk, bukan kesimpulan.
04Sumber resmi, dibaca 20 Oktober 2026
Keterangan tentang Meta dan Google Ads di halaman ini diambil dari halaman berikut. Fitur dan nama menu bisa berubah, jadi cek halaman aslinya sebelum membuat tes.
05Kesalahan yang sering terjadi
- Menyebut perbandingan bulan ini dengan bulan lalu sebagai A/B test. Di antara dua periode banyak hal ikut berubah, jadi selisihnya tidak bisa dikaitkan ke satu perubahan.
- Mengganti materi dan audiens sekaligus di versi B lalu menyimpulkan satu penyebab. Tes seperti itu sama dengan variabel custom di Meta, yang hanya menunjukkan strategi mana yang menang.
- Menganggap dynamic creative sebagai A/B test. Dynamic creative melaporkan performa gabungan semua variasi, jadi tidak memberi jawaban versi A atau versi B.
- Menilai pemenang hanya dari ukuran yang dipilih di platform, misalnya biaya per chat, padahal penjualan terjadi di WhatsApp. Versi dengan chat termurah belum tentu membawa closing terbanyak.
06Pertanyaan umum
Apa bedanya A/B testing dan split test?
Tidak ada bedanya. Keduanya berarti membagi orang ke dua versi atau lebih yang hanya berbeda di satu hal, lalu membandingkan hasilnya. Meta memakai nama A/B test di Ads Manager, walau beberapa halaman bantuannya masih menulis split testing. Google Ads menyebut fitur sejenis experiment, yang membagi traffic campaign ke versi asli dan versi uji.
Apa bedanya A/B testing dan multivariate testing?
A/B testing membandingkan versi yang hanya berbeda di satu hal. Multivariate testing mengubah beberapa elemen sekaligus, misalnya tiga judul dan dua gambar, sehingga ada enam kombinasi yang dibandingkan bersamaan. Tiap kombinasi butuh cukup data, jadi traffic dan budget yang dibutuhkan jauh lebih besar. Untuk iklan dengan budget terbatas, A/B test satu variabel lebih cepat memberi jawaban yang bisa dipakai.
Apakah Dalekta bisa menjalankan A/B test?
Tidak. Tes dibuat dan dibagi oleh Meta Ads Manager atau Google Ads. Dalekta mencatat lead tiap versi dari chat pertama sampai Closing dan Revenue, lalu Campaign Report menampilkannya per campaign, ad set, dan iklan. Spend dari Meta tersedia per campaign dan per ad set bila Meta Ads terhubung dan akun iklannya dipilih, jadi biaya per closing tiap versi paling mudah dibaca bila tiap versi punya ad set atau campaign sendiri.