Az satışla reklam testi: Ne zaman durmalı, ne zaman beklemeli?

Sekiz satış, beş satıştan iyi mi?

Bir reklam sekiz, diğeri beş satış getirdi. İlk bakışta kazanan belli gibi görünüyor. Peki ilk reklam iki kat fazla kişiye gösterildiyse? Daha fazla harcadıysa? İkinci reklam dün başladıysa ve siparişlerin bir kısmı henüz tamamlanmadıysa? Satış sayısını tek başına okumak, bu soruları görünmez bırakır.

Az veriyle çalışırken amaç her akşam bir kazanan seçmek değildir. Hangi sonuca güvenebileceğini, hangi kararı henüz veremeyeceğini ve daha fazla bilgi için ne kadar harcamayı göze aldığını belirlemektir. Küçük işletmenin bütçesi sınırsız olmadığı için “Biraz daha bekleyelim” de gerekçesi olan bir karar olmalıdır.

Bu rehberde dört sonuç kullanacağız: koşulları koruyarak devam etmek, deneyi yeniden düzenlemek, harcamayı durdurmak ve performans kararı vermeyi ertelemek. Bunların hiçbiri tek bir satış eşiğinden otomatik olarak çıkmaz.

Önce paydanı ve başarı koşulunu seç

Bir dönüşüm oranının payında başarılı birim, paydasında sonucu değerlendirilen uygun birim bulunmalı. Tek kişinin birden çok ziyaretini, sipariş adetlerini ve reklam tıklamalarını fark etmeden karıştırırsan oran anlamını değiştirir. “Satın alan benzersiz kişi / uygun benzersiz kişi” ile “sipariş / oturum” aynı ölçü değildir.

Bu sayfadaki belirsizlik hesabı için her birimin iki olası sonucu olduğunu varsayıyoruz: tanımlanan süre içinde satın aldı veya almadı. Her birim bir kez sayılıyor; birimler bağımsız ve aynı koşullarda değerlendirilmiş kabul ediliyor. Bir kişinin birden fazla siparişini başarı sayısına ekleyip paydada kişiyi bir kez tutma. Bu durumda farklı bir ölçü ve uygun yöntem gerekir.

Paydanın tanımını önce yaz. Sonra test grubuna nasıl girildiğini, hangi ziyaret veya kişilerin dışlandığını ve aynı kişinin iki gruba girip giremediğini kontrol et. Platformun gösterim, erişim veya dönüşüm tahminini bu örnekteki bağımsız deney birimi gibi kabul etme.

Aynı örneği maliyetle birlikte oku

Aşağıdaki sayılar sentetik eğitim örneğidir; gerçek reklam sonucu değildir. A ve B için aynı gözlem süresi tamamlanmış olsun. Hesabı göstermek amacıyla birim başına en fazla bir satın alma ve bağımsız ikili gözlemler varsayılıyor. Tutarlar TL; ürün marjı bu tabloda yer almıyor.

B’nin gözlenen oranı daha yüksek: 5 / 200 = %2,5. A’nın gözlenen maliyeti daha düşük: 1.600 / 8 = 200 TL. İkisi çelişmiyor; B’de uygun birime ulaşmanın maliyeti de farklı. “En iyi reklam” demeden önce işletmenin hangi sonucu ve hangi maliyet kapsamını önemsediğini belirle.

Oran farkı 0,5 yüzde puanı; göreli oran farkı %25’tir. Bunları birbirinin yerine yazma. Henüz ürün bedeli, iade ve siparişin değişken maliyeti bilinmediği için bu tablodan daha kârlı reklamı da seçemeyiz. Sayılar, bir sonraki soruyu belirlememize yardımcı olur.

Belirsizliği tek bir noktaya sıkıştırma

Örnek oranların yanında %95 Wilson aralığı gösterebiliriz. NIST’in oran aralığı açıklaması bu yöntemi tanımlar. Burada z = 1,95996398454, p = x/n; merkez = (p + z²/2n)/(1 + z²/n), yarı genişlik = z√(p(1−p)/n + z²/4n²)/(1 + z²/n). Alt ve üst sınırlar merkezden yarı genişlik çıkarılıp eklenerek hesaplanır.

Bu aralıklar her grubun oranını, belirtilen varsayımlar altında özetler. A’nın B’den iyi olma olasılığını vermez. İki aralığın örtüşmesi veya örtüşmemesi de bu araçta bir fark testi olarak kullanılmaz. Sıfır satış gözlenmesi, gerçek olasılığın kesinlikle sıfır olduğunu göstermez; aynı şekilde bir aralık, eksik veya yanlı veriyi düzeltmez.

Hesaplayıcıya x için satın alan birim sayısını, n için uygun toplam birimi gir. İkisi de tam sayı olmalı; n pozitif ve x, n’den büyük olmamalı. Eksik payda, sıfır payda veya aynı birimden tekrarlı sonuç varsa önce ölçünün uygunluğunu çöz. Araç bu girdilerden otomatik kazanan üretmez.

Reklam dağılımı ile rastgele deney aynı şey değildir

Reklamların aynı anda yayında olması, karşılaştırılan kişilerin rastgele atanmış olduğu anlamına gelmez. Farklı teklif, kitle, yerleşim, cihaz, gün veya dağıtım kararı sonuçlara karışabilir. NIST’in rastgele deney tanımı deney koşullarının birimlere rastgele atanmasını gerektirir. Bu özellik yoksa gözlenen farkı kreatifin tek başına etkisi diye yazma.

Elindeki veri yalnız gözlemselse yine işine yarar: Maliyeti takip edebilir, ölçüm hatalarını bulabilir, uygulanabilir bir sonraki hipotez kurabilirsin. Fakat belirsizlik aralığını koyduğun anda bu kayıt nedensel deney haline gelmez. Örneklem seçiminin yanlılığı, hesaplanan dar bir aralıktan daha önemli olabilir.

Gerçek bir A/B deneyi yapacaksan atama birimini, grupların birbirini etkileyip etkilemediğini, birden çok varyantı ve değerlendirme yöntemini başlamadan belirle. Platformun deney özelliği kullanılıyorsa ilgili deney türünün güncel koşullarını ayrıca incele; bu sayfanın örneğini her platforma aynı biçimde taşıma.

Sonuçlara sürekli bakmakla sürekli karar değiştirmek farklıdır

Ödeme hatası veya yanlış teklif için kampanyayı izlemek gerekir. Ancak her yeni satışta aynı sabit örneklem testini çalıştırıp ilk olumlu anda “kazandı” demek farklı bir işlemdir. Johari ve çalışma arkadaşlarının sürekli izleme araştırması sonuçlara bağlı durdurmanın uygun bir ardışık çıkarım yöntemi gerektirdiğini gösterir. Standart bir aralık, bu şekilde tekrar kullanıldığında otomatik olarak geçerliliğini korumaz.

Uygulanabilir iki yol var: Karşılaştırma zamanını ve yeterlilik koşullarını önceden belirleyip o plana uymak veya sürekli değerlendirmeye uygun, doğrulanmış bir yöntem kullanmak. Her ikisinde de iş güvenliği ve harcama sınırını ayrı tut. Teknik hata yüzünden durdurulan testin nedenini performans galibiyeti gibi yeniden adlandırma.

Sonuç iyi görünürken erken bitirip kötü görünürken süreyi uzatmak, rapora seçiminin etkisini taşır. İnceleme takvimini değiştirmek gerekiyorsa değişikliğin tarihini ve nedenini yaz; ilk planı silme.

Geciken satışlar ve bütçe sınırı için iki ayrı kontrol yap

Bir grup için satışların tamamlanmasına daha çok zaman tanıyıp diğer grubu erken değerlendirme. Google Ads’in dönüşüm gecikmesi belgesi yakın dönem sonuçlarında sonradan gelen dönüşümler bulunabileceğini açıklıyor. Kendi işinde tıklamadan siparişe, siparişten ödemeye ve iadeye kadar geçen süreleri ayrı düşün; tek bir “gün sayısı” bütün bu süreçleri temsil etmez.

Veri henüz tamamlanmadığında bir karar “Sonuç bekleniyor” olabilir. Bununla birlikte işletmenin belirlediği harcama sınırına ulaşıldıysa daha fazla harcamayı durdurabilirsin. Raporuna “Bütçe sınırı nedeniyle durdu; karşılaştırma için yeterli kanıt yok” yaz. Bu hem dürüst hem uygulanabilir bir sonuçtur.

Hangi örneklem büyüklüğünün yeterli olduğu, görmek istediğin fark ve kabul ettiğin belirsizlikle ilgilidir. NIST’in örneklem planlama açıklaması kesinlik ihtiyacı ile kaynak kısıtını birlikte ele alır. Her reklama uygulanabilecek evrensel bir satış sayısı bu yöntemden çıkmaz.

Dört karardan birini seç ve gerekçesini yaz

Devam kararında yalnız “Biraz daha veri” yazma. Hangi belirsizliği azaltmayı bekliyorsun? Ek harcama hangi soruyu cevaplayacak? Önümüzdeki dönem farklı bir kampanya veya sezon koşuluna giriyorsa aynı karşılaştırmayı sürdürmek mümkün mü? Bu sorulara cevap veremiyorsan küçük bir test, uzun bir belirsizliğe dönüşebilir.

Çalışma dosyası varyant, uygun birim, başarı sayısı, harcama, atama yöntemi, sonuç olgunluğu ve bir sonraki karar sütunlarını içerir. Örnek satırları kendi değerlerinle değiştirmeden önce tanımları eşleştir. Hesabın sonucu kadar hesabın uygun olup olmadığı da kararının parçası olsun.