Kendi skorlarımızın yaptığı dört hata ve her birini yakalayan ölçüm

Popülerlik ve zorluk tahmindir. Eylülde dağılımlarını olması gereken şekille karşılaştırdık ve dört hata bulduk. Sayılarıyla birlikte burada.

Neden yazıyoruz

Google Play arama hacmi de zorluk da yayımlamaz. Bizimki dahil her popülerlik ve zorluk skoru sinyallerden kurulur: autocomplete, sonuç sayfaları, zaten sıralanan uygulamalar. Bir tahmin gerçeğe karşı sınanamaz, çünkü gerçek yayımlanmıyor. Kendi şekline karşı sınanabilir: sinyallerin söylediği yönde mi hareket ediyor, ölçeğinin tamamını kullanıyor mu, pazarı mı yoksa bizim verimizi mi ölçüyor.

Eylülde bu kontrolleri üretim verisinde çalıştırdık. Her biri bir şey buldu. Düzelttik, yeniden ölçtük; değişiklikler sürüm notlarında. Bu yazı onları tek yerde topluyor, çünkü güvenmen istenen bir skor hatalarıyla birlikte gelmeli.

1. Popülerlik kelime sayısıyla artıyordu

5 Eylül'de 1.712 kelimede ölçüldü: ortalama popülerlik tek kelimelik terimlerde 26, dört kelimelik terimlerde 44, beş kelimeliklerde 48'di. Beş kelimelik bir ifade tek kelimenin neredeyse iki katı skor alıyordu. Autocomplete tersini söyler: ifade uzadıkça Play'in onu önermesi için kullanıcının daha çok yazması gerekir ve oraya kadar yazan kişi azalır.

Üç şey üst üste binmişti. Tohum kapsamı terimin uzunluğuna bölünüyordu, yani aynı tohum uzun terime daha çok puan veriyordu. Kapsam sırayı görmüyordu; dördüncü sırada önerilmek birinci sırada önerilmekle aynı sayılıyordu. Kelime sayısını ölçen hiçbir sinyal de yoktu.

• Kapsam artık yalnızca öneriyi getiren tohumun uzunluğuna bağlı ve önerinin sırasıyla ağırlıklı.
• Kelime sayısına göre bir uzun kuyruk azaltması uygulanıyor ve skor detayında ayrı bir satır olarak görünüyor; uzun bir ifadenin neden düşük skor aldığını görebilirsin.

Azaltma katsayıları ölçülmedi, seçildi; Play onları ölçecek bir şey vermiyor. Verinin desteklediği şey yöndür.

2. Zorluk hiçbir zaman 32'nin altına inmiyordu

10 Eylül'de 2.052 kelimede ölçüldü: en düşük zorluk 32'ydi ve kelimelerin %76'sı 60 ile 79 arasındaydı. Zorluğu 30 ve altı olarak süzen kullanıcı boş tablo görüyordu. Ölçek yüz puanlıktı ve kırk kadarını kullanıyordu.

Sebep aritmetikti. Her sinyal sabit bir tavana bölünüyordu: 10 milyon oy, bir milyar kurulum, 5,0 puan. Gerçek ilk onlar ilk ikisine hiç yaklaşmıyor, üçüncüsüne ise fazla yakın: kelimelerin %80'inde ilk onun ortalama puanı 4,09 ile 4,69 arasındaydı, yani puan sinyali kolay ya da zor her kelimeye aşağı yukarı dokuz puan ekliyordu.

Düzeltme her sinyali gerçekten ölçülen aralığa normalize ediyor; sınırlar dağılımın alt ve üst uçlarından yuvarlandı. Aynı 2.052 kelimede:

Burada "hafif" ve "ağır", ilk ondaki medyan oy sayısı 100'ün altında ve 100.000'in üstünde olan kelimelerdir. Kelimelerin sırası değişmedi; ölçek açıldı. Sınırlar hâlâ tek bir pazarın dağılımından seçildi ve başka pazarlar doldukça yeniden bakılması gerekecek.

3. İlk on, on değildi

12 Eylül'de 2.242 kelimede ölçüldü: 1.353'ünde (%60) ilk on dediğimiz kümede ondan fazla uygulama vardı. Medyan 11, en büyüğü 24'tü.

En son çekim kelime başına değil uygulama başına seçiliyordu. İlk ondan düşmüş bir uygulama son satırıyla kümede kalıyor, ağırlığı zorluğa ve medyan oy sayısına katılmaya devam ediyordu. Düzeltmeden sonra küme kelimenin en son çekimindeki birinci ile onuncu sıralardır. Sonraki ilk gecede (14 Eylül) küme ortalaması 9,96 uygulamaydı, en büyüğü 10.

Medyan zorluk kıpırdamadı. Beş puandan fazla düşen kelimelerin eski kümesinde ortalama 12,65 uygulama vardı: düşüş tam olarak orada olmaması gereken ağırlıktı.

4. Düşük zorluk pazarı değil bizim verimizi ölçüyordu

Zorluk ilk on uygulamanın oy sayılarından kurulur ve bir uygulamanın oy sayısı ancak tam listing'i okunduğunda bilinir. Zorluk bantlarını elimizdeki o veriyle karşılaştırdığımızda en düşük bantta ilk on uygulamanın hiçbirinin oy sayısı yoktu, 60-69 bandında ise %79'unun vardı. Skor az bildiğimiz yerde düşüktü. Bir kategorinin en zor terimi kolay görünebiliyordu.

Zorluk, boşluk ve fırsat artık ilk onun yeterli kısmı biliniyorsa gösteriliyor, bilinmiyorsa panel boş gösteriyor. Boş bir hücre kimseyi kategorinin en zor terimine yönlendirmez; eksik veriden kurulmuş küçük bir sayı yönlendirir. Eksik listing'ler kelime ölçüldükten hemen sonra çekiliyor, bu yüzden boşluk çoğu zaman dakikalar içinde doluyor.

Kalıcı olanlar

• Her skor tahmin olarak etiketlenir, çünkü tahmindir.
• Bilinmeyen boş gösterilir, asla sıfır değil.
• Bir skoru değiştiren ayar, skor detayında kendi satırıyla görünür.
• Bir formül değişince birkaç örnek değil, dağılımın tamamı önce ve sonra karşılaştırılır.

Sayılar nereden geliyor

ersASO'nun üretim veritabanı, her bölümde verilen tarihlerde: kullanıcılarımızın takip ettiği ya da keşfettiği kelimeler, neredeyse tamamı tek bir mağaza ve dilde. Google Play'in bütününü değil, o kelimelerdeki skorlarımızı anlatır.

İlgili rehber: Popülerlik ve zorluğu kendini kandırmadan okumak