12 Haziran 2018

Anketler nasıl okunmalı?

"Bu seçimde kimsenin hesap değiştirmeye vakti olamayacağı için, geçmiş araştırmalar fikir verici olacaktır"

Her seçim döneminin değişmeyen tartışmalarından biri anket tahminleri ve her şirketin tahmininin belli beklentilere uyması-uymaması ekseninde anket manipülasyonu var mı, yok mu konusu. Anketler üzerinden manipülasyon yapmanın gerçekçi ve her seferinde istenilen sonucu doğuramayacak kadar öngörülemez bir uğraş olmasını zaten bir kenara bırakıyorum. Bu konuda mantık çerçevesi içinde söylenebilecek her şey defalarca söylendi, yazıldı çizildi. Daha heyecanlı olan konu her seçim döneminde adeta bir spor müsabakası izler gibi her gün farklı şirketlerin açıkladığı rakamları takip etmek, gazetelerin ‘İşte O Rakamlar!!’ ‘Seçimler İçin Bakın Ne Dedi?!’ gibi dramatik başlıklarla girdikleri haberleri okumak.

Fakat bu seçim dönemi diğerlerinden biraz daha farklı gibi. Çeşitli anket şirketlerinin yayınladıkları rakamlar arasında adeta uçurumlar var. Farklı şirketlerin araştırmaları bazı aday için neredeyse +/- 10 puanlık farklar gösteriyor; bu dağılımların birinci tur/ikinci tur beklentisi ve meclis çoğunluğuna ilişkin çıkarımlarındaki farklılıklar da cabası. Dahası, ilk kez denenecek bir seçim sisteminde, hem seçmenin hem de araştırma şirketlerinin kafası karışık. Daha önceki seçimlerde araştırma şirketleri seçmene soruyu genelde ‘Bugün seçim olsa...’ ya da daha nadiren de olsa ’24 Haziran seçimlerinde...’ gibi bir netlikle yöneltir, bu doğrultuda da cevap alırlardı. Dolayısıyla, farklı araştırmaların bulguları birbirleriyle karşılaştırılabilir nitelikte olurdu. Fakat bu seçimde, seçim sistemindeki karmaşa ve yeniliğin de bir yansıması olarak, kimi araştırma soruyu eski soru kalıbı ile sorarken, kimi ittifak ekseninde, kimisi her ikisi ve/veya pusula şeklinde soruyor. Bu durum da, ilk etapta farklı bulguları birbiriyle karşılaştırılamaz kılıyor. Aynı zamanda, daha önce tecrübe edilmemiş bir seçim sistemi olduğundan, soru kalıbının ittifak-parti ayrımıyla sorulmasının, ya da pusulada o veya bu şekilde gösterilmesinin toplanan veriye bir yansıması olup olmadığına dair bir bulgu yok elimizde. Yani, araştırmalarda çıkan rakamsal farklılıkların soru kalıbından mı yoksa araştırmanın dizaynından mı kaynaklı olduğunu peşinen bilmek mümkün değil.

Bir soru kalıbı ile bu kadar fark olur mu?

Kısa yanıt: muhtemelen olmaz. Sadece bu farka dikkat çekmek ve göz ardı etmemek gerekir. O zaman Erdoğan’ın bir ankette 40’lara düşmesini, diğerinde yüzde 50’yi rahat rahat geçmesini, Muharrem İnce için yapılan tahminlerin yüzde 25-40 aralığında olmasını nasıl açıklayabiliriz? Burada anketlerin hepsi iki temel faktör göz önünde bulundurarak incelenmeli diye düşünüyorum. Bunlardan birincisi, seçim sistemi ve ittifaklarla değişme ihtimali gündeme gelen seçmen davranışının uzun zamandır dört partiye konsolide olmuş ve bunu ölçmeye ayarlı bir örneklem hesabı ile yakalanmasının zor olduğu; diğeri ise, OHAL ve kutuplaşma şartlarında ankete katılmayı göze alan seçmenin aslında bir ‘kendini seçme yanlılığı’ (self-selection bias) yarattığı. Sırayla ele alalım.

Yeni seçim sistemiyle beraber ortaya çıkan ittifaklar ve seçim barajının birkaç parti için fiilen ortadan kalkması seçmenin bir kesimi için stratejik oy kullanma, başka bir kesimi içinse kendisine daha yakın bulduğu partiye baraj endişesi taşımadan oy verebilmesi gibi durumları beraberinde getirdi. Bu seçmen grupları önlerine çıkan tabloya aslında çok hızlı bir şekilde intibak etti ve oy tercihini belirledi. Seçim sonuçları açıklanana kadar emin olamamakla birlikte, görülen o ki, uzun süredir konsolide olan ve birbirleri arasındaki oy geçişkenliği çok sınırlı kalan bir seçmen tablosunda kartlar yeniden karılıyor. An itibariyle ortaya çıkan tabloda, ne örneklem ve ölçüm hesapları, ne de kararsızların dağıtımında kullanılan kanıksanmış yöntemler, hem oyunun kurallarının hem de katılımcılarının değiştiği bu duruma ayak uydurmada zorlanıyor gibi duruyor. Seçim kararının alınması, adayların ve parti ittifaklarının belirlenmesi, isimlerinin netleşmesi ile seçimler arasında iki aydan az bir süre olduğu göz önüne alınırsa, zaten bu hesapların gözden geçirilmesi, yenilenmesi veya değiştirilmesini beklemek yersiz. Yani, güvenilir araştırmalar arasında açıklanan rakamlardaki farklılığın bir kısmının bu intibak etme çabası kaynaklı olduğunu düşünebiliriz.

Bir diğer önemli mesele de, yukarıda belirtilen ‘kendini seçme yanlılığı’ (self-selection bias) olarak tarif edebileceğimiz olgu. Mesela bir müşteri memnuniyeti anketi düşünün. Bir klima aldınız ve üretici firma bir süre sonra sizi telefonla aradı ya da adresinize gelip üründen ne kadar memnun olduğunuz ile ilgili sorular sormak istediğini söyledi. Genellikle bu ankete katılacak tüketici ya üründen çok memnun olan ve bu mutluluğunu paylaşmak isteyen ya da üründen çok mutsuz olup, bu kızgınlığını dile getirmek isteyenlerden olacaktır. Memnuniyet skalasının ortalarında yer alan, hayatında öyle ya da böyle pek bir şey değişmeyen kesim ise ankete vakit harcamak istemeyecektir. Yani gözümüzün önüne bir çan eğrisi getirirsek bu eğrinin sağ veya sol ucunda kalanlar ankete katılmayı tercih edip, bir ‘kendini seçme yanlılığı’ doğuracaklardır. Bu olguyu ülkenin içinden geçtiği şiddetli kutuplaşma ekseninde düşünecek olursak, muhalefet seçmenine hainlik, teröristlik vb. gibi sıfatların yapıştırıldığı, OHAL şartlarında gidilen, genel olarak seçmende, özelde ise devlet memuru veya belediye yardımı alan kesimlerde tercihini saklama yönünde bir eğilim yaratacağını tahmin etmek için alim olmaya gerek yok. Dolayısıyla, kapısına gelen anketöre siyasi tercihini söyleyecek olanlar veya söylemekten imtina etmeyecek olanlar, ancak çan eğrisinin uçlarında kalanlar olacaktır. Bu aynı şekilde muhalefet partilerinden birinin baskın olduğu bir mahallede kalan AKP’li seçmen için de geçerli bir durumdur. Murat Gezici’nin bir röportajında[1] 18 anketin artık daha çok kapı çalarak yapılabildiğini söylerken ifade ettiği durum, bu çan eğrisinin ortalarında kalan, iktidar ya da muhalefet bloğu adına şahinleşmemiş seçmenin kendini gizleme, eğrinin uçlarında kalanların ise daha güçlü bir katılma refleksi göstermesi durumudur. Ama özellikle de Cumhur İttifakı, AKP ve Cumhurbaşkanı Erdoğan için belirtilen rakamlar bu refleks gözetilerek değerlendirilmelidir. Yani, sokaktaki his iktidar bloğunun düşüşte ya da zorda olduğuna işaret ederken, bu hisle çelişiyor gibi gözüken anketler, içinde bulunduğumuz şartlarda herhangi bir seçmenin, kapısına gelen tanımadığı, güvenmek için hiçbir sebebi olmayan bir anketöre, karşı kanata oy vereceğini söylerken zorlanacağı göz önünde bulundurularak değerlendirilmelidir.

Hangi ankete, nasıl güvenmeli?

Ortaya çıkan bu tablo aslında ana hatlarıyla bu seçim dönemi özelinde yayınlanan araştırmalara biraz daha mesafeli bakmak gerektiğini gösteriyor. Özellikle de muhalefet partilerinin ve adaylarının, kendi oylarını yüksek gösteren araştırmaların rehavetine, düşük çıkan anketlerin de moralsizliğine kapılmamaları gerekmektedir. Bu sonuçların her birinde ölçüm ve dizayn (örneklem) kaynaklı etkiler ve ankete katılan seçmen tavrı başka seçim dönemlerine kıyasla daha problemli olabilecek niteliktedir. Yine de, anket sonuçlarını takip etmek eğlenceli ve bilgilendirici bir uğraş. O yüzden hangi ankete, neden güvenebileceğimizi de anlatmakta yarar var.

Öncelikle, şirketler sonuçlarını yayınlarken güven aralığına vurgu yapmaya özen göstermelidir. Anket verisi mantığı ve tabiatı gereği belli bir istatistiki güven aralığında, ona denk düşen bir hata payı olan bir tahmindir aslında. Bütün nüfus verisi ile değil de, onu temsil etmesi için seçilen her örneklemin bir güven aralığı vardır. Seçim araştırmaları da genellikle 2000-3000 kişiyi kapsayan örneklemler ile yüzde 95 güven aralığında yapılır. Bu şu demek, biz araştırmayı yaparken yüzde 95 ihtimal ile nüfusu doğru temsil eden kişilerle konuştuk. Bu araştırmayı çok kere tekrarladığımızı ve her tekrardan bir oy oranı elde ettiğimizi düşünelim. Bu oranların her birinin etrafında bir güven aralığı inşa etsek, aradığımız gerçek oy oranı bu güven aralıklarının yüzde 95’inin içinde olacak. Bu araştırmada elde ettiğimiz oran da artı-eksi iki puanlık bir güven aralığında, şudur. Aslında teknik olarak 1,96 olan bu hata payı genel kullanımda ikiye yuvarlanır ve bir parti için yapılan yüzde 25 oy tahmini, bu oyun yüzde 95 ihtimal ile yüzde 23-27 arasında olacağı anlamına gelir. Özellikle de HDP oylarının barajın hemen altı-hemen üstü gibi olduğu, Cumhurbaşkanlığı seçimlerinde yüzde 49,9 ile 50,01 arasında sonuç itibariyle çok büyük bir farkın olduğu bu tip anketlerde doğrudan rakam yerine güven aralığını vermek veya en azından işin teknik tarafına hakim olmayan okuyucuya bunu net bir şekilde ifade etmek ve hatırlatmak önemlidir.

Bir diğer önemli husus da, araştırmanın künyesi verilirken, soru kalıbının ne şekilde olduğu, yani seçmene ittifak mı soruldu, parti sorulup ittifak oyu toplama ile mi bulundu aday ismi okundu mu, açık uçlu mu idi vs. gibi bilgilerin de net bir şekilde paylaşılması araştırmayı okuyan açısından daha sağlıklı bir muhakemeyi mümkün kılacaktır. Yayınlanan bazı sonuçlar o kadar özensiz ki, kararsızlar dağıtılmadan diye verilen sonuçlarda kararsız-cevap yok oranı nedir belirtmeyen mi istersiniz, topladığınız zaman 100 etmeyen dağılımlar mı istersiniz, her şey var. Hem araştırma şirketlerinin, hem de bunları haberleştiren yayın organlarının özenli ve detaylı bilgi paylaşması bilgi kirliliğini önlemek için çok mühim.

Son bir not da, örneklem büyüklüğü konusunda. Elbette daha büyük örneklem ile yapılan araştırmanın güvenilir sonuç vermesi daha muhtemeldir. 1000 kişi ile görüşmek ile 2000-2500 kişi ile görüşmek arasında önemli farklar var. Ama hiçbir anket sadece örneklemi büyük diye güvenilir olmaz. Eğer örneklem hesabınızda hata varsa, araştırmayı 3000 kişi ile yapmakla 5000 kişi ile yapmak arasında bir fark olmaz çünkü yaptığınız sadece aynı hesap hatasını daha büyük bir çapta tekrar etmektir. Kamuoyunda içgüdüsel bir şekilde daha büyük rakamın daha güvenilir olacağı gibi bir kanı var ama belli bir eşiğin altına inilmedikçe oransal bir örneklem büyüklüğünün çok ciddi bir fark yaratmayacağını belirtelim. Burada daha temelinde dikkat edilmesi gerek kaç kişi ile, ne şekilde ve kaç ilde görüşüldüğüdür. 2000 kişi ile 10 ilde görüşmek ile 25 ilde görüşmek arasında niteliksel bir fark vardır. Dolayısıyla, araştırmanın künyesini açıkça paylaşan raporlara dikkat etmek daha sağlıklı olacaktır. Örneklem hesabını ise hiçbir araştırma şirketi tam olarak açıklamadığı için kimin hatalı, kimin doğru örneklem ile çalıştığını tartamıyoruz.[2] Ama birbirlerinden çok farklı hesaplar yapmadıklarını düşünebiliriz, en nihayetinde bu işin de bir standardı var çünkü. Bu seçimde kimsenin hesap değiştirmeye vakti olamayacağı için, geçmiş tahminler ve geçmiş araştırmalar bu noktada fikir verici olacaktır.


[2] Konuyla ilgilenenler Cüneyt Özdemir’in geçtiğimiz hafta boyunca kendi YouTube kanalından yayınladığı SONAR genel müdürü Hakan Bayrakçı ve A&G Genel Müdürü Adil Gür ile röportajını dinleyebilirler. Özellikle de Bayrakçı genel olarak bir araştırmada örneklem nasıl hesaplanıyor, nelere dikkat ediliyor konusunu çok detaylı bir biçimde anlatıyor. (Bayrakçı link: 
Adil Gür link: )

Yazarın Diğer Yazıları

Ufak tefek teferruatlar

Ufak Tefek Cinayetler: Kadın karakterler neden bir tipolojinin ötesine geçemiyor?

Tek başına iktidar, koalisyon ya da bir ihtimal daha var...

Tek başına iktidar veya koalisyon olmazsa gidilecek bir erken genel seçimden kim, nasıl kazançlı çıkabilir?