Oğuz Gürerk*
1980’li yıllara kadar Türkiye’de kamuoyu araştırmalarının kurumsal olarak ve düzenli aralıklarla yapıldığı pek söylenemez. Medya kuruluşları 1983 Milletvekili Genel Seçimleri ile kamuoyu araştırmalarını maddi olarak desteklemeye ve yayın organlarında bu araştırmalara geniş yerler ayırmaya başlamalarıyla beraber kamuoyu yoklamaları seçim dönemlerinde daha önce görülmemiş ölçüde gündelik hayatın parçası olmuş ve giderek yaygınlaşmıştır. Diğer taraftan, hatırlayabildiğim kadarıyla, Türkiye’de önceki seçimlerde bugün olduğu kadar "anketlerin anketi" veya "seçim simülasyonları" gibi meraklar yoktu, büyük olasılıkla ABD'den Türkiye'deki seçim ortamını incelemek için ithal edilmiş (ve oy verme pratiğini giderek bir mühendislik sorunu gibi gösteren) yeni "alışkanlıklar"la karşı karşıyayız.
Bu yazıda seçim (ya da muhayyel bir meclisteki vekil dağılımlarının) simülasyonlarını değil, genel olarak anket birleştirmeleriyle ilgili birkaç önemli noktaya dikkat çekmek isterim. 2018 Cumhurbaşkanlığı (CB) ve 2019 Yerel Seçimlerinde seçime bir ay kala seçim anketi yayımlayan şirketlerin bir "isabetlilik" endeksinin nasıl çıkartılabileceğini ve bunu kullanarak 14 Mayıs’a yönelik nasıl bir "anket birleştirme" [poll aggregation] yapılabileceğini anlamak için başvurabileceğimiz bazı araçlar var. Bunlardan biri de şirketlerin geçmiş seçimlerdeki hata oranlarını ortak ve seçimden seçime değişmeyen bir ölçüte göre değerlendirerek her bir şirketin genel olarak ne kadar "isabetli" olduğunun bir endeksinin kullanışlılığını da görmeye çalışmaktır. Bunun için herhangi bir şirketin bir seçim öncesi yaptığı son anket ilgili seçim sonucuyla ne kadar örtüşüyorsa o anketi yapan şirketin, birleştirmedeki göreli ağırlığının o kadar fazla olması gerektiği öncülünden hareket edeceğiz.
Anket birleştirme, hedefe ilişkin daha güvenilir bir öngörü elde etmek üzere belirli bir konu veya seçimle ilgili birden fazla anket sonucunu bir araya getiren bir tekniktir; anketlerin basit ortalamasını alarak veya anketleri birleştirirken çeşitli Bayes modelleri, yumuşatma [smoothing] algoritmaları yahut (anketleri ortaya çıkarttığı varsayılan) kuramsal bir zaman serisi sürecinin istatistiksel modellemesi gibi karmaşık yöntemler kullanılarak yapılabilir. Bu yöntemlerin hepsini ayrı başlıklar halinde tanımlayıp tartışabiliriz ancak atılan taşın ürkütülen kurbağaya değip değmeyeceği ayrı bir soru işareti.
Anket birleştirme uygulaması, farklı anketlerin tasarım ve örneklem büyüklüğündeki farklılıklarının hesaba katılmasıyla kuramsal olarak toplam hata payını azaltabilir ve öngörünün isabetliliğini arttırabilir. Ancak ne yazık ki ilgili verilere erişilebilirlik ve güvenirlilik sorunları Türkiye'de çoğu zaman aşılamayan zorluklardır. İrem Aydaş (2020) yüksek lisans tezinde 2011-2019 yılları arasında Türkiye'deki 11 seçim döneminden 374 seçim öncesi anketinin raporlama uygulamalarını inceleyerek çarpıcı gerçeği ortaya çıkarmıştır: tüm bu anketlerin yaklaşık %69'u, örnekleme yöntemi belirtilmeden bildirilmiştir[2]. Metodolojik şeffaflığın olmaması bu anketlerin geçerliliğini tehlikeye atmaktadır. Anketler, örnekleme hatalarının[3] ötesinde, genellikle raporlanan hata paylarında ihmal edilen çerçevelendirme [framing], ölçüm [measurement] ve belirlenim [specification] hatalarından da muzdariptir. Ayrıca şirketlerin belirli örnekleme kalıpları, şeffaf olmayan ağırlıklandırma formülleri veya siyasi bağlantılarına/bağlılıklarına atfedilebilecek eğilimleri de suları bulandırmaktadır.
Dolayısıyla seçmenlerin yani "kamuoyunun" siyasi ruh halindeki gerçek değişimleri kamuoyu yoklamalarındaki olası tarafgirlikten ayırmak pek kolay değil. Önerdiğimiz anket birleştirme yöntemi, Martin ve diğerleri (2005) tarafından ortaya konulan bir isabetlilik ölçütü kullanarak anket şirketlerinin geçmiş performanslarına dayalı olarak Türkiye'deki seçim öncesi anketlerini değerlendirmektedir – tabii, tarafsız ve kaliteli bir anketin taraflı, kalitesiz sonuçların bir araya getirilmesinden çoğu zaman daha başarılı olacağını unutmadan.
Bu nedenle yalnızca eksik bildirilmiş anketlerle sınırlı olmayarak herhangi bir anket birleştirme yöntemi (veya yenilenen anket verilerinin istatistiksel modellemesi), savunulacağı bilimsel temelden yoksundur. Bununla birlikte, çok sayıda seçim öncesi anketini, kullanacağımız ölçüte göre "isabetlilik"leri temelinde incelemek, anket şirketlerine özgü eğilimlerin ve/veya siyasi bağlılıklarının gerçekten olup olmadığını anlamamıza yardımcı olabilir. Ardından bir anketin isabetliliği ne kadar yüksekse, ilgili şirketin birleştirmede o kadar fazla ağırlığı hak ettiği önermesine dayanan anket birleştirme örneğimize geçeceğiz.
Şimdi sözünü ettiğimiz, Martin ve diğerlerine (2005) göre, bir anketin taraflılığının ölçüsünün matematiksel temsilini "A" ile gösterelim. Bu ölçü, bir anketin iki partili bir seçimin sonucunu tahmin etmede ne kadar isabetli olduğunu nicelleştirmeyi sağlayacak. Aşağıda R/D sırasıyla Cumhuriyetçiler ve Demokratlar için seçimdeki gerçek oy oranı ve r/d belirli bir seçim anketindeki iki parti için destek oranıdır.
A ölçüsü, bu iki oranın oranının doğal logaritmasıdır; ilgili anketin iki parti arasındaki oy oranı tahminini, gerçek oy oranıyla karşılaştırır. Eğer anket sonucu seçim sonucuyla tamamen örtüşüyorsa, r/d ile R/D değerleri eşit olacak ve A sıfır olacaktır. Eğer anket, kazanan partinin oy oranını seçim sonucundakine göre daha fazla bulduysa r/d, R/D'den daha büyük olacak ve A pozitif olacaktır. Tersine, anket, kazanan partinin oy oranını seçim sonucuna göre daha düşük bulduysa r/d, R/D'den daha küçük olacak ve A negatif olacaktır. Dolayısıyla, A ölçüsü, bir anketin eğilimini [bias] nicelleştirmenin bir yoludur ve sıfıra ne kadar yakınsa, anket o kadar eğilimsiz ve başarılı olur[4].
Bununla birlikte, orijinal haliyle A yalnızca iki partili sistemler için uygun olduğundan Arzheimer ve Evans (2014) bu yöntemi ikiden fazla partinin olduğu çok partili seçimlere uygulanabilir hale getirerek genelleştirmiştir, bu yeni ölçütü olarak göstereceğiz – burada daha fazla matematiksel ayrıntıya yer vermeden meraklı okuyucuyu ilgili makalelere yönlendirmek isterim. Tablo 1’de 2018 CB seçimine en fazla 1 ay kala yapılan seçim anketlerinin ortalama hata paylarına göre sıralamasını görüyoruz, bir anket için değeri tabloda aday bazındaki değerlerin (yani adaylara ilişkin eğilimlerin) mutlak değerlerinin ortalamasıdır ve 0’a ne kadar yakınsa ilgili şirketin seçim anketinin gerçek seçim sonucuyla o kadar iyi örtüştüğünü belirtir. Tablo 2, Tablo 1’deki anket sonuçlarının tarihlerine göre sıralanmış halidir ve değerlerinin hesaplandığı yayımlanmış sonuçları içerir.
Tablo 1
Tablo 2
Anket firmalarının 2019 Belediye Seçimlerindeki performanslarını ( ölçütüne dayalı olarak) 2018 Cumhurbaşkanlığı seçimlerinden elde edilen skorlarla birleştirerek önümüzdeki CB seçimi için sonuç "paylaşan" anket şirketlerinin ortalama ağırlıklarını hesaplıyoruz, böylece şirketlerin önceki başarılarına göre ağırlıklandırılmış bir anket birleştirme grafiği çizebiliyoruz.
Tablo 3: Belediye seçimlerinde sonuç açıklamış anket şirketleri için aday bazında eğilimler.
Tablo 4: 2018 CB ve 2019 Yerel Seçimlerine göre ortalama Bw değerleri.
Eğer bir anket şirketi görece yeniyse, yani daha önce hiçbir seçim için ölçümü yoksa, o zaman bu şirkete (seçeceğimiz) alt kümedeki şirketlerden en düşük skora sahip olan şirketin skoru kadar ağırlık veriyoruz, böylece bu şirketi yalnızca yeni olduğu için cezalandırmamış oluyoruz. Son olarak bu fikrin eylemdeki haline göz atalım.
Yukarıdaki örnekte sıralanmış şirketlerin en son 12 Mayıs saat 13.00’a kadar yayımlamış olduğu seçim anketlerini içeren anket birleştirme örneğini görüyoruz[5]. Bu birleştirmeye en son eklenen iki anket sonucu dikkate değer; biri Optimar’ın, diğeri ORC’nin: İkisi de neredeyse aynı zaman aralığında[6] yapılmış ve ikisinin de genel müdürleri tarafından paylaşılan hesaplarda anketlerin yüzde 95 güven aralığında 1,8 hata payına sahip olduğu belirtiliyor ve iki anket de seçmen nüfusunu temsil ettiğini iddia ediyor.
Dolayısıyla karşı karşıya kaldığımız durum, bir önceki yazıda tarif ettiğim çelişkili anket sonuçlarının oldukça benzerini teşkil ediyor ve yani biliyoruz ki bu iki sonuçtan en az biri çok(!) büyük bir olasılıkla ya son derece hatalı ya da taraflı… Şimdi bu ikisinden birini, diyelim ki Optimar’ınkini dahil etmeyeceğiz, o zaman – diğer her şeyi sabit tutarsak – karşımıza çıkacak olan grafik aşağıdaki olacaktı. En sondaki birleştirmede de Optimar’ı tutup ORC’yi çıkartıyoruz ve buna göre çiziyoruz. Bu grafiklerden hangisinin gerçeklikle daha fazla örtüşeceğini yarın öğreneceğiz.
* Oğuz Gürerk, Boğaziçi Üniversitesi'nde matematik ve iktisat okudu. İlgi ve çalışma alanlarının başında metodoloji (nitel, nicel, bilişimsel) geliyor, Koç Üniversitesi Hesaplamalı Sosyal Bilimler Merkezi'nde Politus ERC Projesi kapsamında Politus Analytics (https://politusanalytics.com/) veri platformunun oluşturulması amacıyla araştırmacı olarak çalışmaktadır.
[1] Bir önceki yazı aslında bu yazının ilk halinden daha sonra yazıldı. Önceki yazıyı doğuran ihtiyaç, çeşitli şirketlerin nüfusu temsil iddiasındaki anket sonuçlarının birbirlerinden – neredeyse çelişki oluşturacak kadar – farklı olmalarının ne kadar mümkün olduğunu anlamaya çalışmaktı. Bunun için önümüzdeki CB Seçimine yönelik iki hayali anket sonucunu istatistiksel bir "oyuncak-model" ile kıyaslamıştım: "Kamuoyu kimin oyu veya kamuoyu yoklamalarına nereye kadar güvenebiliriz?", T24 (9 Mayıs 2023), https://t24.com.tr/haber/kamuoyu-kimin-oyu-veya-kamuoyu-yoklamalarina-nereye-kadar-guvenebiliriz,1108414.
[2] İrem Aydaş, Pre-election polls in Turkey, yayımlanmamış yüksek lisans tezi, Sabancı Üniversitesi, 2020.
[3] Genel olarak büyük örneklemli anketler - diğer her şey sabit tutulduğunda - küçük örneklemli anketlerden daha isabetli sonuçlar üretir çünkü daha büyük bir örneklem, daha küçük bir hata payına olanak sağlar; bu da sonuçların, incelenen nüfusu temsil etme kabiliyetinin daha yüksek olduğu anlamına gelir. Ancak, örnekleme hatasının [sampling error] aksine, örneklemeden bağımsız hatalar basitçe daha fazla ve daha büyük anketler yapılarak azaltılamaz. Hata payının, örneklemin rastgele oluşturulduğu varsayımına dayalı olarak hesaplanan bir örneklem kestirimindeki [sample estimate] belirsizlik düzeyini [level of uncertainty] belirtmek için kullanılan istatistiksel bir kavram olduğunu unutmayalım. Örneklem rastgele örneklemeyle oluşturulmadıysa, hata payı, ilgili kestirimle ilişkili belirsizliğin geçerli bir ölçüsü değildir ve bu durumda hata payını bildirmek yanıltıcı olur – maalesef Türkiye’de çoğu anket bundan da muzdariptir. Bu nedenle örneklemin ve onu oluşturmak için kullanılan yöntemin sınırlamalarını bilmek çok önemlidir.
[4] Bu ölçünün kullanışlılığı kolaylıkla hesaplanabilir ve özetlenebilir olmasından da geliyor; Martin ve diğerlerinin (2005) anketlerin isabetliliğini ölçmek için kullanılan önceki yöntemlerden neden daha üstün olduğunu tartıştığı makale için: Elizabeth A. Martin, Michael W. Traugott, and Courtney Kennedy, A review and proposal for a new measure of poll accuracy, The Public Opinion Quarterly, 69(3):342–369, 2005. Bu ölçütün seçim tahminlerine etki eden eğilimlerin doğası ve kapsamı hakkında çok değişkenli istatistiksel analizlerde bağımlı değişken olarak kullanılabilir ve bu eğilimlerin olası kaynaklarını belirlemeye yardımcı olabilir. Farklı seçimlerde ve kararsız seçmenlerin sayısında veya kararsızların ele alınmasında farklılık gösteren anketler arasında karşılaştırılabilir. Daha fazla ayrıntı ve açıklama için: Kai Arzheimer and Jocelyn Evans, A new multinomial accuracy measure for polling bias, Political Analysis, 22(1):31–44, 2014.
[5] Detaylar için benim de araştırmacı olarak içinde bulunduğum Politus Analytics’in raporuna bakınız: https://politusanalytics.com/wp-content/uploads/2023/05/Politus-Turkiye-Panoramasi-1.pdf
[6] Optimar’ın ilgili anketi 9-11 Mayıs tarihleri arasında yaptığı, ORC’nin ise 10-11 Mayıs arasında gerçekleştirdiği belirtiliyor.