Integritas Hasil Survei: Mengapa Data Tidak Pernah Bicara Sendiri dalam Kebijakan Publik

Ketika lembaga survei merilis tingkat kepuasan publik terhadap kinerja pemerintah, masyarakat umumnya menganggap angka-angka tersebut sebagai cerminan objektif atas kondisi sosial yang sebenarnya. Namun, sebagai contoh, fenomena perbandingan data survei terkait kepuasan publik atas kinerja 2 tahun pemerintahan Prabowo – Gibran berikut menarik untuk dicermati:

• Poltracking Indonesia mencatat tingkat kepuasan publik berada pada angka 55,3%.
• Parameter Politik Indonesia (PPI) melaporkan tingkat kepuasan yang mencapai 65,4%.
• Saiful Mujani Research and Consulting (SMRC) merekam angka 44,5% publik yang menyatakan puas.

Dari hasil tersebut timbul pertanyaan, mengapa tiga lembaga riset bereputasi, yang mengukur subjek dan rentang waktu yang relatif bersamaan, dapat menghasilkan perbedaan angka hingga 20,9 persen? Angka mana yang merupakan “fakta objektif”?

Jawabannya: tidak ada angka statistik publik yang berdiri bebas dari nilai dan konteks.

Disparitas hasil survei ini menjadi contoh nyata untuk memahami dinamika sains kebijakan publik modern. Selama beberapa dekade terakhir, gerakan Evidence-Based Policymaking (EBPM) diagungkan oleh para teknokrat. Asumsi dasarnya sangat memikat: jika sebuah masalah sosial diteliti dengan metodologi ilmiah yang presisi, maka pemerintah cukup mengambil keputusan berdasarkan apa yang terbukti secara empiris (“what works”).

Namun, menganggap kebijakan publik dapat dijalankan layaknya eksperimen laboratorium yang steril merupakan sebuah pandangan yang naif. Seperti yang dijelaskan oleh Paul Cairney (2016) dan Justin Parkhurst (2017), data riset tidak pernah bekerja dalam ruang hampa. Ketika sains dan angka statistik masuk ke arena publik, data tidak lagi menjadi kompas netral; ia berubah menjadi instrumen tawar-menawar, pembentukan opini, dan pertarungan politik.

---

1. Membedah Bias Metodologis dalam Survei Kebijakan

Mengapa jajak pendapat (opinion polling) dapat menghasilkan potret realitas yang begitu berbeda?

Jerry Mitchell (2007) dan Kosuke Imai (2018) menjelaskan bahwa penelitian survei deskriptif pada dasarnya bertujuan memotret persepsi publik pada satu titik waktu tertentu (cross-sectional). Survei dapat menggambarkan korelasi atau kecenderungan, tetapi tidak dirancang untuk membuktikan hubungan sebab-akibat murni apalagi menyajikan kebenaran mutlak.

Perbedaan angka pada hasil survei terjadi akibat hadirnya berbagai bias metodologis dalam proses penelitian:

Jenis Bias Metodologis	Sumber dan Penyebab (Mitchell & Imai)
1. Sampling Frame Bias	Perbedaan kerangka sampel, proporsi strata wilayah (perkotaan vs pedesaan), dan pembobotan populasi.
2. Question Wording Bias	Penyusunan kalimat kuesioner yang mengarahkan (leading questions) atau bersifat mendua.
3. Social Desirability	Kecenderungan responden memberikan jawaban “aman” yang dianggap sesuai dengan norma sosial.
4. Nonresponse Bias	Penolakan responden untuk berpartisipasi atau pengosongan jawaban pada pertanyaan sensitif.

a. Bias Kerangka Sampel (Sampling Frame Bias)

Setiap lembaga riset menyusun kerangka sampel (sampling frame) dan teknik pengacakan dengan asumsi populasi yang berbeda. Perbedaan proporsi strata geografis (seperti rasio responden perkotaan dan pedesaan) atau teknik pembobotan post-stratification dapat mengubah hasil akhir secara signifikan.

b. Bias Konstruksi Pertanyaan (Measurement & Wording Bias)

Cara sebuah pertanyaan dirumuskan (framing effect) sangat mempengaruhi jawaban responden. Pertanyaan yang diawali dengan narasi keberhasilan pemerintah (leading questions) cenderung menghasilkan skor kepuasan yang lebih tinggi dibandingkan pertanyaan yang netral atau menanyakan tentang krisis ekonomi.

c. Social Desirability Bias dan Masalah Nonrespons

Responden memiliki kecenderungan psikologis untuk memberikan jawaban yang selaras dengan norma sosial yang dominan (social desirability bias). Selain itu, fenomena unit nonresponse (kelompok masyarakat yang menolak diwawancarai) sering kali mengikis keterwakilan sampel di lapangan.

d. Memisahkan Persepsi Publik dari Kinerja Objektif

Kekeliruan yang sering terjadi dalam analisis kebijakan adalah menyamakan persepsi publik dengan kinerja objektif (Mitchell, 2007). Sebuah program dapat dirasakan “memuaskan” oleh publik karena gencarnya publikasi media, meskipun indikator pembangunan objektif menunjukkan hal sebaliknya. Dalam situasi ini, survei tidak lagi berfungsi sebagai alat evaluasi, melainkan menjadi instrumen advokasi politik (surveys as political weapons).

---

Mengapa para pengambil keputusan cenderung memilih data tertentu saja (cherry-picking)?

Teori kebijakan klasik mengasumsikan bahwa pembuat kebijakan memiliki rasionalitas sempurna (comprehensive rationality). Padahal, Paul Cairney (2016) menegaskan bahwa para pejabat beroperasi dalam rasionalitas terbatas (bounded rationality). Mereka dibatasi oleh waktu, krisis yang mendadak, serta kapasitas memproses data yang kompleks.

Metode Pemrosesan	Karakteristik Kognitif	Reaksi Terhadap Bukti
System 1 (Fast)	Intuisi emosional, cepat, pintasan mental (heuristics).	Menyukai narasi yang sederhana dan data yang mendukung pandangan awal.
System 2 (Slow)	Analitis, statistik, lambat, memproses data rumit.	Membutuhkan waktu & kapasitas; jarang dipakai dalam krisis.

Merujuk pada konsep psikologi kognitif Daniel Kahneman, pembuat kebijakan lebih sering mengandalkan System 1 (fast thinking)—yaitu intuisi cepat dan pintasan mental—dibandingkan analisis statistik System 2 (slow thinking) yang rumit.

Hal ini memicu fenomena motivated reasoning dan confirmation bias. Ketika disajikan data yang tidak sesuai dengan posisinya, mereka cenderung mengabaikannya. Sebaliknya, data yang menguntungkan akan dipublikasikan secara masif untuk memperkuat legitimasi politik.

Bagi seorang politisi, data survei SMRC (44,5%) akan diabaikan jika bertentangan dengan posisinya, sementara data PPI (65,4%) akan diamplifikasi secara masif untuk menciptakan narasi legitimasi. Informasi ilmiah akhirnya dikomodifikasi sesuai dengan kebutuhan elektoral.

---

3. Mitos “What Works” dan Perangkap Bias Kebijakan

Justin Parkhurst (2017) membagi bias dalam penggunaan bukti ilmiah menjadi dua kategori utama:

Bias Isu (Issue Bias / Depoliticisation of Politics): Terjadi ketika jargon “evidence-based” atau hierarki eksperimen kuantitatif digunakan untuk mendepolitisasi ruang publik. Pengambil keputusan mengaburkan pertimbangan nilai sosial di balik suatu kebijakan dengan mengklaim bahwa keputusannya adalah “hasil data murni”.

Bias Teknis (Technical Bias / Politisation of Science): Terjadi ketika metodologi ilmiah dimanipulasi demi mencapai tujuan politik pra-konsepsi. Hal ini bermanifestasi dalam pembuatan desain riset pesanan, pemilihan data secara tebang pilih (cherry-picking), hingga klaim hubungan sebab-akibat yang tidak tepat.

LAPISAN EVALUASI VALIDITAS BUKTI (CARTWRIGHT & PARKHURST)
Pertanyaan Evaluasi	Pendekatan / Alat Jawab	Fokus Validitas
1. “Did it work somewhere?”	RCT / Uji Eksperimental	Eksperimental Internal
2. “Will it work elsewhere?”	Analisis Validitas Eksternal	Generalisasi / Eksternal
3. “WILL IT WORK FOR US?”	Kesesuaian (Appropriateness)	Konteks Lokal

Parkhurst (2017) dan filsuf sains Nancy Cartwright mengingatkan bahwa eksperimen teruji hanya menjawab pertanyaan “Did it work somewhere?” (Apakah intervensi tersebut pernah berhasil di suatu tempat?). Namun, yang dibutuhkan oleh pembuat kebijakan lokal adalah jawaban atas pertanyaan “Will it work for us?” (Apakah intervensi tersebut akan berhasil untuk konteks kita?). Kebijakan sosial bersifat terikat konteks; apa yang berhasil di satu wilayah belum tentu dapat diterapkan di wilayah lain.

Dengan demikian, data riset dan hasil survei berfungsi sebagai sumber daya yang dipertukarkan:

1. Lembaga Riset atau Konsultan menyediakan data tersebut untuk memperoleh Akses Kebijakan dan insentif pendanaan.
2. Pemerintah membutuhkan data sebagai sumber daya Informasi dan Dukungan Politik untuk mempertahankan legitimasi publik dan meloloskan regulasi.

---

4. Kesimpulan: Menuju Good Governance of Evidence

Memahami adanya bias dalam data dan survei bukan berarti kita harus bersikap skeptis terhadap sains. Sebaliknya, pemahaman ini mendorong kita untuk menerapkan prinsip Tata Kelola Bukti yang Baik (Good Governance of Evidence) (Parkhurst, 2017):

1. Legitimasi Input: Riset dirancang oleh lembaga independen yang memiliki keahlian metodologis serta terbebas dari konflik kepentingan sponsor.
2. Legitimasi Throughput: Proses pengolahan data dilakukan secara transparan (open data) dan terbuka untuk diuji ulang oleh publik maupun akademisi independen.
3. Legitimasi Output: Kebijakan yang dihasilkan benar-benar menjawab kebutuhan nyata masyarakat lokal secara adil.

Disparitas angka survei mengingatkan kita pada satu prinsip utama: data tidak pernah berbicara sendiri. Masyarakat yang kritis perlu melihat proses dan latar belakang di balik angka-angka yang disajikan di ruang publik.