Pendahuluan

Setiap kali kita bertanya “bagaimana suatu kuantitas berubah ketika kuantitas lain berubah?”, kita sudah berada dekat dengan gagasan regresi. Seorang ekonom mungkin bertanya bagaimana upah berubah seiring bertambahnya pendidikan. Seorang peneliti kesehatan mungkin bertanya bagaimana tekanan darah berhubungan dengan usia, indeks massa tubuh, dan kebiasaan merokok. Seorang analis bisnis mungkin ingin memprediksi penjualan dari harga, promosi, musim, dan perilaku pelanggan. Dalam semua contoh itu, kita memiliki satu besaran yang ingin dijelaskan atau diprediksi, serta satu atau lebih besaran lain yang dianggap informatif.

Regresi linier adalah salah satu kerangka paling penting untuk menjawab pertanyaan semacam itu. Kata regresi merujuk pada keluarga metode statistik untuk memodelkan hubungan antara suatu peubah respons dan satu atau lebih peubah penjelas. Peubah respons adalah kuantitas yang menjadi fokus analisis, misalnya upah, tekanan darah, nilai ujian, harga rumah, atau penjualan. Peubah penjelas adalah kuantitas yang digunakan untuk menjelaskan variasi respons, misalnya lama pendidikan, usia, luas rumah, atau biaya iklan. Disebut linier karena modelnya linier terhadap parameter yang ingin diestimasi, bukan karena semua hubungan antarvariabel harus berbentuk garis lurus secara mentah. Pembedaan ini akan menjadi penting ketika kita membahas transformasi, polinomial, interaksi, dan spline pada bab-bab berikutnya.

Regresi linier bertahan lama bukan karena ia selalu paling canggih, melainkan karena ia menggabungkan tiga kekuatan: mudah dihitung, mudah ditafsirkan, dan memiliki teori inferensi yang kaya. Dalam statistik terapan, ekonometrika, ilmu sosial kuantitatif, epidemiologi, dan pembelajaran mesin, regresi linier tetap menjadi titik awal utama untuk pemodelan hubungan antarvariabel, prediksi, dan penalaran berbasis data (Draper & Smith, 1998; Angrist & Pischke, 2009; Gelman, Hill, & Vehtari, 2020; James et al., 2021).

Bayangkan kita mengamati data berikut: beberapa mahasiswa mencatat jumlah jam belajar menjelang ujian dan nilai ujian yang diperoleh. Jika secara umum mahasiswa yang belajar lebih lama memperoleh nilai lebih tinggi, kita mungkin ingin merangkum pola itu dengan sebuah garis. Garis tersebut tidak akan melewati semua titik data, karena manusia berbeda-beda: strategi belajar, kondisi kesehatan, kualitas tidur, dan tingkat kesiapan awal juga memengaruhi nilai. Regresi linier tidak menghapus variasi semacam itu. Ia justru mengakuinya melalui komponen galat, yaitu bagian variasi respons yang tidak dijelaskan oleh peubah dalam model.

Dalam bentuk paling sederhana, model regresi linier dapat ditulis sebagai

\[ Y = \beta_0 + \beta_1 X + \varepsilon. \]

Simbol \(Y\) menyatakan peubah respons, misalnya nilai ujian. Simbol \(X\) menyatakan peubah penjelas, misalnya jam belajar. Parameter \(\beta_0\) disebut intercept, yaitu nilai rata-rata model untuk \(Y\) ketika \(X = 0\), jika nilai \(X = 0\) masuk akal dalam konteks data. Parameter \(\beta_1\) disebut slope atau koefisien kemiringan, yaitu perubahan rata-rata model pada \(Y\) untuk setiap kenaikan satu unit \(X\). Simbol \(\varepsilon\) menyatakan galat, yaitu selisih konseptual antara respons aktual dan bagian respons yang dijelaskan oleh model linier.

Contohnya, jika model nilai ujian adalah

\[ \widehat{Y} = 50 + 4X, \]

maka mahasiswa yang belajar 5 jam diprediksi memiliki nilai

\[ 50 + 4(5) = 70. \]

Angka 4 berarti bahwa dalam model tersebut, tambahan satu jam belajar berkaitan dengan kenaikan prediksi nilai sebesar 4 poin. Namun kalimat ini harus dibaca hati-hati. Ia belum tentu berarti bahwa menambah satu jam belajar menyebabkan nilai naik 4 poin untuk setiap mahasiswa. Bisa saja mahasiswa yang belajar lebih lama juga memiliki motivasi lebih tinggi, latar belakang akademik lebih kuat, atau akses bimbingan belajar lebih baik. Regresi dapat menunjukkan pola asosiasi dengan jelas, tetapi klaim kausal membutuhkan rancangan studi dan asumsi tambahan. Perbedaan antara asosiasi dan kausalitas merupakan salah satu tema penting buku ini, terutama pada Bab 17. Dalam literatur modern, pembahasan kausalitas menekankan bahwa estimasi efek kausal tidak hanya bergantung pada rumus regresi, tetapi juga pada desain, asumsi identifikasi, dan struktur hubungan antarvariabel (Pearl, 2009; Angrist & Pischke, 2009).

Buku ini ditulis untuk pembaca sarjana tingkat lanjut yang ingin memahami regresi linier secara mendasar sekaligus melihat perkembangannya dalam praktik modern. Karena itu, kita tidak akan memperlakukan regresi sebagai tombol perangkat lunak. Keluaran seperti coefficient, standard error, t value, p-value, \(R^2\), dan confidence interval akan dipahami dari makna statistiknya. Tujuannya bukan hanya agar Anda mampu menjalankan perintah regresi, tetapi agar Anda tahu apa yang sedang diasumsikan, apa yang sedang diestimasi, apa yang dapat disimpulkan, dan apa yang sebaiknya tidak diklaim.

Salah satu gagasan utama yang akan berulang sepanjang buku ini adalah bahwa model statistik selalu merupakan penyederhanaan. Ketika kita menulis model, kita sedang memilih aspek dunia nyata yang dianggap relevan dan mengabaikan aspek lain. Misalnya, model harga rumah mungkin memasukkan luas bangunan, jumlah kamar, lokasi, dan usia bangunan. Namun model itu mungkin belum memasukkan kualitas ventilasi, kebisingan lingkungan, kondisi sosial sekitar, atau rencana pembangunan jalan baru. Model dapat berguna walaupun tidak lengkap, tetapi penggunaannya harus disertai kesadaran tentang keterbatasannya.

Dalam regresi, kita biasanya membedakan tiga tujuan besar.

Pertama, ada tujuan deskriptif. Dalam analisis deskriptif, kita memakai regresi untuk merangkum pola dalam data. Misalnya, kita ingin mengetahui apakah dalam suatu sampel terdapat hubungan antara lama pendidikan dan pendapatan. Fokusnya adalah menggambarkan struktur data secara ringkas. Pertanyaan deskriptif biasanya berbentuk: bagaimana hubungan antara variabel-variabel ini dalam data yang diamati?

Kedua, ada tujuan prediktif. Dalam analisis prediktif, kita memakai regresi untuk memperkirakan nilai respons pada observasi baru. Misalnya, bank ingin memprediksi risiko kredit seorang calon peminjam, atau rumah sakit ingin memperkirakan lama rawat inap pasien berdasarkan informasi awal. Dalam konteks prediksi, model dinilai terutama dari kemampuannya bekerja pada data baru, bukan hanya dari seberapa baik ia cocok pada data yang dipakai untuk membangun model. Inilah sebabnya nanti kita akan membahas data latih, data uji, validasi silang, overfitting, dan regularisasi. Dalam pembelajaran mesin modern, pemisahan antara kemampuan menjelaskan data pelatihan dan kemampuan memprediksi data baru menjadi salah satu prinsip evaluasi model yang sangat penting (Hastie, Tibshirani, & Friedman, 2009; James et al., 2021).

Ketiga, ada tujuan kausal. Dalam analisis kausal, kita ingin mengetahui apa yang akan terjadi pada respons jika suatu perlakuan atau paparan diubah. Contohnya: apakah kenaikan upah minimum menyebabkan perubahan tingkat pengangguran? Apakah program beasiswa meningkatkan peluang lulus kuliah? Apakah obat tertentu menurunkan tekanan darah dibandingkan tanpa obat? Pertanyaan kausal tidak dapat dijawab hanya dengan melihat apakah dua variabel berkorelasi. Kita perlu memikirkan pembaur, rancangan eksperimen atau observasional, pemilihan kovariat, dan asumsi yang membuat perbandingan menjadi bermakna. Regresi sering menjadi alat bantu dalam inferensi kausal, tetapi regresi sendiri bukan jaminan kausalitas.

Perbedaan tiga tujuan ini penting sejak awal. Model yang baik untuk deskripsi belum tentu baik untuk prediksi. Model yang baik untuk prediksi belum tentu memberi interpretasi kausal yang sah. Sebaliknya, model kausal yang dirancang dengan baik kadang tidak menghasilkan prediksi terbaik dalam arti kesalahan prediksi terkecil. Misalnya, dalam prediksi penjualan, memasukkan banyak variabel perilaku pelanggan mungkin meningkatkan akurasi. Namun jika tujuan kita adalah mengukur efek kausal diskon terhadap penjualan, sebagian variabel perilaku yang terjadi setelah diskon diberikan justru dapat merusak interpretasi, karena variabel itu berada di jalur akibat dari perlakuan.

Agar pemahaman regresi tidak rapuh, buku ini bergerak dari dasar ke perluasan modern secara bertahap. Kita mulai dari gagasan sederhana: mencari garis yang paling masuk akal untuk merangkum hubungan dua variabel. Lalu kita memperluasnya ke banyak peubah penjelas, mempelajari metode kuadrat terkecil, memahami asumsi model, membangun inferensi statistik, dan memeriksa diagnostik residual. Setelah fondasi itu kuat, kita masuk ke topik yang sering muncul dalam praktik data nyata: heteroskedastisitas, autokorelasi, multikolinearitas, seleksi model, validasi prediktif, regularisasi, regresi Bayesian, inferensi kausal, model linier tergeneralisasi, dan hubungan regresi dengan pembelajaran mesin modern.

Istilah metode kuadrat terkecil akan muncul berkali-kali. Ide dasarnya sederhana: setelah model menghasilkan prediksi untuk setiap observasi, kita dapat menghitung residual, yaitu selisih antara nilai aktual dan nilai prediksi. Jika nilai aktual adalah 80 dan prediksi model adalah 74, residualnya 6. Jika nilai aktual adalah 65 dan prediksi model adalah 70, residualnya -5. Metode kuadrat terkecil memilih koefisien model yang membuat jumlah kuadrat residual sekecil mungkin. Kuadrat digunakan agar residual positif dan negatif tidak saling menghapus, serta agar residual besar mendapat penalti lebih besar. Secara historis, metode kuadrat terkecil menjadi salah satu fondasi utama statistika matematis dan astronomi komputasional pada abad ke-19; sejarahnya dibahas antara lain oleh Stigler (1986). Dalam buku ini, kita akan mempelajari metode tersebut bukan hanya sebagai prosedur hitung, tetapi juga sebagai masalah geometri: regresi adalah proyeksi vektor data ke ruang yang dibentang oleh peubah penjelas.

Namun, keindahan matematika regresi tidak boleh membuat kita lupa bahwa data datang dari proses nyata. Data dapat mengandung kesalahan pencatatan, definisi variabel yang tidak konsisten, sampel yang bias, nilai hilang, pencilan, atau perubahan struktur dari waktu ke waktu. Misalnya, data pendapatan dari survei sukarela mungkin terlalu banyak diisi oleh kelompok tertentu. Data kesehatan dari rumah sakit besar mungkin tidak mewakili populasi umum. Data penjualan selama pandemi mungkin mengikuti pola yang berbeda dari periode normal. Karena itu, Bab 3 membahas data, variabel, dan desain studi sebelum kita terlalu jauh masuk ke rumus. Dalam analisis regresi yang baik, pemahaman konteks sering sama pentingnya dengan kemampuan menghitung.

Buku ini juga akan menekankan perbedaan antara parameter, estimator, dan estimasi. Parameter adalah kuantitas dalam model populasi yang biasanya tidak kita ketahui, misalnya \(\beta_1\), slope sebenarnya dalam hubungan rata-rata antara \(X\) dan \(Y\). Estimator adalah aturan atau rumus yang digunakan untuk memperkirakan parameter dari data. Estimasi adalah nilai numerik yang dihasilkan ketika estimator diterapkan pada sampel tertentu. Sebagai contoh, jika slope populasi tidak diketahui, metode kuadrat terkecil memberi estimator untuk slope tersebut. Ketika kita menerapkannya pada data 200 rumah, kita mungkin memperoleh estimasi slope sebesar 3,2 juta rupiah per tambahan meter persegi luas bangunan. Pembedaan ini kecil secara bahasa, tetapi besar secara statistik, karena inferensi selalu berurusan dengan ketidakpastian akibat penggunaan sampel.

Ketidakpastian adalah alasan mengapa regresi tidak berhenti pada satu angka koefisien. Jika kita melaporkan bahwa koefisien pendidikan terhadap upah adalah 0,08 dalam model log-upah, kita juga perlu bertanya: seberapa presisi estimasi itu? Apakah data cukup informatif? Apakah standard error kecil atau besar? Bagaimana interval kepercayaannya? Apakah kesimpulan berubah jika model diperiksa ulang? Apakah ada observasi yang sangat berpengaruh? Apakah asumsi galat masuk akal? Pertanyaan-pertanyaan ini membuat regresi menjadi proses ilmiah, bukan sekadar prosedur komputasi.

Pada saat yang sama, buku ini tidak menganggap regresi klasik sebagai akhir dari perjalanan. Dalam data modern, jumlah peubah dapat sangat besar, hubungan antarfitur dapat rumit, dan tujuan analisis sering lebih menekankan prediksi pada data baru. Di sinilah regularisasi seperti ridge, lasso, dan elastic net menjadi penting. Regularisasi menambahkan penalti terhadap kompleksitas model agar estimasi lebih stabil, terutama ketika banyak peubah saling berkorelasi atau jumlah peubah mendekati bahkan melebihi jumlah observasi. Lasso dan elastic net, misalnya, menjadi bagian penting dari statistik modern berdimensi tinggi dan pemodelan prediktif (Hastie, Tibshirani, & Friedman, 2009). Meskipun topik ini tampak modern, akarnya tetap dapat dipahami dari fondasi regresi linier: fungsi kerugian, koefisien, varians estimator, dan bias-varians.

Kita juga akan melihat regresi dari sudut pandang probabilistik dan Bayesian. Dalam pendekatan probabilistik, model tidak hanya memberi garis prediksi, tetapi juga menyatakan bagaimana data mungkin muncul jika parameter tertentu benar. Pendekatan ini memperkenalkan konsep likelihood, yaitu ukuran dukungan data terhadap nilai parameter tertentu. Dalam pendekatan Bayesian, kita menambahkan prior, yaitu representasi pengetahuan atau keyakinan awal tentang parameter sebelum melihat data, lalu memperbaruinya menjadi posterior setelah data diamati. Kerangka Bayesian memberi cara alami untuk membahas ketidakpastian parameter dan prediksi, serta menghubungkan gagasan shrinkage dengan regularisasi. Pembahasan modern yang mengintegrasikan regresi, pemodelan hierarkis, dan praktik Bayesian dapat ditemukan dalam Gelman, Hill, dan Vehtari (2020).

Pada akhirnya, kemampuan menggunakan regresi dengan baik menuntut keseimbangan. Kita perlu cukup matematis agar tidak tertipu oleh keluaran perangkat lunak. Kita perlu cukup praktis agar model dapat digunakan pada data nyata. Kita perlu cukup kritis agar tidak menyimpulkan lebih dari yang didukung desain dan data. Dan kita perlu cukup komunikatif agar hasil analisis dapat dipahami oleh pembuat keputusan, peneliti lain, atau masyarakat yang terdampak oleh keputusan berbasis data.

Buku ini mengajak Anda membangun keseimbangan itu. Setiap bab akan memperkenalkan konsep baru dengan contoh, rumus, interpretasi, dan peringatan praktis. Jika suatu persamaan muncul, bacalah sebagai bahasa ringkas untuk menyatakan ide, bukan sebagai hiasan formal. Jika suatu istilah perangkat lunak muncul, hubungkan kembali dengan makna statistiknya. Jika suatu model tampak berhasil, tanyakan berhasil untuk tujuan apa: deskripsi, prediksi, atau inferensi kausal.

Regresi linier bukan sekadar teknik lama yang masih diajarkan karena tradisi. Ia adalah bahasa dasar untuk berpikir tentang hubungan kuantitatif, ketidakpastian, dan bukti empiris. Dengan memahami regresi linier secara mendalam, kita memperoleh fondasi untuk mempelajari banyak metode statistik dan pembelajaran mesin yang lebih kompleks. Lebih penting lagi, kita belajar kebiasaan berpikir yang sehat: memisahkan pola dari kebetulan, prediksi dari penjelasan, asosiasi dari kausalitas, dan hasil komputasi dari kesimpulan ilmiah.

References

Angrist, J. D., & Pischke, J.-S. (2009). Mostly Harmless Econometrics: An Empiricist’s Companion. Princeton University Press.

Draper, N. R., & Smith, H. (1998). Applied Regression Analysis (3rd ed.). Wiley.

Gelman, A., Hill, J., & Vehtari, A. (2020). Regression and Other Stories. Cambridge University Press.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer.

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning: With Applications in R (2nd ed.). Springer.

Pearl, J. (2009). Causality: Models, Reasoning, and Inference (2nd ed.). Cambridge University Press.

Stigler, S. M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press.