Multikolinieritas dalam regresi

Nachrowi dan Usman (2006) menjelaskan bahwa multikolinieritas dapat dideteksi dengan adanya koefisien determinasi (R2) yang tinggi dan uji F yang signifikan tetapi banyak koefisien regresi dalam uji t yang tidak signifikan, atau secara substansi interprestasi yang didapat meragukan. Akan tetapi deteksi ini bersifat subyektif, uji formal dibutuhkan untuk mendeteksi keberadaan multikolinieritas.
Ada beberapa cara untuk mendeteksi ada tidaknya gejala multikolinieritas yang antara lain, pertama menurut Gujarati (2003) dengan melihat pada matriks korelasi (korelasi antar variabel bebas), yaitu jika korelasi antar variabel melebihi 0,50 diduga terdapat gejala multikolinieritas. Yang kedua menurut Neter et al. (1993) disarankan melihat pada nilai Variance Inflation Factor (VIF), yaitu jika nilai VIF kurang dari 10 maka tidak terdapat multikolinieritas.
Motgomery dan Peck sumber menjelaskan penyebab multikolinieritas adalah: (1) metode pengumpulan data yang digunakan membatasi nilai dari regressor, (2) kendala model pada populasi yang diamati, (3) spesifikasi model, (4) penentuan jumlah variabel eksplanatoris yang lebih banyak dari jumlah observasi atau overdetermined model, (5) data time series, trend tercakup dalam nilai variabel eksplanatoris yang ditunjukkan oleh penurunan atau peningkatan sejalan dengan waktu. Kadang kala aplikasi data sekunder mengalami masalah penaksiran atau menolak asumsi klasik dari model regresi linier.
Konsekuensi praktis dari multikolinieritas tak sempurna adalah: (1) ordinary least squares estimator mempunyai varians dan kovarians yang besar dan mengakibatkan penaksiran kurang efisien, (2) karena penaksiran kurang akurat, interval keyakinan cenderung lebih besar dan cenderung tidak menolak hipotesis nol, (3) karena penaksiran kurang akurat  maka nilai statistik t satu atau lebih cenderung tidak signifikan secara statistik, (4) walaupun nilai t statistik tidak signifikan tetapi nilai koefisien determinasinya tinggi, (5) ordinary least squares estimator dan kesalahan baku koefisien sangat sensitif terhadap perubahan kecil di dalam data. Bila terjadi multikolinieritas serius ada dua pilihan yaitu: (1) tidak melakukan sesuatu, (2) mengikuti beberapa kaidah perbaikan multikolinieritas. Tidak melakukan sesuatu merupakan anjuran dari Blanchard di mana multikolinieritas secara esensial adalah masalah defisiensi data atau micronumerosity dan kadang tidak ada pilihan terhadap analisis data yang tersedia.
Beberapa kaidah perbaikan terhadap multikolinieritas tergantung pada masalahnya yaitu: (1) informasi teoritis, (2) mengkombinasikan data cross section dengan time series, kombinasi ini disebut pooling the data, (3) mengeluarkan variabel dan bias spesifikasi, (4) mentransformasi variabel, contohnya adalah dengan metode first difference form dan ratio transformation, (5) penambahan data baru, (6) mengurangi regresi dalam bentuk fungsi polynomial, (6) menggunakan factor analysis dan principals components atau ridge regression. Masalah multikolinieritas tidak selalu buruk jika tujuan untuk melakukan prediksi atau peramalan karena koefisien determinasi yang tinggi merupakan ukuran kebaikan dari prediksi atau peramalan. Oleh sebab itu bila koefisien determinasi tinggi dan signifikasi koefisien slope tinggi maka model regresi pada umumnya tidak mengalami masalah multikolinieritas. Data time series menunjukkan bahwa semakin panjang lag maka korelasi antar variabel bebas atau multikolinieritas semakin tinggi.

Yohan Naftali
http://yohanli.com

14 Comments

erika

pak bisa dijelaskan bagaimana menentukan konstanta bias optimum pada ridge regression? tolong di jawab ya.saya sedang mengerjakan tugas akhir

Yohan Naftali

Pertanyaannya bisa lebih dirinci lagi? pada prinsipnya adalah menggunakan teknik optimasi, yang biasa digunakan adalah optimasi dengan Levenberg–Marquardt algorithm (LMA)

alin

pak boleh tolong dijelaskan mengenai partial least square regressin(PLS)..
klo boleh saya minta materi tentang PLS,karena saya kesulitan mencari literaturnya..
terimakasih

Yohan Naftali

Pertanyaan-nya umum sekali ya….

coba download dulu di sini: http://www.utd.edu/~herve/Abdi-PLSR2007-pretty.pdf (ada contoh soalnya)

PLS regression is a recent technique that generalizes and combines
features from principal component analysis and multiple regression.
Its goal is to predict or analyze a set of dependent variables
from a set of independent variables or predictors. This prediction
is achieved by extracting from the predictors a set of orthogonal
factors called latent variables which have the best predictive
power.
PLS regression is particularly useful when we need to predict
a set of dependent variables from a (very) large set of independent
variables (i.e., predictors). It originated in the social sciences
(specifically economy, Herman Wold 1966) but became popular
first in chemometrics (i.e., computational chemistry) due in part
to Herman’s son Svante, (Wold, 2001) and in sensory evaluation
(Martens & Naes, 1989). But PLS regression is also becoming a tool
of choice in the social sciences as amultivariate technique for nonexperimental
and experimental data alike (e.g., neuroimaging, see
Mcintosh & Lobaugh, 2004; Worsley, 1997). It was first presented
as an algorithm akin to the power method (used for computing
eigenvectors) butwas rapidly interpreted in a statistical framework.

kalau mau algoritma pls1, baca di http://en.wikipedia.org/wiki/Partial_least_squares_regression kayaknya sudah dijelaskan dengan gamblang…

ini referensi lainnya http://cisrg.shef.ac.uk/people/jewelln/Regression%20Tutorial/index.htm… (ppt)

ada masih banyak lagi…

anton

Pak apakah benar adnya multikolinieritas pada variabel moderasi menjadi sebuah permakluman? jika iya tlg refrensi yang ada pak Thanx

admin

pelanggaran asumsi klasik wajib dilakukan perbaikan, coba beberapa kaidah perbaikan atau lakukan modifikasi persamaan/variabel.

galih

salam kenal…
pak…
di dalam artikel atas disebutkan bahwa

Tidak melakukan sesuatu merupakan anjuran dari Blanchard di mana multikolinieritas secara esensial adalah masalah defisiensi data atau micronumerosity dan kadang tidak ada pilihan terhadap analisis data yang tersedia.

bisa dijelaskan lebih lanjut?
mana masalah multikolinieritas yang dapat “diabaikan” dan mana masalah multiko yang harus dilakukan perbaikan…

Thanks

admin

dapat dimaklumi dikarenakan keterbatasan data yang ada dan tidak ada pilihan lagi, hasil regresi tidak BLUE

Laju

Pak berapa sebenarnya koefisien korelasi yang tepat untuk mendeteksi ada tidaknya multiko? kalau “r” nya 0,8023 apakah terdapat multiko?

arie

Pak,, Maw tanya Bagaimana cara mengatasi masalah multikolinier dengan cara prinsipal componen?

chuen shil

Salam kenal,
Saya sedang menyusun tesis dengan 1 var.dependen, 1 var. independen & 4 var moderasi. Untuk mengatasi multikol pada variabel moderasi tsb, rencananya saya tidak menggunakan MRA tp menggunakan uji residual lack of fit.
Pertanyaan saya:
1) Apakah uji saya sudah benar?
2) Apakah uji residual lack of fit tersebut hanya dapat digunakan u/1 var.moderasi? jika lebih dr 1, apakah hrs di-SEM-kan?
3) Dalam mencari suatu nilai (dalam hal ini non discretionary accrual pada earning management)diperoleh dari persamaan lain yang di-OLS (Ordinary Least Square)-kan dan diambil koefisiennya lalu dimasukkan ke persamaan ybs. Apakah hasil regresi tersebut harus berdistribusi normal dan harus memenuhi uji asumsi klasik padahal hanya diambil koefisiennya saja.
Terima kasih sebesar-besarnya. Maaf jika pertanyaan saya membingungkan.

irwan

pak apasih inti dari pada regresi ridge (minta refernsinya pak1)

mita

bolehkah saya bertanya mengenai hubungan antara matriks korelasi dengan vektor-vektor yang bebas linier?
.
begini pak,menaksir parameter regresi dengan OLS ada syarat agar variabel prediktornya bebas linier dan untuk mengetahui adanya kebergantung linier atau multikolinieritas dapat dengan melihat matris korelasi, namun saya bingung pak bagaimana kaitan antara matriks korelasi dengan kebebasan linier pada variabel prediktornya..
terima kasih banyak.

yuliyana

pak mohon penjelasan detail cara mengatasi masalah multikol yg ke (4) mentransformasi variabel, contohnya adalah dengan metode first difference form dan ratio transformation, mohon cara dan penjelasan lengkapnya, terimakasih

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.