Lains (2003) mengatakan bahwa istilah regresi dikemukakan untuk pertama kali oleh Francis Galton dalam artikelnya “Family Likeness in Stature” pada tahun 1886. Studinya ini menghasilkan apa yang dikenal dengan hukum regresi universal tentang tingginya anggota suatu masyarakat. Hukum tersebut menyatakan bahwa distribusi tinggi suatu masyarakat tidak mengalami perubahan yang besar sekali antar generasi. Hal ini dijelaskan Galton berdasarkan fakta yang memperlihatkan adanya kecenderungan mundurnya (regress) tinggi rata-rata anak dari orang tua dengan tinggi tertentu menuju tinggi rata-rata seluruh anggota masyarakat. Ini berarti terjadi penyusutan ke arah keadaan sekarang. Tetapi sekarang istilah regresi telah diberikan makna yang jauh berbeda dari yang dimaksudkan oleh Galton.
Otokorelasi
Nachrowi dan Usman (2006) menjelaskan bahwa pelanggaran asumsi yang hampir dipastikan ditemui pada setiap data time series adalah apa yang disebut dengan otokorelasi. Langkah-langkah yang digunakan untuk menanggulangi otokorelasi ini, secara tidak langsung akan mampu pula menghindari pelanggaran asumsi lainnya. Oleh karena itulah, dalam data time series, masalah otokorelasi inilah yang menjadi fokus perhatian utama.
Heteroskedastisitas
Asumsi penting lainnya dari classical linier regression model adalah bahwa disturbance term error dan homoskedastisitas varians sama untuk semua disturbance term error. Masalah heteroskedastisitas akan lebih sering muncul pada data cross-sectional daripada time series.
Heteroskedastisitas terjadi apabila varians dari setiap kesalahan pengganggu tidak bersifat konstan. Dampak yang akan ditimbulkan adalah asumsi yang terjadi masih tetap tidak berbias, tetapi tidak lagi efisien.
Halbert White mengatakan bahwa uji Χ2 merupakan uji umum ada tidaknya kesalahan spesifikasi model karena hipotesis nol yang melandasi adalah asumsi bahwa: (1) residual adalah homoskedastisitas dan merupakan variabel independen, (2) spesifikasi linear atas model sudah benar. Dengan hipotesis nol tidak ada heteroskedastisitas, jumlah observasi (n) dikalikan R2 yang diperoleh dari regresi auxiliary secara simtotis akan mengikuti distribusi Chi Square dengan derajat kebebasan sama dengan jumlah variabel independen (tidak termasuk konstanta). Bila salah satu atau kedua asumsi ini tidak dipenuhi akan mengakibatkan nilai statistik t yang signifikan. Namun sebaliknya, jika nilai statistik t tidak signifikan, berarti kedua asumsi di atas dipenuhi, artinya model yang digunakan lolos dari masalah heteroskedastisitas.
Manurung et al. (2005) menjelaskan bahwa ada dua cara untuk mendeteksi keberadaan heteroskedastisitas, yaitu metode informal dan metode formal. Metode informal biasanya dilakukan dengan melihat grafik plot dari nilai prediksi variabel independen (ZPRED) dengan residualnya (SRESID). Variabel dinyatakan tidak terjadi heteroskedastisitas jika tidak terdapat pola yang jelas dan titik-titik menyebar di atas dan di bawah angka nol pada sumbu Y. Metode formal untuk mendeksi keberadaan heteroskedastisitas antara lain dengan Park Test, Glejser Test, Spearman’s Rank Correlation Test, Golfeld-Quandt Test, Breusch-Pagan-Godfrey Test, White’s General Heteroscedasticity Test, dan Koenker-Basset Test.
Nachrowi dan Usman (2006) menjelaskan bahwa data cross section sering memunculkan varians error yang heteroskedastis, akan tetapi, bukan berarti data time series terhindar dari permasalahan ini. Indeks harga saham, inflasi, nilai tukar, atau suku bunga, seringkali mempunyai varians error yang tidak konstan. Sekalipun keberadaan heteroskedastisitas masih memberikan pendugaan yang tidak bias dan konsisten, pendugaan tersebut sudah tidak efisien, yaitu varians dari estimator tidak minimum. Akibatnya pada uji t, interval kepercayaan, dan berbagai ukuran lainnya, menjadi tidak tepat. Model yang dikenal sebagai AutoRegressive Conditional Heteroscedasticity (ARCH) dan Generalized AutoRegressive Conditional Heteroscedasticity (GARCH) justru memanfaatkan heteroskedastisitas untuk membuat model.
Misalkan kita memiliki persamaan regresi
Yi = a0 + a1.Xi + ei
regresikan persamaan untuk mendapatkan a0, a1 dan nilai residualnya (ei)
Uji Heteroskedastisitas dengan metode di bawah ini:
A. Uji Park
Heteroskedastisitas terjadi apabila varians dari setiap kesalahan pengganggu tidak bersifat konstan. Dampak yang akan ditimbulkan adalah asumsi yang terjadi masih tetap tidak berbias, tetapi tidak lagi efisien.
Halbert White mengatakan bahwa uji Χ2 merupakan uji umum ada tidaknya kesalahan spesifikasi model karena hipotesis nol yang melandasi adalah asumsi bahwa: (1) residual adalah homoskedastisitas dan merupakan variabel independen, (2) spesifikasi linear atas model sudah benar. Dengan hipotesis nol tidak ada heteroskedastisitas, jumlah observasi (n) dikalikan R2 yang diperoleh dari regresi auxiliary secara simtotis akan mengikuti distribusi Chi Square dengan derajat kebebasan sama dengan jumlah variabel independen (tidak termasuk konstanta). Bila salah satu atau kedua asumsi ini tidak dipenuhi akan mengakibatkan nilai statistik t yang signifikan. Namun sebaliknya, jika nilai statistik t tidak signifikan, berarti kedua asumsi di atas dipenuhi, artinya model yang digunakan lolos dari masalah heteroskedastisitas.
Manurung et al. (2005) menjelaskan bahwa ada dua cara untuk mendeteksi keberadaan heteroskedastisitas, yaitu metode informal dan metode formal. Metode informal biasanya dilakukan dengan melihat grafik plot dari nilai prediksi variabel independen (ZPRED) dengan residualnya (SRESID). Variabel dinyatakan tidak terjadi heteroskedastisitas jika tidak terdapat pola yang jelas dan titik-titik menyebar di atas dan di bawah angka nol pada sumbu Y. Metode formal untuk mendeksi keberadaan heteroskedastisitas antara lain dengan Park Test, Glejser Test, Spearman’s Rank Correlation Test, Golfeld-Quandt Test, Breusch-Pagan-Godfrey Test, White’s General Heteroscedasticity Test, dan Koenker-Basset Test.
Nachrowi dan Usman (2006) menjelaskan bahwa data cross section sering memunculkan varians error yang heteroskedastis, akan tetapi, bukan berarti data time series terhindar dari permasalahan ini. Indeks harga saham, inflasi, nilai tukar, atau suku bunga, seringkali mempunyai varians error yang tidak konstan. Sekalipun keberadaan heteroskedastisitas masih memberikan pendugaan yang tidak bias dan konsisten, pendugaan tersebut sudah tidak efisien, yaitu varians dari estimator tidak minimum. Akibatnya pada uji t, interval kepercayaan, dan berbagai ukuran lainnya, menjadi tidak tepat. Model yang dikenal sebagai AutoRegressive Conditional Heteroscedasticity (ARCH) dan Generalized AutoRegressive Conditional Heteroscedasticity (GARCH) justru memanfaatkan heteroskedastisitas untuk membuat model.
Misalkan kita memiliki persamaan regresi
Yi = a0 + a1.Xi + ei
regresikan persamaan untuk mendapatkan a0, a1 dan nilai residualnya (ei)
Uji Heteroskedastisitas dengan metode di bawah ini:
A. Uji Park
- Regresikan nilai absolut residual (ei) pada x
ln(ei^2) = b0 + b1.ln(Xi) + Vi - Bila b1 signifikan beda dengan 0 (uji t) maka persamaan memiliki masalah hetrosekdastistas
- Pada multivariate, cobakan tiap tiap variabel independen (Xi) atau variabel dependen (Yi)
- Regresikan nilai absolut ei pada x
|ei| = b0 + b1.Xi + Vi atau
|ei| = b0 + b1.sq(Xi^2) + Vi atau
|ei| = b0 + b1.(1/Xi) + Vi atau
dll - Apabila t pada b1 signifikan artinya ada heteroskedastistas
- Pada multivariate, cobakan tiap tiap variabel independen (Xi) atau variabel dependen (Yi)
- Urutkan data X berdasarkan nilainya
- Bagi data menjadi 2, satu bagian memiliki nilai yang tinggi, bagian lainnya memiiki nilai yang rendah, sisihkan data pada nilai tengah
- Jalankan regresi untuk masing-masing data
- Hitung F test, F=[ESSlarge X/df]/[ESSsmall X/df]
- Apabila nilai F unite, maka homoskedastistas
B. Uji Glejser:
C. Uji Goldfeld-Quandt
Multikolinieritas dalam regresi
Nachrowi dan Usman (2006) menjelaskan bahwa multikolinieritas dapat dideteksi dengan adanya koefisien determinasi (R2) yang tinggi dan uji F yang signifikan tetapi banyak koefisien regresi dalam uji t yang tidak signifikan, atau secara substansi interprestasi yang didapat meragukan. Akan tetapi deteksi ini bersifat subyektif, uji formal dibutuhkan untuk mendeteksi keberadaan multikolinieritas.
Ada beberapa cara untuk mendeteksi ada tidaknya gejala multikolinieritas yang antara lain, pertama menurut Gujarati (2003) dengan melihat pada matriks korelasi (korelasi antar variabel bebas), yaitu jika korelasi antar variabel melebihi 0,50 diduga terdapat gejala multikolinieritas. Yang kedua menurut Neter et al. (1993) disarankan melihat pada nilai Variance Inflation Factor (VIF), yaitu jika nilai VIF kurang dari 10 maka tidak terdapat multikolinieritas.
Motgomery dan Peck sumber menjelaskan penyebab multikolinieritas adalah: (1) metode pengumpulan data yang digunakan membatasi nilai dari regressor, (2) kendala model pada populasi yang diamati, (3) spesifikasi model, (4) penentuan jumlah variabel eksplanatoris yang lebih banyak dari jumlah observasi atau overdetermined model, (5) data time series, trend tercakup dalam nilai variabel eksplanatoris yang ditunjukkan oleh penurunan atau peningkatan sejalan dengan waktu. Kadang kala aplikasi data sekunder mengalami masalah penaksiran atau menolak asumsi klasik dari model regresi linier.
Konsekuensi praktis dari multikolinieritas tak sempurna adalah: (1) ordinary least squares estimator mempunyai varians dan kovarians yang besar dan mengakibatkan penaksiran kurang efisien, (2) karena penaksiran kurang akurat, interval keyakinan cenderung lebih besar dan cenderung tidak menolak hipotesis nol, (3) karena penaksiran kurang akurat maka nilai statistik t satu atau lebih cenderung tidak signifikan secara statistik, (4) walaupun nilai t statistik tidak signifikan tetapi nilai koefisien determinasinya tinggi, (5) ordinary least squares estimator dan kesalahan baku koefisien sangat sensitif terhadap perubahan kecil di dalam data. Bila terjadi multikolinieritas serius ada dua pilihan yaitu: (1) tidak melakukan sesuatu, (2) mengikuti beberapa kaidah perbaikan multikolinieritas. Tidak melakukan sesuatu merupakan anjuran dari Blanchard di mana multikolinieritas secara esensial adalah masalah defisiensi data atau micronumerosity dan kadang tidak ada pilihan terhadap analisis data yang tersedia.
Beberapa kaidah perbaikan terhadap multikolinieritas tergantung pada masalahnya yaitu: (1) informasi teoritis, (2) mengkombinasikan data cross section dengan time series, kombinasi ini disebut pooling the data, (3) mengeluarkan variabel dan bias spesifikasi, (4) mentransformasi variabel, contohnya adalah dengan metode first difference form dan ratio transformation, (5) penambahan data baru, (6) mengurangi regresi dalam bentuk fungsi polynomial, (6) menggunakan factor analysis dan principals components atau ridge regression. Masalah multikolinieritas tidak selalu buruk jika tujuan untuk melakukan prediksi atau peramalan karena koefisien determinasi yang tinggi merupakan ukuran kebaikan dari prediksi atau peramalan. Oleh sebab itu bila koefisien determinasi tinggi dan signifikasi koefisien slope tinggi maka model regresi pada umumnya tidak mengalami masalah multikolinieritas. Data time series menunjukkan bahwa semakin panjang lag maka korelasi antar variabel bebas atau multikolinieritas semakin tinggi.