Regresi

Lains (2003) mengatakan bahwa istilah regresi dikemukakan untuk pertama kali oleh Francis Galton dalam artikelnya “Family Likeness in Stature” pada tahun 1886. Studinya ini menghasilkan apa yang dikenal dengan hukum regresi universal tentang tingginya anggota suatu masyarakat. Hukum tersebut menyatakan bahwa distribusi tinggi suatu masyarakat tidak mengalami perubahan yang besar sekali antar generasi. Hal ini dijelaskan Galton berdasarkan fakta yang memperlihatkan adanya kecenderungan mundurnya (regress) tinggi rata-rata anak dari orang tua dengan tinggi tertentu menuju tinggi rata-rata seluruh anggota masyarakat. Ini berarti terjadi penyusutan ke arah keadaan sekarang. Tetapi sekarang istilah regresi telah diberikan makna yang jauh berbeda dari yang dimaksudkan oleh Galton.

Secara luas analisis regresi diartikan sebagai suatu analisis tentang ketergantungan suatu variabel kepada variabel lain yaitu variabel bebas dalam rangka membuat estimasi atau prediksi dari nilai rata-rata variabel tergantung dengan diketahuinya nilai variabel bebas.

Nachrowi dan Usman (2006) menjelaskan bahwa Gauss Markov telah membuktikan bahwa penduga dalam regresi mempunyai sifat BLUE (best linier unbiased estimate), atau mempunyai sifat yang linier, tidak bias, dan varians minimum, bila beberapa persyaratan terpenuhi. Manurung et al. (2005) mengatakan bahwa The Gaussian atau Classical Linear Regression Model (CLRM) membuat 10 asumsi. Asumsi tersebut adalah:

  1. model regresi linier,
  2. nilai variabel eksplanatoris tetap pada sampel berulang. Secara teknis variabel bebas diasumsikan nonstochastic, artinya analisis regresi adalah analisis regresi bersyarat pada nilai regressor tertentu,
  3. nilai rata-rata dari disturbance term error ε adalah nol,
  4. homoskedastisitas atau varians εi sama untuk seluruh observasi,
  5. tidak ada otokorelasi antara disturbance term,
  6. kovarians antara disturbance term regressor adalah nol, dengan kata lain disturbance term error dan regressor tidak berkorelasi,
  7. jumlah observasi harus lebih besar dari jumlah parameter yang ditaksir atau jumlah observasi harus lebih besar dari jumlah variabel eksplanatoris,
  8. variabilitas dalam variabel eksplanatoris, artinya nilai variabel bebas harus bervariasi,
  9. model regresi dispesifikasi dengan benar,
  10. tidak terdapat multikolinier sempurna.

Pengujian normalitas dilakukan untuk menguji apakah dalam model regresi, variabel independen dan dependen mempunyai distribusi normal atau tidak. Tetapi jika terjadi penyimpangan terhadap asumsi distribusi normalitas, maka masih tetap menghasilkan penduga koefisien regresi yang linier, tidak berbias dan terbaik. Penyimpangan asumsi normalitas ini akan semakin kecil pengaruhnya apabila jumlah sampel diperbesar. Salah satu penyelesaiannya  adalah dengan cara mengubah bentuk nilai variabel yang semula nilai absolut ditransformasikan menjadi bentuk lain (kuadratik, resiprokal dan lain sebagainya) sehingga distribusi menjadi normal.

Pengujian normalitas ini biasanya dilakukan dengan menggunakan rasio skewness yang memperbandingkan antara nilai skewness yang dihasilkan dengan nilai standard error. Model regresi dianggap berdistribusi normal jika rasio skewness berada pada range antara –2 hingga +2.

Regresi Linier Sederhana
Persamaan regresi paling sederhana adalah persamaan regresi linier sederhana (simple linear regression). Persamaan ini dengan mudah dapat diselesaikan dengan teknik aljabar.

Persamaan : Y = a + b.X
Y = Variabel dependent
X = Variabel independent
a = intercept
b = slope

Permasalahan dalam regresi linier sederhana adalah mencari nilai koefisien a dan b. Teknik aljabar akan digunakan sebagai contoh penyelesaian permasalahan ini.

  • Langkah 1. Membentuk persamaan aljabar
    Σy = n.a + b .Σx
    Σy.x = a. Σx + b .Σ(x^2)
  • Langkah 2. Membentuk matriks Y = X.K
    persamaan-matrix-aljabar-linier
  • Langkah 3. Menyelesaikan persamaan matriks
    [Y] = [X].[K]
    [K]= [Y].([X]^-1)

    [X]^-1 adalah invers dari matrix X

    Untuk mencari invers matriks X dapat diselesaikan dengan cara eliminasi gauss jordan
    Prinsip eliminasi gauss jordan adalah menggunakan sifat matriks [X.I] = [I.X^-1].
    I adalah matrik identitas, dalam hal ini adalah matrik bujursangkar yang dimensinya sama dengan matrik X dan memiliki nilai 1 pada setiap sel yang nomer baris dan kolomnya sama, sedangkan untuk sel lainnya bernilai 0.

Metode lain untuk penyelesaian regresi linier sederhana adalah dengan menggunakan persamaan yang sudah disederhanakan menjadi:
formula-b

Sedangkan untuk mencari koefisien a adalah dengan cara menggunakan persamaan:
formula-a

Yohan Naftali
http://yohanli.com

16 Comments

fiki

salam statistik!!!

saya mau bertanya tentang regresi.
saya memiliki penelitian dengan 4 variabel bebas dan 1 var terikat. ternyata dari 4 var bebas ada dua variabelyang sebaran datanya tidak normal. lalu jika ternyata data yang diperoleh sudah tidak bisa di utak atik lagi (tidak bisa di lakukan perbesaran sampel dll), alias tetap menjadi tidak normal. lalu analisis regresi yang seperti apa yang digunakan?

Yohan Naftali

Salam !

Syarat regresi dalam uji normalitas yang dimaksud bukan sebaran datanya, tetapi sebaran dari errornya yang harus normal lho!

Regresikan dulu kemudian disturbance term errornya diuji normalitas… nah ini uji normalitas yang dimaskud dalam asumsi klasik. Kalau data sebarannya tidak normal, ya pasti sebagian besar data tidak berdistribusi normal, apalagi data data ekonomi, inflasi apakah sebarannya normal? nggak kan…

Kalau setelah diregresikan ternyata disturbance term errornya tidak tersebar normal, maka OLS tidak boleh digunakan secara langsung, cara untuk mengatasinya salah satunya dengan mengubah persamaan menjadi persamaan log atau pakai Metode Maximum Likelihood untuk regresinya.

yuli

saya mw tau tentang multikolinier, peubah kategori dan data dengan pengamatan berulang

Yohan Naftali

silakan apa yang ingin ditanyakan?

Sarjono

Yth. Pak Yohan.
Saya sedang olah data dengan SPSS. Bagaimana mencari nilai Jarque Berra dengan SPSS, maaf soalnya masih pemula. (mohon langkah2nya secara detail ya pak).
Atau mungkin ada alternatif lain untuk menguji normalitas data. Data saya berbentuk scale (ratio).
Trima kasih sebelumnya. Ditunggu.

admin

kenapa tidak pakai eviews saja pak lebih gampang, setelah regresi tinggal pilih menu residual test lalu pilih normality test

kalau spss harus pakai makro,

cek di sini contohnya:
http://psyphz.psych.wisc.edu/~shackman/decarlo_normtest.sps

contoh syntax pilih new syntax:

* Sample dataset *.
DATA LIST FREE/bilirrubin (F8).
BEGIN DATA
25 178 15 10 90 30 280 20 58 8
20 75 85 12 158 10 6 22 103 16
170 28 240 8 16 20 80 420 36 24
70 22 14 5 130 54 25 22 15 22
50 24 143 42 4 18 44 220 54 38
135 24 78 24 4 152 68 45 38 18
120 18 30 20 360 26 12 16 310 72
48 96 32 22 55 12 10 62 46 35
15 192 20 65 42 6 60 34 14 115
9 164 12 40 18 530 32 104 28 6
81 10 26 94 46 40 14 40
END DATA.
VAR LEVEL bilirrubin(SCALE).

* Syntax *.
OMS
/SELECT TABLES
/IF COMMANDS = ‘Explore’
SUBTYPES = ‘Percentiles’
/DESTINATION FORMAT = SAV
OUTFILE = ‘C:\Temp\Octiles.sav’.
OMS
/SELECT TABLES
/IF COMMANDS = ‘Explore’
SUBTYPES = ‘Case Processing Summary’
/DESTINATION VIEWER = NO.
EXAMINE
VARIABLES=bilirrubin
/PLOT BOXPLOT
/PERCENTILES(12.5,25,37.5,50,62.5,75,87.5) AEMPIRICAL
/STATISTICS NONE
/NOTOTAL.
OMSEND.

MATRIX.
* Get octiles *.
GET Ei /VAR=@… TO @87.5 /FILE=’C:\Temp\Octiles.sav’
/MISSING=OMIT.
* Skewness: Bowley’s SK2 *.
COMPUTE SK2=(Ei(6)+Ei(2)-2*Ei(4))/(Ei(6)-Ei(2)).
* Kurtosis: Moor’s KR2 *.
COMPUTE KR2=(Ei(7)-Ei(5)+Ei(3)-Ei(1))/(Ei(6)-Ei(2))-1.233.
* Reports *.
PRINT Ei(4)
/FORMAT=’F8.1′
/TITLE=’Sample median (used for Wilcoxon signed-rank test of symmetry
around the median)’.
PRINT {SK2;KR2}
/FORMAT=’F8.3′
/RLABEL=’SK2′,’KR2′
/TITLE=”Robust measures of skweness & kurtosis: Bowley’s SK2 and Moor’s
centered KR2″.
PRINT/TITLE=’SK2 Skewness: range [-1; 1]. -ve skewed to the left, +ve
skewed to the right’.
PRINT/TITLE=’KR2 Kurtosis: range [-1.233; infinity]. -ve platikurtic,
+ve leptokurtic’.
END MATRIX.

TEMPORARY.
COMPUTE k=1.
AGGREGATE
/OUTFILE=*
MODE=ADDVARIABLES
/BREAK=k
/SampleMedian = MEDIAN(bilirrubin).
NPAR TEST
/WILCOXON=SampleMedian WITH bilirrubin .
DELETE VARIABLES SampleMedian.

paskani

Pak, saya mau tanya.
Saya bingung dengan sebutan rank estimation, dan asymptotic normality.
Mohon dijelaskan ya pak.
Trims.

V

Salam !

Syarat regresi dalam uji normalitas yang dimaksud bukan sebaran datanya, tetapi sebaran dari errornya yang harus normal lho!

Regresikan dulu kemudian disturbance term errornya diuji normalitas… nah ini uji normalitas yang dimaskud dalam asumsi klasik. Kalau data sebarannya tidak normal, ya pasti sebagian besar data tidak berdistribusi normal, apalagi data data ekonomi, inflasi apakah sebarannya normal? nggak kan…

Kalau setelah diregresikan ternyata disturbance term errornya tidak tersebar normal, maka OLS tidak boleh digunakan secara langsung, cara untuk mengatasinya salah satunya dengan mengubah persamaan menjadi persamaan log atau pakai Metode Maximum Likelihood untuk regresinya.

Pertanyaan:
Saya mau tanya, pak.
Berdasarkan jwbn bapak di atas, jadi var dependen dan independennya tidak perlu dihitung normalitasnya? Cukup sebaran errornya? Langkah2nya dalam spss gmn ya? Kalau bs tolong dijelaskan. Hehehe.

Apabila hasil sebaran errornya blom normal jg, dan harus dilakukan penghapusan data (misalnya dengan boxplot atau z-score). Maka data yg digunakan adalah data awal (x dan y) atau sebaran errornya?

Terima kasih sebelumnya.

:)

admin

Plot histogram dari residual membantu untuk melihat apakah sebaran normal atau tidak. Kalau menggunakan eviews lebih mudah menganalisis residual karena statistik jarqur-berra langsung ditampilkan.

astri

Pa, mw nanya nie!!!
bagaimana kalo ada vaiabel yang distribusi normal, sebagia ada juga yang tidak, lalu yang digunakan statistik parametrik atau non parametrik?

trims

faradillah

Salam kenal pak,,,
Pak mau nanya, sy sedang mengolah data, dan data saya g normal. Nilai variabel campur pak, ada yang positif dan yang min (negatif). Saya menggunakan 4 variabel independen dan 1 variabel dependen. Yang saya mw tanyakan.
1.Sy mencoba menggunakan LN tapi data yang bernilai min hilang semua (missing), kalau data ada yang bernilai min, lebih baik menggunakan transformasi jenis apa pak?
2.Oiy pak data yang missing bagaimana, apa harus diabaikan (tidak digunakan)?
3.Saat menggunakan LN dari 4 variabel independen ada 1 variabel yang belum
normal, nilai residualnya masih di bawah 0,05 (uji menggunakan K-S), apa yang harus dilakukan pak, padahal variabel yang lain sudah normal?
terimakasih pak,,,

Lely

Salam kenal pak…
Pak, saya mau tanya.
Saya sedang mengolah data di spss, menggunakan 1 variabel dependent dan 3 variabel independent. tetapi dalam salah satu variabel independent tsb, ada yang bernilai o (nol), bagaimana cara menyelesaikannya di spss ya pak?

Trimakasih

eka

salam pak
cara untuk mendapatkan nilai regresi auxiliary gmana??
dan juga cara melakukan regresi auxiliary gmana??

terima kasih

dwi

salam pak.
untuk uji statistik regresi berganda dengan sampel pooled data itu gmn pak?
jumlah sampel 28 perusahaan (pooled data)
mohon bantuannya, terimakasih

fhula

salam pak..!
mw tax,,,
bgmn mencari selang kepercayaan model regresi non linier model resiprokal menggunakan MLE?? coz sy pke OLS tidak bisa di dapat hasilnya,,, terima kasih..!

erma

salam pak, saya ingin bertanya tentang Pengujian Regresi Auxiliary R2, apa yang dimaksud dengan pengujian tersebut dan bagaimana langkahnya??mohon bantuannya.terimakasih

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.