Lains (2003) mengatakan bahwa istilah regresi dikemukakan untuk pertama kali oleh Francis Galton dalam artikelnya “Family Likeness in Stature” pada tahun 1886. Studinya ini menghasilkan apa yang dikenal dengan hukum regresi universal tentang tingginya anggota suatu masyarakat. Hukum tersebut menyatakan bahwa distribusi tinggi suatu masyarakat tidak mengalami perubahan yang besar sekali antar generasi. Hal ini dijelaskan Galton berdasarkan fakta yang memperlihatkan adanya kecenderungan mundurnya (regress) tinggi rata-rata anak dari orang tua dengan tinggi tertentu menuju tinggi rata-rata seluruh anggota masyarakat. Ini berarti terjadi penyusutan ke arah keadaan sekarang. Tetapi sekarang istilah regresi telah diberikan makna yang jauh berbeda dari yang dimaksudkan oleh Galton.

Secara luas analisis regresi diartikan sebagai suatu analisis tentang ketergantungan suatu variabel kepada variabel lain yaitu variabel bebas dalam rangka membuat estimasi atau prediksi dari nilai rata-rata variabel tergantung dengan diketahuinya nilai variabel bebas.

Nachrowi dan Usman (2006) menjelaskan bahwa Gauss Markov telah membuktikan bahwa penduga dalam regresi mempunyai sifat BLUE (best linier unbiased estimate), atau mempunyai sifat yang linier, tidak bias, dan varians minimum, bila beberapa persyaratan terpenuhi. Manurung et al. (2005) mengatakan bahwa The Gaussian atau Classical Linear Regression Model (CLRM) membuat 10 asumsi. Asumsi tersebut adalah:

1. model regresi linier,
2. nilai variabel eksplanatoris tetap pada sampel berulang. Secara teknis variabel bebas diasumsikan nonstochastic, artinya analisis regresi adalah analisis regresi bersyarat pada nilai regressor tertentu,
3. nilai rata-rata dari disturbance term error ε adalah nol,
4. homoskedastisitas atau varians εi sama untuk seluruh observasi,
5. tidak ada otokorelasi antara disturbance term,
6. kovarians antara disturbance term regressor adalah nol, dengan kata lain disturbance term error dan regressor tidak berkorelasi,
7. jumlah observasi harus lebih besar dari jumlah parameter yang ditaksir atau jumlah observasi harus lebih besar dari jumlah variabel eksplanatoris,
8. variabilitas dalam variabel eksplanatoris, artinya nilai variabel bebas harus bervariasi,
9. model regresi dispesifikasi dengan benar,
10. tidak terdapat multikolinier sempurna.

Pengujian normalitas dilakukan untuk menguji apakah dalam model regresi, variabel independen dan dependen mempunyai distribusi normal atau tidak. Tetapi jika terjadi penyimpangan terhadap asumsi distribusi normalitas, maka masih tetap menghasilkan penduga koefisien regresi yang linier, tidak berbias dan terbaik. Penyimpangan asumsi normalitas ini akan semakin kecil pengaruhnya apabila jumlah sampel diperbesar. Salah satu penyelesaiannya  adalah dengan cara mengubah bentuk nilai variabel yang semula nilai absolut ditransformasikan menjadi bentuk lain (kuadratik, resiprokal dan lain sebagainya) sehingga distribusi menjadi normal.

Pengujian normalitas ini biasanya dilakukan dengan menggunakan rasio skewness yang memperbandingkan antara nilai skewness yang dihasilkan dengan nilai standard error. Model regresi dianggap berdistribusi normal jika rasio skewness berada pada range antara –2 hingga +2.

Regresi Linier Sederhana
Persamaan regresi paling sederhana adalah persamaan regresi linier sederhana (simple linear regression). Persamaan ini dengan mudah dapat diselesaikan dengan teknik aljabar.

Persamaan : Y = a + b.X
Y = Variabel dependent
X = Variabel independent
a = intercept
b = slope

Permasalahan dalam regresi linier sederhana adalah mencari nilai koefisien a dan b. Teknik aljabar akan digunakan sebagai contoh penyelesaian permasalahan ini.

• Langkah 1. Membentuk persamaan aljabar
  Σy = n.a + b .Σx
  Σy.x = a. Σx + b .Σ(x^2)
• Langkah 2. Membentuk matriks Y = X.K
  
• Langkah 3. Menyelesaikan persamaan matriks
  [Y] = [X].[K]
  [K]= [Y].([X]^-1)

  [X]^-1 adalah invers dari matrix X

  Untuk mencari invers matriks X dapat diselesaikan dengan cara eliminasi gauss jordan
  Prinsip eliminasi gauss jordan adalah menggunakan sifat matriks [X.I] = [I.X^-1].
  I adalah matrik identitas, dalam hal ini adalah matrik bujursangkar yang dimensinya sama dengan matrik X dan memiliki nilai 1 pada setiap sel yang nomer baris dan kolomnya sama, sedangkan untuk sel lainnya bernilai 0.

Metode lain untuk penyelesaian regresi linier sederhana adalah dengan menggunakan persamaan yang sudah disederhanakan menjadi:

Sedangkan untuk mencari koefisien a adalah dengan cara menggunakan persamaan: