Sejarah Regresi

Istilah regresi dikemukakan untuk pertama kali oleh seorang antropolog dan ahli meteorology Francis Galton dalam artikelnya “Family Likeness in Stature” pada tahun 1886. Ada juga sumber lain yang menyatakan istilah regresi pertama kali mucul dalam pidato Francis Galton didepan Section H of The British Association di Aberdeen, 1855, yang dimuat di majalah Nature September 1855 dan dalam sebuah makalah “Regression towards mediocrity in hereditary stature”, yang dimuat dalam Journal of The Antrhopological Institute (Draper and Smith, 1992).

Studinya ini menghasilkan apa yang dikenal dengan hukum regresi universal tentang tingginya anggota suatu masyarakat. Hukum tersebut menyatakan bahwa distribusi tinggi suatu masyarakat tidak mengalami perubahan yang besar sekali antar generasi. Hal ini dijelaskan Galton berdasarkan fakta yang memperlihatkan adanya kecenderungan mundurnya (regress) tinggi rata-rata anak dari orang tua dengan tinggi tertentu menuju tinggi rata-rata seluruh anggota masyarakat. Ini berarti terjadi penyusutan ke arah keadaan sekarang. Tetapi sekarang istilah regresi telah diberikan makna yang jauh berbeda dari yang dimaksudkan oleh Galton. Secara luas analisis regresi diartikan sebagai suatu analisis tentang ketergantungan suatu variabel kepada variabel lain yaitu variabel bebas dalam rangka membuat estimasi atau prediksi dari nilai rata-rata variabel tergantung dengan diketahuinya nilai variabel bebas.
Selanjutnya Karl Pearson, membuat sebuah jurnal Biometrika yang berisi hasil kajian penelitian statistika dari peneliti ASIA (menurutnya Asia lebih baik dalam perkembangan aritmatika dibandingkan dengan Eropa). Selanjutnya ditemukan teori kai kuadrat (chi square) X2 di tahun 1900, yaitu apabila datanya berkelompok (berbentuk kategorik). Mis : Kelompok perokok à berat, sedang, tdk merokok, kemudian Ca Paru à C1, C2 dan C3. Apakah ada hubungan antara kelompok perokok dengan status Ca Paru ?
Selanjutnya di abad ke 20, William S Gosset menemukan ‘distribusi t’ , menurutnya apabila n sampel semakin besar maka kurvanya semakin mencapai distribusi normal. Sampai n = 30 à normal.
Mengenai penamaan ‘t’ adalah singkatan dari student, diceritakan bahwa Gosset adalah seorang ahli kimia yang bekerja di pabrik Guinness beer, ketika ia menemukan teori tersebut dan akan dipublikasikan ke jurnal biometrika, maka pihak pabrik meminta diberikan nama teori sesuai dengan nama pabrik “Guinness”. Untuk menyamarkan penamaannya, maka ia menggunakan kata ‘student’ disebabkan ia adalah student dari Gauss.
Dalam perjalanan waktu ternyata distribusi t lebih popular dibandingkan dengan distribusi Z menunjukkan seringkali murid jauh lebih pintar dibandingkan dengan gurunya.
Selanjutnya distribusi F ditemukan oleh Fisher, merupakan pengembangan dari uji t dimana kombinasinya lebih banyak. Uji F, nantinya berkembang menjadi uji ANOVA (analysis of variance). Selanjunya seiring dengan pesatnya teknologi computer, maka perkembangan statistik melompat jauh ke depan.
Nachrowi dan Usman (2006) menjelaskan bahwa Gauss Markov telah membuktikan bahwa penduga dalam regresi mempunyai sifat BLUE (best linier unbiased estimate), atau mempunyai sifat yang linier, tidak bias, dan varians minimum, bila beberapa persyaratan terpenuhi. Manurung et al. (2005) mengatakan bahwa The Gaussian atau Classical Linear Regression Model (CLRM) membuat 10 asumsi. Asumsi tersebut adalah: (1) model regresi linier, (2) nilai variabel eksplanatoris tetap pada sampel berulang. Secara teknis variabel bebas diasumsikan nonstochastic, artinya analisis regresi adalah analisis regresi bersyarat pada nilai regressor tertentu, (3) nilai rata-rata dari disturbance term error ε adalah nol, (4) homoskedastisitas atau varians εi sama untuk seluruh observasi, (5) tidak ada otokorelasi antara disturbance term, (6) kovarians antara disturbance term regressor adalah nol, dengan kata lain disturbance term error dan regressor tidak berkorelasi, (7) jumlah observasi harus lebih besar dari jumlah parameter yang ditaksir atau jumlah observasi harus lebih besar dari jumlah variabel eksplanatoris, (8) variabilitas dalam variabel eksplanatoris, artinya nilai variabel bebas harus bervariasi, (9) model regresi dispesifikasi dengan benar, (10) tidak terdapat multikolinier sempurna

diperoleh dari berbagai sumber