Analisis Regresi

PENGERTIAN REGRESI

Secara umum ada dua macam hubungan antara dua variabel atau lebih, yaitu bentuk hubungan dan keeratan hubungan. Untuk mengetahui bentuk hubungan digunakan analisis regresi. Untuk keeratan hubungan dapat diketahui dengan analisis korelasi. Analisis regresi dipergunakan untuk menelaah hubungan antara dua variabel atau lebih, terutama untuk menelusuri pola hubungan yang modelnya belum diketahui dengan sempurna, atau untuk mengetahui bagaimana variasi dari beberapa variabel independen mempengaruhi variabel dependen dalam suatu fenomena yang kompleks. Jika X1, X2, … , Xi adalah variabel-variabel independen dan Y adalah variabel dependen, maka terdapat hubungan fungsional antara X dan Y, di mana variasi dari X akan diiringi pula oleh variasi dari Y. Secara matematika hubungan di atas dapat dijabarkan sebagai berikut: Y = f(X1, X2, …, Xi, e), di mana : Y adalah variabel dependen, X adalah variabel independen dan e adalah variabel residu (disturbance term).

Linear Regression digunakan untuk melakukan pengujian hubungan antara sebuah variabel dependent (tergantung) dengan satu atau beberapa variabel independent (bebas) yang ditampilkan dalam bentuk persamaan regresi. Jika variabel dependent dihubungkan dengan satu variabel independent saja, persamaan regresi yang dihasilkan adalah regresi linear sederhana (linear regression). Jika variabel independent-nya lebih dari satu, maka persamaan regresinya adalah persamaan regresi linear berganda (multiple linear regression).
Jenis data yang cocok untuk uji regresi linear, baik untuk variabel dependent maupun independent adalah data rasio. Namun dapat juga dengan data berbentuk kualitatif (kategori), tetapi harus dibantu dengan variabel boneka (dummy variabel). Misalnya untuk membedakan jenis kelamin, laki-laki diberi kode angka “1” dan wanita angka “2”.
Persamaan regresi yang dihasilkan berupa taksiran (estimasi) dari hasil pengamatan. Oleh karena itu, biasanya digunakan simbol Ŷ (Y dengan topi) yang menunjukkan hasil taksiran tersebut dan membedakannya dengan Y (Y tanpa topi) sebagai hasil pengamatan populasi
Untuk mengukur besarnya pengaruh variabel bebas terhadap variabel tergantung dan memprediksi variabel tergantung dengan menggunakan variabel bebas. Gujarati (2006) mendefinisikan analisis regresi sebagai kajian terhadap hubungan satu variabel yang disebut sebagai variabel yang diterangkan (the explained variabel) dengan satu atau dua variabel yang menerangkan (the explanatory). Variabel pertama disebut juga sebagai variabel tergantung dan variabel kedua disebut juga sebagai variabel bebas. Jika variabel bebas lebih dari satu, maka analisis regresi disebut regresi linear berganda. Disebut berganda karena pengaruh beberapa variabel bebas akan dikenakan kepada variabel tergantung.

Tujuan
Analisis Regresi bermanfaat untuk menghitung persamaan regresi linear sederhana dan berganda, asosiasi statistik beserta scatter plot, diagnosa colinearitas, harga prediksi dan residual.
Tujuan menggunakan analisis regresi ialah
Membuat estimasi rata-rata dan nilai variabel tergantung dengan didasarkan pada nilai variabel bebas.
Menguji hipotesis karakteristik dependensi
Untuk meramalkan nilai rata-rata variabel bebas dengan didasarkan pada nilai variabel bebas diluar jangkaun sample.

Asumsi
Penggunaan regresi linear sederhana didasarkan pada asumsi diantaranya sbb:
Model regresi harus linier dalam parameter
Variabel bebas tidak berkorelasi dengan disturbance term (Error) .
Nilai disturbance term sebesar 0 atau dengan simbol sebagai berikut: (E (U / X) = 0
Varian untuk masing-masing error term (kesalahan) konstan
Tidak terjadi otokorelasi
Model regresi dispesifikasi secara benar. Tidak terdapat bias spesifikasi dalam model yang digunakan dalam analisis empiris.
Jika variabel bebas lebih dari satu, maka antara variabel bebas (explanatory) tidak ada hubungan linier yang nyata

Persyaratan Penggunaan Model Regresi
Model kelayakan regresi linear didasarkan pada hal-hal sebagai berikut:
a. Model regresi dikatakan layak jika angka signifikansi pada ANOVA sebesar < 0.05
b. Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika angka Standard Error of Estimate < Standard Deviation
c. Koefesien regresi harus signifikan. Pengujian dilakukan dengan Uji T. Koefesien regresi signifikan jika T hitung > T table (nilai kritis)
d. Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi korelasi yang sangat tinggi atau sangat rendah antar variabel bebas. Syarat ini hanya berlaku untuk regresi linier berganda dengan variabel bebas lebih dari satu.
e. Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB) sebesar < 1 dan > 3
f. Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r2 semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1 maka model regresi semakin baik. Nilai r2 mempunyai karakteristik diantaranya: 1) selalu positif, 2) Nilai r2 maksimal sebesar 1. Jika Nilai r2 sebesar 1 akan mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r2 sama dengan 0, maka tidak ada hubungan linier antara X dan Y.
g. Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)
h. Data harus berdistribusi normal
i. Data berskala interval atau rasio
j. Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel tergantung (disebut juga sebagai variabel response)
Linieritas
Ada dua macam linieritas dalam analisis regresi, yaitu linieritas dalam variabel dan linieritas dalam parameter. Yang pertama, linier dalam variabel merupakan nilai rata-rata kondisional variabel tergantung yang merupakan fungsi linier dari variabel (variabel) bebas. Sedang yang kedua, linier dalam parameter merupakan fungsi linier parameter dan dapat tidak linier dalam variabel.
ANALISIS REGRESI GANDA
Analisis regresi linier berganda ialah suatu alat analisis dalam ilmu statistik yang berguna untuk mengukur hubungan matematis antara lebih dari 2 peubah.
Analisis regresi ganda merupakan pengembangan dari analisis regresi sederhana. Kegunaannya yaitu untuk meramalkan nilai variabel terikat (Y) apabila variabel bebasnya (X) dua atau lebih.
Analisis regresi ganda adalah alat untuk meramalkan nilai pengaruh dua variabel bebas atau lebih terhadap satu variabel terikat (untuk membuktikan ada tidaknya hubungan fungsional atau hubungan kausal antara dua atau lebih variabel bebas X1, X2, …., Xi terhadap suatu variabel terikat Y.

Persamaan regresi ganda dirumuskan sebagai berikut :
Dua variabel bebas :
Tiga variabel bebas :
n variabel bebas :
Nilai-nilai pada persamaan regresi ganda untuk dua variabel bebas dapat ditentukan sebagai berikut :



Nilai-nilai a, b0, b1, dan b2 pada persamaan regresi ganda untuk tiga variabel bebas dapat ditentukan dari rumus-rumus berikut (Sudjana, 1996: 77):




Sebelum rumus-rumus di atas digunakan, terlebih dahulu dilakukan perhitungan-perhitungan yang secara umum berlaku rumus:




Pengujiana Keberartian Regresi Ganda
Pemeriksaan keberartian pada analisis korelasi ganda dapat dilakukan dengan mengikuti langkah-langkah berikut :
Menentukan rumusan hipotesis Ho dan H1.
Ho : R = 0 : Tidak ada pengaruh variabel X1 dan X2 terhadap variabel Y.
H1 : R ≠ 0 : Ada pengaruh variabel X1 dan X2 terhadap variabel Y.
Menentukan uji statistika yang sesuai, yaitu :
Untuk menentukan nilai uji F di atas, adalah (Sudjana, 1996: 91):
Menentukan Jumlah Kuadrat Regresi dengan rumus :

Menentukan Jumlah Kuadrat Residu dengan rumus :

Menghitung nilai F dengan rumus:

Dimana: k = banyaknya variabel bebas
Menentukan nilai kritis (α) atau nilai tabel F dengan derajat kebebasan untuk db1 = k dan db2 = n – k – 1.
Membandingkan nilai uji F terhadap nilai tabel F dengan kriteria pengujian: Jika nilai uji F ≥ nilai tabel F, maka tolak H0
Membuat kesimpulan

Secara umum, bentuk hubungan antara satu peubah terikat dengan beberapa peubah bebas dapat ditulis sebagai berikut
y = F(x1,x2,x3,…..xk)
Diman y merupakan peubah terikat, dan x1, x2, x3,…xk adalah peubah-peubah bebas. Jika hubungan tersebut berbentuk linear, rumus matematikanya adalah sebagai berikut;
yi = β0 + β1x1i + β2x2i + β3x3i +….+ βkxki +εi
fungsii taksiran regresi ini dapat ditulis dengan:
y ̂ = b0 + b1x1i + b2x2i + b3x3i + b4x4i+…++ bkxki.
Jadi β0, β1, β2, β3¸….dan βk merupakan paremeter model, yang ditaksir oleh b0, b1, b2, b3, dan bk, sedangkan y ditaksir oleh y ̂ .
Refersi ganda dengan dua peubah bebas
Regresi ganda yang sederhana ialah model regresi ganda linear dua peubah bebas (k = 2). Fungsi taksirannya dapat ditulis dengan :
Y ̂ = b0 +b1X1 + b2X2
Regresi ganda dengan tiga peubah bebas
Penyelesaian perhitungan pada regresi ganda linear dengan tiga peubah bebas pada dasarnya sama dengan pada regresi ganda dengan dua peubah bebas.
Untuk memudahkan perhitungan secara manual, nilai-nilai X1, X2, X3 dan Y ditranspormasikan menjadi x1, x2, x3, dan y (dengan notasi huruf kecil), yaitu xi = Xi-X ̅ , i=1,2,3, dan y = Y-Y ̅. Model traspormasi ini akan menghasilkan persamaan regresi sebagai berikut:
y ̂ = b1x1 + b2x2 +b3x3
Persamaan regresi berganda mengambil bentuk y = 1 b x 1 + b 2 x 2 + ... b n + x n + c. b adalah koefisien regresi, mewakili jumlah y tergantung perubahan variabel ketika perubahan independen yang sesuai 1 unit.c adalah konstanta, di mana garis regresi memotong sumbu y, mewakili jumlah y akan tergantung saat semua variabel independen adalah 0. Versi standar dari koefisien b adalah bobot beta, dan rasio koefisien beta adalah rasio kekuatan prediksi relatif dari variabel independen. Terkait dengan regresi berganda R 2,korelasi berganda, yang merupakan varian persen dalam variabel dependen dijelaskan secara kolektif oleh semua variabel independen(Garson, G. D. 2010)
Metode ini dilakukan dengan menambahkan variabel perkalian antara variabel bebas dengan variabel moderatingnya, sehingga persamaan umumnya adalah sebagai berikut: Y = a + b1 X1 + b2 X2 + b3 X1 X2 dengan Y adalah kinerja, X1 adalah kepuasan kerja, X2 kompensasi dan X1 X2 adalah perkalian antara kepuasan kerja dengan kompensasi. Hipotesis moderating diterima jika variabel X1 X2 mempunyai pengaruh signifikan terhadap Y, tidak tergantung apakah X1 dan X2 mempunyai pengaruh terhadap Y atau tidak. Model ini biasanya menyalahi asumsi multikolinearitas atau adanya korelasi yang tinggi antara variabel bebas dalam model regresi, sehingga menyalahi asumsi klasik. Hampir tidak ada model MRA yang terbebas dari masalah multikolinearitas, sehingga sebenarnya model ini tidak disarankan untuk dipergunakan.( Howel, DC. 2002)