Analisis Regresi Linear Dan Non Linear Ok.docx

ANALISIS REGRESI LINEAR DAN NON LINEAR Analisis regresi dalam statistika adalah salah satu metode untuk menentukan hubungan sebab-akibat antara satu variabel dengan variabel(-variabel) yang lain. Variabel "penyebab" disebut dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel independen, atau secara bebas, variabel X (karena seringkali digambarkan dalam grafik sebagai absis, atau sumbu X). Variabel terkena akibat dikenal sebagai variabel yang dipengaruhi, variabel dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel acak. Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Analisis regresi dipakai secara luas untuk melakukan prediksi dan ramalan, dengan penggunaan yang saling melengkapi dengan bidang pembelajaran mesin. Analisis ini juga digunakan untuk memahami variabel bebas mana saja yang berhubungan dengan variabel terikat, dan untuk mengetahui bentukbentuk hubungan tersebut.

1. REGRESI LINEAR Secara umum, analisis regresi pada dasarnya adalah studi mengenai ketergantungan satu variabel independen (terikat) dengan satu atau lebih variabel independen (variabel penjelas/bebas), dengan tujuan untuk mengestimasi dan/ atau memprediksi rata-rata populasi atau niiai rata-rata variabel dependen berdasarkan nilai variabe independen yang diketahui. Pusat perhatian adalah pada upaya menjelaskan dan mengevalusi hubungan antara suatu variabel dengan satu atau lebih variabel independen. Hasil analisis regresi adalah berupa koefisien regresi untuk masing-masing variable independen. Koefisien ini diperoleh dengan cara memprediksi nilai variable dependen dengan suatu persamaan. Analisa regresi ada dua yaitu : Analisa Regresi Sederhana dan Analisis Regresi Berganda.  Analisis regresi linier berganda adalah hubungan secara linear antara dua atau lebih variabel independen (X1, X2,….Xn) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan antara variabel independen dengan variabel dependen apakah masing-masing variabel independen berhubungan positif atau negatif dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel independen mengalami kenaikan atau penurunan. Data yang digunakan biasanya berskala interval atau rasio.

Analisis regresi linear berganda sebenarnya sama dengan analisis regresi linear sederhana, hanya variabel bebasnya lebih dari satu buah. Persamaan umumnya adalah:

Y = a + b1 X1 + b2 X2 + .... + bn Xn. Dengan Y adalah variabel bebas, dan X adalah variabel-variabel bebas, a adalah konstanta (intersept) dan b adalah koefisien regresi pada masing-masing variabel bebas.Interpretasi terhadap persamaan juga relatif sama, sebagai ilustrasi, pengaruh antara motivasi (X1), kompensasi (X2) dan kepemimpinan (X3) terhadap kepuasan kerja (Y) menghasilkan persamaan sebagai berikut: Y = 0,235 + 0,21 X1 + 0,32 X2 + 0,12 X3 1.

Jika variabel motivasi meningkat dengan asumsi variabel kompensasi dan

kepemimpinan tetap, maka kepuasan kerja juga akan meningkat 2.

Jika variabel kompensasi meningkat, dengan asumsi variabel motivasi dan

kepemimpinan tetap, maka kepuasan kerja juga akan meningkat. 3.

Jika variabel kepemimpinan meningkat, dengan asumsi variabel motivasi dan

kompensasi tetap, maka kepuasan kerja juga akan meningkat. Interpretasi terhadap konstanta (0,235) juga harus dilakukan secara hati-hati. Jika pengukuran variabel dengan menggunakan skala Likert antara 1 sampai dengan 5 maka tidak boleh diinterpretasikan bahwa jika variabel motivasi, kompensasi dan kepemimpinan bernilai nol, sebagai ketiga variabel tersebut tidak mungkin bernilai nol karena Skala Likert terendah yang digunakan adalah 1.  Analisis regresi sederhana hanya terdiri atas satu peubah bebas (peubah penjelas/eksplanatori) X dan satu peubah terikat (respon) Y dengan hubungan linier. Kedua peubah ini merupakan peubah kuantitatif, khusus untuk Y harus dengan skala interval atau rasio. Dengan visualisasi secara geometris dapat ditafsirkan bahwa dengan analisis regresi kita ingin menduga garis populasi yang sesungguhnya tidak pernah diketahui (garis lurus putus-putus) berdasarkan sampel pasangan data pada sampel. Persoalanvini merupakan persoalan estimasi uji inferensi daam regresi. Garis regresi penduga ini dapat dipergunakan untuk meramal (prediksi) rentang rata-rata nilai Y pada saat nilai X diketahui, demikian juga rentang nilai-nilai Y pada saat nilai tertentu dari X . Dalam bentuk yang paling sederhana yaitu satu peubah bebas (X) dengan satu peubah tak bebas (Y) mempunyai persamaan: Y = a +bx Disini a disebut intersep dan b adalah koefisien arah atau koefisien beta. Dalam pengertian fungsi persamaan garis Y + a + bx hanya ada satu yang dapat dibentuk dari dua buah titik dengan koordinat yang berbeda yaitu ( X1, Y1) dan X2,Y2). Hal ini berarti kita bisa membuat banyak sekali

persamaan garis dalam bentuk lain melalui dua buat titik yang berbeda koordinatnya/tidak berimpit. Persamaan garis melalui dua buah titik dirumuskan sebagai berikut:

Analisis Regresi

Analisis regresi linier sederhana adalah hubungan secara linear antara satu variabel independen (X) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan antara variabel independen dengan variabel dependen apakah positif atau negatif dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel independen mengalami kenaikan atau penurunan.. Data yang digunakan biasanya berskala interval atau rasio. Rumus regresi linear sederhana sebagi berikut: Y’ = a + bX Keterangan: Y’ = Variabel dependen (nilai yang diprediksikan) X = Variabel independen a = Konstanta (nilai Y’ apabila X = 0) b = Koefisien regresi (nilai peningkatan ataupun penurunan) Contoh kasus: Seorang mahasiswa bernama Hermawan ingin meneliti tentang pengaruh biaya promosi terhadap volume penjualan pada perusahaan jual beli motor. Dengan ini di dapat variabel dependen (Y) adalah volume penjualan dan variabel independen (X) adalah biaya promosi. Dengan ini Hermawan menganalisis dengan bantuan program SPSS dengan alat analisis regresi linear sederhana. Data-data yang di dapat ditabulasikan sebagai berikut: Tabel. Tabulasi Data Penelitian (Data Fiktif) No 1

Biaya Promosi 12,000

Volume Penjualan 56,000

2

13,500

62,430

3

12,750

60,850

4

12,600

61,300

5

14,850

65,825

6

15,200

66,354

7

15,750

65,260

8

16,800

68,798

9

18,450

70,470

10

17,900

65,200

11

18,250

68,000

12

16,480

64,200

13

17,500

65,300

14

19,560

69,562

15

19,000

68,750

16

20,450

70,256

17

22,650

72,351

18

21,400

70,287

19

22,900

73,564

20

23,500

75,642

Langkah-langkah pada program SPSS Ø Masuk program SPSS Ø Klik variable view pada SPSS data editor Ø Pada kolom Name ketik y, kolom Name pada baris kedua ketik x. Ø Pada kolom Label, untuk kolom pada baris pertama ketik Volume Penjualan, untuk kolom pada baris kedua ketik Biaya Promosi. Ø Untuk kolom-kolom lainnya boleh dihiraukan (isian default) Ø Buka data view pada SPSS data editor, maka didapat kolom variabel y dan x. Ø Ketikkan data sesuai dengan variabelnya Ø Klik Analyze - Regression - Linear Ø Klik variabel Volume Penjualan dan masukkan ke kotak Dependent, kemudian klik variabel Biaya Promosi dan masukkan ke kotak Independent. Ø Klik Statistics, klik Casewise diagnostics, klik All cases. Klik Continue Ø Klik OK, maka hasil output yang didapat pada kolom Coefficients dan Casewise Diagnostics adalah sebagai berikut: Tabel. Hasil Analisis Regresi Linear Sederhana

Persamaan regresinya sebagai berikut: Y’ = a + bX Y’ = -28764,7 + 0,691X Angka-angka ini dapat diartikan sebagai berikut: - Konstanta sebesar -28764,7; artinya jika biaya promosi (X) nilainya adalah 0, maka volume penjulan (Y’) nilainya negatif yaitu sebesar -28764,7. - Koefisien regresi variabel harga (X) sebesar 0,691; artinya jika harga mengalami kenaikan Rp.1, maka volume penjualan (Y’) akan mengalami peningkatan sebesar Rp.0,691. Koefisien bernilai positif artinya terjadi hubungan positif antara harga dengan volume penjualan, semakin naik harga maka semakin meningkatkan volume penjualan. Nilai volume penjualan yang diprediksi (Y’) dapat dilihat pada tabel Casewise Diagnostics (kolom Predicted Value). Sedangkan Residual (unstandardized residual) adalah selisih antara Volume Penjualan dengan Predicted Value, dan Std. Residual (standardized residual) adalah nilai residual yang telah terstandarisasi (nilai semakin mendekati 0 maka model regresi semakin baik dalam melakukan prediksi, sebaliknya semakin menjauhi 0 atau lebih dari 1 atau -1 maka semakin tidak baik model regresi dalam melakukan prediksi). -

Uji Koefisien Regresi Sederhana (Uji t) Uji ini digunakan untuk mengetahui apakah variabel independen (X) berpengaruh secara signifikan terhadap variabel dependen (Y). Signifikan berarti pengaruh yang terjadi dapat berlaku untuk populasi (dapat digeneralisasikan). Dari hasil analisis regresi di atas dapat diketahui nilai t hitung seperti pada tabel 2. Langkahlangkah pengujian sebagai berikut: 1. Menentukan Hipotesis Ho : Ada pengaruh secara signifikan antara biaya promosi dengan volume penjualan Ha : Tidak ada pengaruh secara signifikan antara biaya promosi dengan volume penjualan 2. Menentukan tingkat signifikansi Tingkat signifikansi menggunakan a = 5% (signifikansi 5% atau 0,05 adalah ukuran standar yang sering digunakan dalam penelitian) 3. Menentukan t hitung Berdasarkan tabel diperoleh t hitung sebesar 10,983 4. Menentukan t tabel Tabel distribusi t dicari pada a = 5% : 2 = 2,5% (uji 2 sisi) dengan derajat kebebasan (df) n-k-1 atau 20-2-1 = 17 (n adalah jumlah kasus dan k adalah jumlah variabel independen). Dengan pengujian 2 sisi (signifikansi = 0,025) hasil diperoleh untuk t tabel sebesar 2,110 (Lihat pada lampiran) atau dapat dicari di Ms Excel dengan cara pada cell kosong ketik =tinv(0.05,17) lalu enter. 5. Kriteria Pengujian Ho diterima jika –t tabel < t hitung < t tabe Ho ditolak jika -thitung < -t tabel atau t hitung > t tabel 6. Membandingkan t hitung dengan t tabel Nilai t hitung > t tabel (10,983 > 2,110) maka Ho ditolak. 7. Kesimpulan Oleh karena nilai t hitung > t tabel (10,983 > 2,110) maka Ho ditolak, artinya bahwa ada pengaruh secara signifikan antara biaya promosi dengan volume penjualan. Jadi dalam kasus ini dapat disimpulkan bahwa biaya promosi berpengaruh terhadap volume penjualan pada perusahaan jual beli motor.

3. REGRESI NON LINEAR Secara umum, regresi adalah suatu metode untuk meramalkan nilai harapan yang bersyarat.Regresi dikatakan linear apabila hubungan antara variabel independen dan variabel independennya adalah linear. Hubungan antara variabel independen dan variable dependen dapat dikatakan linear apabila diagram pencar data dari peubah-peubah tersebut mendekati pola garis lurus. Fungsi linear selain mudah interpretasinya, juga dapat digunakan sebagai hampiran(approximation) atas hubungan yang bukan non-linear.Bentuk dari regresi linear adalah: Y =βo +β1X1 +β2X2 +....+ε (2.1) Apabila hubungan antara variabel independent dan variabel dependen tidak linear, maka regresidikatakan regresi non-linear. Bentuk dari hubungan regresi non-linear adalah: Yi= f (Xi ,γ )+ε (2.2)dengan γ adalah fungsi respon non - linear dari parameternya. Error pada regresi non-linear diasumsikan untuk mempunyai nilai harapan sebesar nol, ragam yang konstan dan tidak dikorelasikan, sama seperti asumsi error pada model regresi linear (Neter, J., Kutner, M.H., Nachtsheim, C.J.,Wasserman,W., 1996)Konsep Dasar : Analisis regresi dapat digunakan untuk berbagai model persamaan matematis, misalnya :fungsi logarimic, fungsi polinomial, fungsi power, exsponensial, dll2. Analisis yang sering digunakan adalah bentuk logaritmic baik yang biasa (Log X),maupun logaritma natural (Ln X = 2,718Log X)3. Koefisien yang diperoleh dari analisis regresi logaritma/ fungsi pangkat akan langsungmenunjukkan elatisitasnya. Analisis ini harus mendasarkan pada teori atau pengembangannya yang relevan dengan obyek penelitian sedangkan Regresi logistik adalah salah satu bentuk regresi non-linear yang mempunyai variabel independen yang diskrit dan mempunyai sebaran binomial 1. REGRESI NON-LINEARHubungan dengan fungsi polynomialBerguna jika diagram pencarmenunjukkan hubungan non-linearModel lengkung (Curvilinear) :Peubah penjelas (explanatory) kedua merupakan kuadrat yg pertamaB. Model Regresi CurvilinearDapat dipertimbangkan jika scatter diagram menampakkan pola seperti di bawah ini:Uji Signifikansi: Curvilinear Model• Uji utk Hubungan secara keseluruhan 2. Bandingkan dgn curvilinear modelDengan linear modelC. PENGGUNAAN TRANSFORMASI• Utk Model Non-linear yg melanggar Asumsi Regresi Linear• Menentukan bentuk Transformasi dari Scatter Diagram• Peubah Bebas maupun Peubah Takbebas mungkin perlu ditransformasiTRANSFORMASI AKAR

3.

4.

5.

6.

KUADRATTRANSFORMASI LOGARITMA Statistik Uji F =• Uji Pengaruh Curvilinear Serupa dgn Uji utk linear model tidaknyata• Koef dapat berlawanan dgn yg sebenarnya• Sulit memisahkan Pengaruh Masingmasing Peubah (asumsi ceteris paribus?)• VIF Digunakan utk MengukurnyaTRANSFORMASI EKPONENSIALD. MULTIKOLINEARITAS• Korelasi antar Peubah Penjelas• Koefisien mengukur Efek kombinasi• Ragam Koef Besar . Memberikan evaluasi alternatif model “terbatas Kemungkinan Multikolinieritas lebih kecil• Stepwise Regression Procedure Mudah utk diinterpretasiPENYUSUNAN MODEL• Tujuan utk mengembangkan Model dgn Peubah Penjelas sesedikit mungkin Uji Deteksi Non-linear dengan Uji Ramsey’s RESET, Uji White dan Uji Terasvirta Uji Ramsey’s RESET, Uji White dan Uji Terasvirta untuk mendeteksi apakah suatu model mengikuti pola linear atau non-linear tersedia dalam software R. Statistik uji Ramsey’s RESET adalah (Lihat pembahasan lengkap di Gujarati, 1996). F= 2 2 (Rnew − Rold ) / p 2 (1 − Rnew ) / (n − k) (1) dengan p jumlah variabel independen baru, k jumlah parameter pada model baru, n jumlah data. Kesimpulanya Ho ditolak bila F > F(α,p,n-k) Uji White adalah uji deteksi non-linearitas yang dikembangkan dari model neural network yang ditemukan oleh White (1989). Uji white menggunakan statistik χ2 dan F. Prosedur yang digunakan untuk χ2 adalah : a. Meregresikan yt pada 1, x1, x2, …, xp dan menghitung nilai-nilai residual ut . ˆ b. Meregresikan u t pada 1, x1, x2, …, xp dan m prediktor tambahan dan kemudian hitung koefisien determinasi dari regresi R2. Dalam uji ini, m ' prediktor tambahan ini adalah nilainilai dari hasil dari ψ(γ j wt ) hasil dari suatu transformasi komponen utama. c. Hitung χ2 =nR2, dimana n adalah jumlah pengamatan yang digunakan. 2 Dengan hipotesis linearitas, χ2 mendekati distribusi χ( m ) atau tolak Ho jika P-value < α. Uji Terasvirta adalah uji deteksi non-linearitas yang juga dikembangkan dari model neural network dan termasuk dalam kelompok uji tipe Lagrange Multiplier (LM) yang dikembangkan dengan ekspansi Taylor (Terasvirta, 1993). Pengambilan kesimpulan ketiga uji tersebut dapat dilihat melalui nilai Pvalue, yaitu tolak Ho jika kurang dari α . 2.2 Model Regresi Non-linear Parametrik Berdasarkan kelinearan antar parameter pada model regresi, maka suatu model regresi dapat diklasifikasikan menjadi dua macam yaitu model linear dan non-linear. Model regresi dikatakan linear jika dapat dinyatakan dalam model : y = β0 + β1 x1+β2 x2 + β3 x3 + ... + βk xk + ε (2) Apabila model tidak dapat dinyatakan dalam model tersebut maka model yang diperoleh adalah model non-linear. Secara umum model regresi non-linear parametrik dengan sebagai variabel respon pada replikasi sebanyak dan setiap nilai merupakan variabel independen.dapat dinyatakan dalam persamaan (Ripley, 2002) : (3) Yij = f ( xi , θ) +εij dengan f adalah fungsi regresi dengan parameter θ yang harus diduga dan adalah galat dengan sifat N(0,α). Salah satu metode pendugaan parameter dalam sistem non-linear adalah jalan tengah Marquardt (Marquadt’s compromise). Metode Marquardt merupakan kompromi atau jalan tengah antara metode linearisasi atau deret Taylor dengan metode steepest descent (Draper & Smith, 1996). 2 3. 2.3 Model Nelson Siegel (N-S) dan Nelson Siegel Svensson (N-S-S) Tahun 1987, Nelson dan Siegel menunjukkan yield curve dari model yang terletak pada bentuk range yang sama. Model N-S dan N-S-S merupakan pendekatan untuk mendapatkan model yield curve