Analisis Item

Bismillah….

Item Analysis Catatan kuliah Pa Iwan tgl 24-04-09 1. Import data

Untuk membuka file pada program ItemQual pilih File import data lalu pilih nama file “Contoh hasil ujian ver ItemQual.csv”. File tersebut menggunakan ekstensi *.csv (Comma Delimited Files) sehingga pada kotak di samping Files of type harus diubah dari ekstensi *.txt ke *.csv Karena file tersebut memiliki nama variabel pada baris pertama data, maka pada pilihan ‘Variabel Names” maka biarkan opsi yang tercentang “In First Row”. Selanjutnya karena file ini dibatasi oleh tanda koma, maka biarkan pada bagian “Delimiter” opsi yang tercentang adalah “Comma”. Klik "Import" untuk melakukan import data. Apabila berhasil, maka variabel akan nampak sebagai berikut :

Item Analysis | [email protected]

2. Modifikasi data

1

Dari tampilan tersebut, terdapat beberapa kolom : kolom "Variable Name" berisi nama variabel yang berasal dari baris pertama dari data awal. Selanjutnya dari contoh di atas variabel “id” diubah “Variable Type”nya menjadi “Examinee ID” caranya dengan mengklik kolom variable type, lalu memilih dari kotak opsi yang muncul.

Adapun variabel pertanyaan “i01 - i10” dibiarkan tipenya dalam “Binary item” artinya variabel tersebut merupakan pertanyaan multiple choice. Selanjutnya pada kolom “Answer key”, masukkan kunci jawaban untuk tiap item pertanyaan i01-i10, masing-masing 4,1,1,4,1,3,4,1,2,2 3. Men jal ank an Analisis

Apabila data telah siap (seperti gambar di samping), selanjutnya menjalankan analisis dengan memilih Run Item Analysis Lalu pada jendela Run item analysis, isikan lokasi penyimpanan output analisis dan nama file output dengan ekstensi *.txt, selanjutnya Valid response diisikan sesuai opsi item pertanyaan (dalam contoh ini 1,2,3,4). Kemudian mengisi judul analisis (isian ini bersifat opsional). Apabila sudah selesai, maka lakukan “Run” Outputnya Sbb : ITEM ANALYSIS

April 24, 2009

23:19:26 Analisis itemqual Group Prop. Item ---1. i01

2. i02

Point

Option -----1 2 3 4*

Prop. ----0.5000 0.1000 0.0000 0.4000

S.D. ---0.5130 0.3078 0.0000 0.5026

Lower ----0.3000 0.1000 0.0000 0.0500

Upper ----0.1000 0.0000 0.0000 0.2500

Biser. -------0.5661 -0.3229 NaN 0.3278

Biser. ------0.7095 -0.5519 NaN 0.4156

1* 2

0.3500 0.3000

0.4894 0.4702

0.0000 0.1000

0.2500 0.1000

0.5523 -0.2796

0.7112 -0.3685

Item Analysis | [email protected]

============================================================================

2

Item Analysis | [email protected]

3

3 4

0.1000 0.2500

0.3078 0.4443

0.1000 0.2500

0.0000 0.0000

-0.4637 -0.5855

-0.7927 -0.7979

3. i03

1* 2 3 4

0.6500 0.0000 0.0000 0.3500

0.4894 0.0000 0.0000 0.4894

0.2000 0.0000 0.0000 0.2500

0.3500 0.0000 0.0000 0.0000

0.1133 NaN NaN -0.5056

0.1460 NaN NaN -0.6510

4. i04

1 2 3 4*

0.2000 0.1000 0.0000 0.7000

0.4104 0.3078 0.0000 0.4702

0.1000 0.1000 0.0000 0.2500

0.0000 0.0000 0.0000 0.3500

-0.3450 -0.5993 NaN 0.2948

-0.4929 -1.0245 NaN 0.3886

5. i05

1* 2 3 4

0.7500 0.1000 0.0000 0.1500

0.4443 0.3078 0.0000 0.3663

0.3000 0.1000 0.0000 0.0500

0.3500 0.0000 0.0000 0.0000

0.0277 -0.3229 NaN -0.2723

0.0377 -0.5519 NaN -0.4170

6. i06

1 2 3* 4

0.0000 0.0000 0.8500 0.1500

0.0000 0.0000 0.3663 0.3663

0.0000 0.0000 0.3000 0.1500

0.0000 0.0000 0.3500 0.0000

NaN NaN 0.3668 -0.6156

NaN NaN 0.5618 -0.9427

7. i07

1 2 3 4*

0.1000 0.0000 0.0000 0.9000

0.3078 0.0000 0.0000 0.3078

0.1000 0.0000 0.0000 0.3500

0.0000 0.0000 0.0000 0.3500

-0.5993 NaN NaN 0.3903

-1.0245 NaN NaN 0.6672

8. i08

1* 2 3 4

0.6500 0.2000 0.0000 0.1500

0.4894 0.4104 0.0000 0.3663

0.2000 0.2000 0.0000 0.0500

0.2500 0.0000 0.0000 0.1000

0.1133 -0.6417 NaN -0.0198

0.1460 -0.9169 NaN -0.0304

9. i09

1 2* 3 4

0.1000 0.6500 0.2000 0.0500

0.3078 0.4894 0.4104 0.2236

0.1000 0.1000 0.2000 0.0500

0.0000 0.3500 0.0000 0.0000

-0.4637 0.7217 -0.6417 -0.4326

-0.7927 0.9294 -0.9169 -0.9143

10. i10

1 2* 3 4

0.1000 0.3500 0.4000 0.1500

0.3078 0.4894 0.5026 0.3663

0.1000 0.1000 0.1000 0.1500

0.0000 0.1500 0.2000 0.0000

-0.4637 0.1942 0.0596 -0.7220

-0.7927 0.2500 0.0755 -1.1058

TEST LEVEL STATISTICS ===================== Number of Items = 10 Number of Examinees = 20 Min = 3.0000

Max = 10.0000 Mean = 6.2500 Median = 7.0000 Standard Deviation = 2.1975 Interquartile Range = 3.0000 KR21 = 0.5718 Cronbach's Alpha = 0.6285 95% Conf. Int. for Cronbach's Alpha = (0.3273, 0.8303) SEM = 1.3394

ANALYSIS OPTIONS SELECTED ========================= Point Biserial correction for Spuriousness: true Groups Formed at Lower and Upper 0.27 Percentile Computation Time = 00:00:00

TEST SCORE FREQUENCIES ====================== Frequency (Percentage) ---------------------0 (0.00) 0 (0.00) 0 (0.00) 3 (15.00) 2 (10.00) 4 (20.00) 0 (0.00) 4 (20.00) 4 (20.00) 2 (10.00) 1 (5.00)

4. Interp retasi Output

Contoh untuk soal pertama (i01) Group Prop. Item ---1. i01

Option -----1 2 3 4*

Prop. ----0.5000 0.1000 0.0000 0.4000

S.D. ---0.5130 0.3078 0.0000 0.5026

Lower ----0.3000 0.1000 0.0000 0.0500

Upper ----0.1000 0.0000 0.0000 0.2500

Point Biser. -------0.5661 -0.3229 NaN 0.3278

Biser. ------0.7095 -0.5519 NaN 0.4156

Item Analysis | [email protected]

Score ----0 1 2 3 4 5 6 7 8 9 10

4

1. Item Difficulty Index (Prop.) Dari output di atas, nampak bahwa item difficulty index untuk pertanyaan pertama (i01) sebesar 0,4000 artinya 40% jumlah peserta menjawab benar. Item difficulty index adalah proporsi peserta tes menjawab benar terhadap item pertanyaan, nilai item difficullty index berkisar antara 0-1 dengan nilai mendekati 1 berarti item semakin mudah. Rumusnya : 8 = = = 0.400 20

Apakah soal i01 termasuk mudah or susah? Alat uji yg baik memiliki item difficulty index berkisar 0,3 - 0,8 & test difficulty index mendekati nilai optimal. Nilai optimal difficulty index diperoleh dari proabilitas subyek menjawab benar dengan menebak + 1 dibagi 2 Pada ujian pilihan ganda A-D (1-4), maka test difficulty index yg optimal soal i01 di atas adalah (0,25+1)/2 = 0,625 Dengan demikian soal i01 di atas, dapat dikatakan cukup baik.

Item Analysis | [email protected]

2. Point Biser Point Biser untuk soal i01 bernilai 0,3278 Point Biserial adalah angka yang menggambarkan kemampuan item untuk mengukur hal yang ingin diukur, berupa nilai korelasi antara skor benar atau salah (dikotomus) yang diperoleh peserta pada soal yang diberikan dengan total skor peserta (kontinyu). Rumusnya sbb :

5

rpbis dimana

yx

1

yx

px (1 px )

0

Sy

yx 1 = rata-rata skor jika item x benar px = proporsi subyek yg benar pada item x Sy =

simpang baku skor total

Untuk menggambarkan perolehan point biser untuk soal i01 di atas perhatikan tabel excel di bawah :

1

A

B

Total skor peserta dikurangi jawaban benar/salah per item. Cont i01 resp 1 =H3-F3, resp 2 =H4-F4

Total skor jawaban yang benar peserta =F3+G3+…

C

1

E

F

G

H

I

J

i01

i02

total skor peserta

total item i01

total item i02

2

id

i01

i02

2

id

3

1

1

2

3

1

0

0

3

3

3

4

2

4

2

4

2

1

0

7

6

7

5

3

4

2

5

3

1

0

8

7

8

6

4

1

4

6

4

0

0

5

5

5

7

5

1

1

7

5

0

1

8

8

7

8

6

2

4

8

6

0

0

5

5

5

9

7

4

1

9

7

1

1

9

8

8

10

8

1

1

10

8

0

1

7

7

6

11

9

1

3

11

9

0

0

4

4

4

12

10

4

1

12

10

1

1

10

9

9

13

11

4

4

13

11

1

0

3

2

3

14

12

1

2

14

12

0

0

3

3

3

15

13

4

2

15

13

1

0

7

6

7

16

14

4

2

16

14

1

0

8

7

8

17

15

1

4

17

15

0

0

5

5

5

18

16

1

1

18

16

0

1

8

8

7

19

17

2

4

19

17

0

0

5

5

5

20

18

4

1

20

18

1

1

9

8

8

21

19

1

1

21

19

0

1

7

7

6

22

20

1

3

22

20

0

0

4

4

4

1

K

2 3

Poin Biserial

L

M

i01

i02

0.3278

0.5523

Hasil nilai korelasi =CORREL(F3:F22,I3:I22)

Item Analysis | [email protected]

Karena diketahui jawaban yg benar untuk i01 adalah D atau 4. Maka untuk setiap jawaban benar diberi poin 1 dan yang salah poinnya 0

6

Item Analysis | [email protected]

Apakah soal i01 termasuk soal yang baik untuk mengukur kemampuan peserta ? Point Biserial untuk soal i01 bernilai 0,3278. Point biserial berkisar antara nilai -1 sd +1. Point biserial-positif yang tinggi (semakin mendekati 1) menunjukkan bahwa peserta dengan nilai tinggi, pada kenyataannya menjawab pertanyaan dengan benar (sesuai dengan harapan) dan siswa yang mendapat skor tes rendah menjawab pertanyaan dengan salah (juga sesuai harapan). Atau dengan kata lain point biserial tinggi mampu membedakan subyek yang mengerti dg subyek yg tidak mengerti materi yg diuji. Point biserial yang rendah (semakin mendekati -1) menunjukkan bahwa peserta yang menjawab item salah juga dinilai tinggi pada tes sedangkan keseluruhan peserta yang menjawab item benar justru dinilai rendah pada ujian secara keseluruhan. Atau dengan kata lain point biserial rendah menunjukkan kemampuan membedakan item yg buruk, karena justru subyek yg kurang mengerti materi yg diuji menjawab benar pada item ini. Oleh karena itu, item dengan point biserial yang rendah perlu ditinjau lebih lanjut. Beberapa rekomendasi dari pakar : 1. Varma (2000) point biserial minimal adalah 0.15 2. Kelly (1939) minimal 0.27 3. Curreton (1957) mengusulkan 0.33 4. Allen & Yen (1979) mengusulkan 0.25 sampai 0.33

7

3. Item Characteristic Curve Cara menampilkannya pada program ItemQual dengan memilih opsi Graph Nonparametric OCCs Nampak grafik ICC untuk item i01 sbb : Kualitas pertanyaan multiple choice tersebut dapat dianalisa dr bentuk kurva jawaban peserta; Jawaban yang benar (D) akan nampak grafiknya naik, jabawan (A) mengukur lebih baik daripada jawaban (B) walaupun secara umum keduanya tingkat kesulitannya cenderung baik (terlihat dari kurva yang menurun), adapun jawaban (C) terlalu mudah sehingga tidak ada peserta yang memilih jawaban tersebut . Wallahu A’lam