Kesahan Dan Kebolehpercayaan Dalam Penyelidikan

VALIDITY AND RELIABILITY OF MEASURING INSTRUMENTS Presented By: Wong Yew Tuang (M20082000354) Nor Bahiyah Bakar (M20082000113) Slide 001

KESAHAN (VALIDITY) INSTRUMEN PENGUKURAN • Refer to the degree to which a test measures what it is supposed to measure • Merujuk kepada takat sesuatu alat itu mengukur apa yang seharusnya diukur • Contoh: ketinggian : pembaris berat : penimbang • Oleh itu, penimbang tidak mempunyai kesahan untuk mengukur ketinggian

Slide 002

Kesahan (Validity) berkait rapat dengan: • Kesesuaian

(appropriateness)

• Pembetulan (correctness) • Kebermaknaan (meaningfulness) • Kegunaan (usefulness) - kepada spesifik inferens yang dibuat oleh penyelidik berdasarkan maklumat yang diperolehi

Slide 003

Terdapat empat jenis pendekatan untuk menguji kesahan: b) Kesahan berkaitan kandungan (content validity) b) Kesahan berkaitan kriteria (criterion-related validity) c) Kesahan berkaitan konstruk (Construct validity) d) Kesahan berkaitan akibat (consequential validity) Slide 004

Kesahan Berkaitan Kandungan • Merujuk kepada sejauh mana alat itu mengumpul data yang merangkumi kandungan sesuatu bidang yang dikaji. • Sesuatu alat pengukuran dikatakan mempunyai kesahan kandungan yang tinggi sekiranya alat tersebut dapat mengukur semua isi serta kandungan bidang • Ini hanya dapat ditentukan oleh mereka yang pakar dalam bidang-bidang berkenaan. • Satu kaedah lain dalam menentukan kesahan kandungan melibatkan penggunaan jadual penentuan ujian (JPU) Slide 005

Dua jenis kandungan kesahan: • Kesahan item (Item validity): merujuk kepada sama ada items ujian relevan dengan pengukuran kandungan bidang berkenaan. • Kesahan persampelan (Sampling validity): merujuk kepada sejauh mana sampel ujian merangkumi jumlah kandungan bidang diuji. • Contoh: satu ujian untuk menguji pengetahuan dalam fakta-fakta biologi menpunyai kesahan item yang baik jika semua item berkaitan dengan biologi tetapi kesahan persampelan lemah jika soalan tidak merangkumi semua kandungan biologi.

Kesahan Berkaitan Kriteria • Merujuk kepada sejauh mana perhubungan antara butir-butir dalam alat kajian dengan kriteria luaran yang berkecuali. • Kriteria yang hendak diukur adalah kriteria yang konsisten sebagaimana ditunjukkan oleh subjek di luar pengukuran • Contoh: ibu bapa menunjukkan sikap yang positif terhadap peranan pendidikan vokasional berbanding dengan pendidikan akademik sebagaimana yang ditunjukkan oleh alat kajian berkaitan sedangkan mereka masih menghantar anak-anak mereka untuk mengikuti pelajaran dalam aliran pendidikan akademik.

Kesahan Berkaitan Kriteria terdiri daripada 2 jenis: 1) Kriteria serentak (Concurrent Validity): kriteria yang ditunjukkan pada masa yang sama atau hampir sama dengan pengukuran yang dikenakan ke atas kriteria tersebut. Contoh: Kesahan kriteria serentak yang tinggi Seseorang pelajar yang mencapai kebolehan yang cemerlang dalam ujian biologi juga pada masa yang sama menunjukkan kebolehan menggunakan microskop dengan baik.

2) Kriteria Jangkaan (Predictive Validity) Kriteria yang mana ujian untuk menjangkakan sejauh mana perlakuan seseorang pada masa hadapan. Contoh: Kesahan kriteria jangkaan yang rendah Seseorang pelajar yang mencapai kebolehan yang tinggi dalam ujian biologi tidak dapat menunjukkan kebolehannya dalam menjalankan eksperimen pengujian darah beberapa bulan selepas ujian tersebut diadakan.

• Contohnya: 2) Gagasan sikap pelajar terhadap sesuatu mata pelajaran yang ditunjukkan oleh ciri-ciri seperti bilangan buku yang dibaca dan jumlah waktu yang digunakan untuk mempelajari mata pelajaran tersebut. 3) Sekiranya seseorang pelajar bersikap positif terhadap mata pelajaran biologi, pelajar itu sendiri seharusnya memilih mata pelajaran biologi sebagai mata pelajaran pilihan.

Kesahan Akibat (Consequential Validity) • Merujuk kepada akibat yang berlaku daripada ujian yang dikaji. • Dengan menilai kesahan akibat membenarkan penyelidik mengenalpasti sama ada wujud masalah yang mendatangkan kesan buruk kepada pelajar, guru dan orang yang diuji • Isu yang timbul ialah apakah kesan pelbagai bentuk ujian kepada guru dan pelajar. • Contoh: bagaimana ujian yang hanya menguji pelajar dengan items aneka pilihan mempengaruhi pembelajaran pelajar berbanding dengan mentaksir mereka yang menggunakan items yang tidak ada had.

Faktor-faktor Yang Mempengaruhi Kesahan a. Arahan kurang jelas b. Perbendaharaan kata dan struktur ayat sukar difahami c. Ambiguiti d. Masa yang diberikan tidak mencukupi e. Aras kesukaran yang kurang sesuai f. Item ujian yang dibina kurang baik g. Item ujian kurang sesuai bagi aras kemahiran yang dikehendaki h. Bilangan item yang tidak mencukupi i. Susunan item kurang tepat j. Susunan jawapan (ujian objektif)

Kebolehpercayaan (Reliability) • Merujuk kepada takat ketekalan alat pengukur itu mengukur apa yang hendak diukur • Alat ukur yang mengukur sesuatu gagasan atau pembolehubah dengan tekal dikatakan mempunyai kebolehpercayaan yang tinggi • Sebaliknya, alat ukur yang menghasilkan markah yang berubah-ubah bagi mengukur gagasan atau pembolehubah yang sama dikatakan tidak tekal seterusnya mempunyai kebolehpercayaan yang rendah.

Mana satu mempunyai kesahan dan kebolehpercayaan yang tinggi?

Jenis-jenis Kebolehpercayaan (Reliability) 1) Kestabilan/uji dan uji sekali lagi (test retest) 2) Ujian bentuk setara (equivalence) 3) Kesetaraan dan kestabilan (equivalence and stability. 5) Konsisten dalaman (internal consistency ) 6) Skorer (scorer)

Uji Dan Uji Sekali Lagi • Darjah di mana skor ke atas ujian yang sama adalah konsisten pada selang masa tertentu • Didapati skor yang diperoleh pada ujian yang pertama menghampiri skor untuk ujian yang diuji sekali lagi • Semakin sama skor pada ujian yang dijalankan pada selang masa tertentu, semakin stabil skor ujian tersebut.

Prosedur 1) Menjalankan ujian terhadap kumpulan tertentu 2) Selepas dua minggu, ujian yang sama dijalankan ke atas kumpulan yang sama 3) Hitungkan pekali korelasi antara skor ujian yang pertama dengan skor ujian kedua. 4) Menilai keputusan yang diperoleh

Ciri Pentaksiran Kebolehpercayaan uji dan uji sekali lagi

Masalah yang dihadapi : • Jika selang masa terlalu singkat untuk ujian yang sama diulangi, pelajar akan mengingati apa yang diuji pada kali pertama (kebolehpercayaan palsu adalah tinggi) • Jika selang masa terlalu lama untuk ujian yang sama diulangi, pelajar akan memperbaiki diri dan menjadi matang (kebolehpercayaan palsu adalah rendah) • Selang masa yang sesuai digunakan untuk menguji semula adalah 2-6 minggu

Ujian bentuk setara • Darjah di mana dua bentuk set soalan yang hampir sama menghasilkan skor yang hampir sama daripada satu kumpulan yang diuji • Soalan dibina secara berasingan dan mestilah memenuhi spesifikasi yang ditetapkan iaitu dari segi bilangan item, bentuk, arahan, tempoh ujian, format, kandungan, julat, aras kesukaran tetapi mempunyai soalan-soalan yang berbeza • Kedua-dua ujian boleh dijalankan secara bergilir jika kedua-duanya setara • Kaedah ini digunakan untuk mengelakkan calon dari mengingat item yang diuji

Prosedur 1) Menjalankan satu bentuk ujian terhadap satu kumpulan 2) Pada sesi yang sama atau jangka masa yang singkat, jalankan bentuk ujian yang kedua terhadap kumpulan yang sama 3) Hitungkan korelasi skor bagi kedua-dua ujian yang ditadbirkan 4) Menilai keputusan yang diperolehi

Masalah yang dihadapi: •Kesukaran ujian

menjalankan

dua

bentuk

Kesetaraan dan Kestabilan: • Menggabungkan kestabilan

kesetaraaan

dan

• Jika dua ujian dijalankan pada masa yang berbeza, menghasilkan keputusan yang sama seperti yang diukur oleh korelasi

Prosedur 1) Jalankan sesuatu ujian terhadap sesuatu kumpulan 2) Selepas selang masa tertentu, jalankan ujian berlainan terhadap kumpulan yang sama 3) Hitungkan kedua-dua skor yang diperolehi 4) Menilai keputusan yang diperolehi

Konsisten Dalaman • Satu ujian diambil hanya sekali • Mengukur sejauh mana item dalam satu ujian adalah konsisten antara satu sama lain dan dengan keseluruhannya • Terdiri daripada tiga jenis: i) Kebolehpercayaan belah dua (splithalf reliability) ii) Kebolehpercayaan Kuder-Richardson 20 iii) Kebolehpercayaan Cronbach’s alpha

Kebolehpercayaan belah dua • Melibatkan pembahagian satu ujian kepada dua sub ujian • Setiap ujian mengandungi sebahagian(½) daripada bilangan item yang asal • Tujuan membahagikan kepada dua subujian ialah untuk mendapatkan dua ujian yang selari mungkin • Kaedah ini sesuai untuk satu ujian yang panjang dan mengambil masa yang lama atau susah untuk diuji

Prosedur 1) Jalankan keseluruhan ujian terhadap satu kumpulan 2) Bahagikan ujian tersebut kepada dua bentuk yang berbeza dengan memilih item ganjil atau item genap 3) Kirakan setiap skor pelajar bagi kedua-dua bahagian 4) Hitungkan pekali korelasi bagi kedua-dua skor 5) Aplikasikan formula pembetulan SpearmanBrown 6) Menilai keputusan

Spearman-Brown Formula 2rsplit half

rtotal test

=

______________

1 + r split half •Formula menentukan kebolehpercayaan keseluruhan ujian

Kuder-Richardson 20 (KR 20) • Rumus tersebut dibuat berdasarkan penskoran secara dikotomi (betul-salah) seperti dalam ujian objektif pelbagai pilihan. • Formula KR 21 lebih mudah dihitung dan mengurangkan masa pengiraan tetapi kurang tepat berbanding KR 20.

Formula Kuder-Richardson 20 (KR 20) KR 20 =

• p

k

(1 – Σ pq)

k–1

σ2xx

= perkadaran calon yang mendapat jawapan betul • q = perkadaran calon yang mendapat jawapan salah atau (1-p) • pq = varian kepada item • σ2xx = varian jumlah skor σ2xx

Formula Kuder-Richardson 21 (KR 21) KR 21 = k k-1

[1-m(k-m)] k s2

k = bilangan item dalam ujian m = min ujian s2 = varian ujian

Kebolehpercayaan Cronbach’s alpha • Digunakan apabila ujian mempunyai skor yang lebih daripada dua pilihan • Menganalisis konsisten dalaman jika nombor digunakan untuk menunjukkan pilihan respon • Pekali alpha yang kerapkali digunakan dalam menganggarkan kebolehpercayaan ketekalan-dalaman

Kebolehpercayaan Skorer (Scorer Reliability) • Mengkaji individu yang mendapat skor untuk ujian yang dijalankan • Interjudge- merujuk kepada dua atau lebih individu yang mendapat skor yang konsisten • Intrajudge- merujuk kepada individu yang mendapat skor yang konsisten selepas satu jangka masa • Penting apabila penskoran berpotensi sebagai subjektif • Penting untuk menentukan kebolehpercayaan seseorang individu yang menskor ujian terbuka (tidak terhad) (open-ended tests) • Kebolehpercayaan penskor penting untuk ditentukan apabila perlakuan ke atas ujian mempunyai kesan yang serius terhadap pengambil ujian

• Contoh: ujian penentuan bagi seseorang untuk memperoleh anugerah • Lagi banyak item ujian terbuka dijalankan, lagi penting untuk mencapai persetujuan dalam penskoran antara penskor • Penskoran subjektif mengurangkan kebolehpercayaan dan memusnahkan kesahan penterjemahan penyelidik yang dibuat berdasarkan skor

Pekali kebolehpercayaan (Reliability Coefficients) • Cara terbaik untuk menilai tahap kebolehpercayaan dalam sesuatu ujian yang dijalankan adalah dengan mendapatkan maklumat daripada ujian lain yang hampir sama untuk digunakan sebagai penanda aras • Jika sesuatu ujian terdiri daripada beberapa subujian yang digunakan secara individu di dalam kajian, maka kebolehpercayaan bagi setiap subujian hendaklah dikaji • Kebolehpercayaan bagi mana-mana subujian adalah rendah berbanding kebolehpercayaan bagi keseluruhan ujian

• Penyelidik hendaklah melaporkan maklumat kebolehpercayaan kajian di dalam plan tindakan kajian • Kebolehpercayaan bergantung kepada kumpulan yang akan diuji • Lagi banyak perselisihan skor ujian dalam suatu kumpulan, lagi tinggi kebolehpercayaan

Pekali

Hubungan

.00 to .20

Tidak penting

.20 to .40

Rendah

.40 to .60

Sederhana

.60 to .80

Sederhana penting

.80 to 1.00

Penting

Ralat Pengukuran Piawai (Standard Error of Mesurement) • Menjangkakan kekerapan seseorang melakukan kesalahan di dalam ujian yang diberi • Ralat piawai kecil, kebolehpercayaan tinggi • Ralat piawai besar, kebolehpercayaan rendah • Digunakan untuk menganggarkan perbezaan antara skor yang diperolehi oleh seseorang dan skor yang sebenar • Perbezaan yang besar menunjukkan kebolehpercayaan rendah

Faktor-faktor yang mempengaruhi pekali kebolehpercayaan 1) 2) 3) 4)

Panjang ujian Keheterogenan kumpulan Kebolehan pelajar yang mengambil ujian Teknik menganggarkan kebolehpercayaan ujian 5) Keadaan pembolehubah yang diukur 6) Batasan masa

Perkaitan antara Kesahan dengan Kebolehpercayaan • Kesahan akan memastikan ujian yang dibina itu menepati matlamat atau objektif ujian itu dibina • Kebolehpercayaan memastikan ketekalan dalam pengukuran pencapaian murid dalam sesuatu ujian • Kebolehpercayaan boleh dikaji terus dari data ujian tetapi kesahan tidak boleh • Ujian yang boleh diterima mestilah sah dan boleh dipercayai • Untuk mengesahkan sesuatu yang digunakan, pengukuran hendaklah mempunyai kebolehpercayaan • Konsep kesahan dan kebolehpercayaan lebih merujuk kepada maklumat yang diperolehi daripada alat pengukur itu dari menerangkan alat pengukur itu sendiri