Makalah Evaluasi Dignan.pdf

MAKALAH EVALUATION DALAM PROGRAM PLANNING FOR HEALTH EDUCATION AND PROMOTION Disusun untuk memenuhi tugas Mata Kuliah Perencanaan dan Evaluasi P2KM

OLEH : RIZKI FAJRIANI MARTHA SRI ASTUTI

101814153008 101814153022

PROGRAM STUDI MAGISTER KESEHATAN MASYARAKAT FAKULTAS KESEHATAN MASYARAKAT UNIVERSITAIRLANGGA SURABAYA 2019

1

KATA PENGANTAR Puji syukur kita panjatkan atas kehadirat Allah SWT, karena dengan izinNyalah sehingga penyusunan makalah yang berjudul “Evaluation dalam Program Planning for Health Education and Promotion” dapat terselesaikan tepat pada waktunya. Penyusunan makalah ini guna untuk memenuhi tugas mata kuliah Perencanaan dan Evaluasi Program Promosi Kesehatan. Kami menyadari bahwa dalam penyusunan makalah ini belum mencapai kesempurnaan, dengan segala kerendahan hati juga berharap adanya kritik dan saran yang membangun dari pembaca untuk perbaikan makalah ini sehingga dapat bermanfaat bagi penulis dan orang lain.

Surabaya, 02 Maret 2019

Penulis

2

DAFTAR ISI Halaman Judul Kata Pengantar.................................................................................................. i Daftar Isi ............................................................................................................ ii BAB I PENDAHULUAN 1.1

Latar belakang ...................................................................................... 1

1.2

Rumusan Masalah ................................................................................. 2

1.3

Tujuan ................................................................................................... 2

BAB II PEMBAHASAN 2.1

Definisi Kerja Evaluasi ......................................................................... 4

2.2

Ruang Lingkup Evaluasi ....................................................................... 5

2.3

Fokus Evaluasi Program ....................................................................... 10

2.4

Sumber Evaluasi ................................................................................... 11

2.5

Kriteria Evaluasi ................................................................................... 13

2.6

Pengukuran Evaluasi ............................................................................. 16

2.7

Desain Evaluasi ..................................................................................... 19

2.8

Evaluasi Kuantitatif .............................................................................. 22

2.9

Evaluasi Kualitatif ................................................................................ 26

2.10 Kombinasi Metode Kuantitatif dan Kualitatif ...................................... 27 2.11 Perencanaan Evaluasi............................................................................ 28 2.12 Akuntabilitas dan Evaluasi Program ..................................................... 31 2.13 Contoh Evaluasi Program Pemberian Tablet Fe pada Ibu Hamil ......... 34 BAB III PENUTUP 3.1

Kesimpulan ........................................................................................... 35

3.2

Saran ..................................................................................................... 35

DAFTAR PUSTAKA

3

BAB I PENDAHULUAN 1.1 Latar Belakang Perencanaan promosi kesehatan adalah suatu proses diagnosis penyebab masalah, penetapan prioritas masalah dan alokasi sumber daya yang ada untuk mencapai suatu tujuan. Oleh sebab itu, dalam membuat perencanaan promosi kesehatan, perencanaan harus tediri dari masyarakat, professional kesehatan dan promotor kesehatan. Kelompok ini harus bekerja bersama-sama dalam proses peencanaan promosi kesehatan, sehingga dihasilkan program yang sesuai, efektif dalam biaya (cost effective) dan berkesinambungan. Perencanaan merupakan bagian dari sirkulasi administrasi yang terdiri dari 3 fase yakni : perencanaan, implementasi, dan evaluasi. Berbeda dengan teori Dignan dan Carr (1992) tentang perencanaan program promosi dan pendidikan kesehatan yang menekankan pentingnya menentukan komunitas sasaran untuk mengembangkan program agar berjalan sesuai harapan. Proses perencanaan terdiri dari 5 (lima) tahapan dan salah satu tahapannya adalah evaluasi (evaluation) yang juga merupakan tahap terakhir dari proses ini Perencanaan dan evaluasi promosi dan pengembangan adalah suatu fase dimana secara rinci direncanakan jawaban atas pertanyaan-pertanyaan yang muncul, sedangkan implementasi adalah suatu waktu dimana perencanaan dilaksanakan. Evaluasi adalah mengukur sejauh mana tingkat keberhasilan program tersebut berdasarkan perencanaan yang sudah ditetapkan di awal kegiatan. Proses evaluasi merupakan salah satu bagian terpenting dalam pelaksanaan program dan evaluasi dilaksanakan karena adanya dorongan untuk mengukur pencapaian hasil kerja/ program terhadap tujuan yang telah ditetapkan. Pada tahap ini juga dilihat apakah perencanaan dan implementasi yang telah dilakukan dapat dilanjutkan. Selain itu, evaluasi diperlukan untuk pemantauan efficacy dan promosi kesehatan dan sebagai alat bantu untuk membuat perencanaan selanjutnya. Tanpa adanya evaluasi, sulit rasanya

untuk mengetahui sejauh mana tujuan-tujuan yang sudah

4

direncanakan telah tercapai atau belum . Oleh karena itu, dalam makalah ini akan dijelaskan lebih lanjut tentang apa yang dimaksud dengan evauasi (evaluation) dan bagaimana tahapannya dalam perencanaan program promosi dan pendidikan kesehatan menurut teori Dignan dan Carr (1992). 1.2 Rumusan Masalah Adapun rumusan masalah dalam makalah ini adalah sebagai berikut : 1. Apa yang dimaksud dengan evaluasi (evaluation) menurut Teori Dignan dan Carr dalam perencanaan program promosi dan pendidikan kesehatan ? 2. Bagaimana tahapan evaluasi (evaluation) menurut Teori Dignan dan Carr dalam perencanaan program promosi dan pendidikan kesehatan? 1.3 Tujuan Adapun tujuan dari pembuatan makalah ini adalah sebagai berikut : 1. Untuk memahami dan mengkaji yang dimaksud dengan Evaluasi (evaluation) dalam Teori Dignan dan Carr dalam perencanaan program promosi dan pendidikan kesehatan. 2. Untuk memhami dan mengkaji tahapan evaluasi (evaluation) menurut Teori Dignan dan Carr dalam perencanaan program promosi dan pendidikan kesehatan.

5

BAB II PEMBAHASAN

Evaluasi adalah bagian ahir sebuah program. Meskipin bagian akhir, namun evaluasi adalah hal yang cukup penting. Evaluasi kemudian dianggap penting ketika diperlukan untuk melihat keberhasilan sebuah program,

dan menjadi

kompleks karena tidak mudah menilai keberhasilan sebuah program. Digman dan Car (1992) mencoba merusmuskan

evaluasi sebagai sebuah proses dalam

kelengkapan sebuah program. Sesudah dilakukan analisis (community analysis) termasuk didalamnya kondisi pendidikan, ekonomi, sosial, budaya, geografis dan berbagai masalah kesehatan di masyarakat, dirumuskan penilaian target (targeted assessment) yang akan menjadi sasaran program, sehingga bisa disusun pengembangan rencana program (Programme plan development) sehingga sebuah program benar-benar memberikan manfaat sesuai kebutuhan masyarakat. Implementasi merupakan pelaksanaan program sesuai dengan perencanaan yang sudah dibuat, dan sebuah program diakhiri dengan evaluasi (Evaluation) yang akan menilai keberhasilannya. Community Analysis

Target Assessment

.

Evaluation

Program Plan Development

Implementation Gambar 2.1. Model Perencanaan Program Promosi dan Pendidikan Kesehatan (Dignan dan Carr, 1992) Rangkaian tahapan tersebut merupakan proses yang berkesinambungan dan dilakukan secara terus – menerus agar program yang dilaksanakan akan menjadi lebih baik dari waktu ke waktu 6

2.1

Definisi Kerja Evaluasi Kerangka kerja Evaluasi adalah proses penilaian terhadap kinerja suatu program. Dignan dan Carr (1992) mempunyai 3 (tiga) definisi konsep dasar dalam memahami evaluasi, yaitu konsep prosesnya, fokusnya dan penerapannya. Konsep pertama membahas evaluasi adalah suatu proses penilaian bukan suatu ketetapan yang diatur oleh peraturan yang kaku. Pengalaman dilapanganyang didapatkan para profesional, fleksibilitas adalah kunci yang diperlukan sebuah evaluasi agar menghasilkan pertanyaan yang penting yang ditujukan pada sebuah program. Fleksibilitas pada evaluasi bukan berarti tidak ada prosedur bakunya. Diperlukan prinsip dasar yang bisa

digunakan menjadi petunjuk pengembangan rencana

evaluasi. Konsep kedua merumuskan fokus Evaluasi adalah mengkaji kinerja suatu program. Kinerja dapat didefinikan dalam berbagai cara, tergantung pada program dan tujuan evaluasi. Seperti yang digambarkan pada gambar 2.2, evaluasi merupakan suatu siklus, informasi yang didapat dari evaluasi bukan hanya digunakan untuk memastikan keberhasilan tetapi dapat digunakan kembali untuk pengembangan program tersebut. Konsep ketiga, evaluasi biasanya didasarkan pada perbandingan dengan sebuah standar. Menerapkan konsep ini ke dalam tindakan adalah hal yang paling menantang untuk melakukan perencanaan evaluasi, karena supaya efektif, evaluasi harus berfokus pada indikator keberhasilan atau kegagalan program yang jelas. Indikator dikembangkan dari pertanyaan evaluasi yang paling mendasar yaitu: Apa yang diharapkan bisa diamati bila sebuah program berjalan sesuai maksud dan tujuannya? Jawabannya bisa berupa pada hasil seperti peningkatan pengetahuan, akses layanan yang lebih baik, gaya hidup yang lebih sehat, atau banyak perubahan lainnya, tergantung pada tujuan dan sasaran suatu program. Secara singkat pengembangan dan pengimplementasian sebuah program dimulai dari sebuah tujuan yang jelas. Proses evaluasi dirancang sebagai pemantauan yang terstruktur agar informasi yang didapatkan dapat

7

digunakan untuk perbaikan perogram selama berlangsung. Hasil evaluasi mengkaji keefektifan sebuah program ditinjau dari tujuan dan penyesuaian program. Masukan terus diberikan agar implementasi yang berlangsung dapat disesuaikan untuk mencapai hasil sesuai tujuan.

Gambar 2.2. Hubungan antara evaluasi dan pengembangan progam. 2.2

Ruang Lingkup Evaluasi Evaluasi mencakup berbagai konsep dan aktivitas yang sangat luas Berikut akan dibahas tujuan, manfaat, dan tingkat evaluasi. 2.2.1 Tujuan evaluasi Suatu program dapat dievaluasi untuk berbagai alasan. Alasan yang paling sering adalah menilai capaian dan untuk mengidentifikasi keterbatasan program. Evaluasi bukanlah hal yang tidak bisa diubah, atau tidak dipengarui lingkungan, meskipun bisa juga digunakan sebagai metode untuk mengubah program satu institusi. Sebagai tambahan evaluasi yang perlu beberapa lama, bisa dipergunakan untuk

8

berbagai hal lain, misalnya menambah untuk perencanaan. Tambahan waktu juga bisa dipergunakan bila hampir belum ada program yang mirip sebelumnya, sehingga perlu staf perlu mempelajarinya sambil melakukan. Evaluasi juga dapat digunakan untuk mempelajari keputusan kontroversial dan untuk menghindari

menyalahkan

seseorang atau institusi. Tujuan evaluasi yang ini biasanya dilakukan dengan pengumpulan, analisis, dan interpretasi dengan cermat agar data dapat membantu membuat keputusan menjadi jelas. Evaluasi sering merupakan bagian penting dari hubungan masyarakat. Terutama ketika dana publik digunakan, evaluasi berkala dapat membantu sebuah program untuk mempertahankan citra yang baik dari publik guna memastikan pendanaan berikutnya. Evaluasi juga merupakan item tetap dari hibah. Hampir semua hibah baik dari sumber publik maupun swasta, memerlukan beberapa bentuk evaluasi terstruktur. Evaluasi

program

dapat

digunakan

sebagai

kegiatan

pengembangan staf. Jika staf melakukan evaluasi, mereka akan lebih memahami program tersebut. Hasil dari proses ini dapat memotivasi kembali kemauan karyawan dalam menyelesaikan masalah. Jika sebuah program dilaksanakan tanpa kesepakatan pencapaian yang jelas, atau jika ada ketidaksepakatan tujuan program individu bisa melakukan sesuai pemikiran mereka masing-masing, maka evaluasi menjadi tidak bermanfaat. Bila sebuah program tidak mempunyai pertanyaan untuk dijawab, atau keputusan sebuah program sudah dibuat, maka tidak perlu dibuat evaluasi.

Beberapa program

pendidikan kesehatan strukturnya sangat fleksible, sebagian besar aktivitasnya adalah improvisasi dan hanya dipandu tujuan secara samar. Dalam hal ini evaluasi tidak perlu dipaksakan. 2.2.2 Manfaat Evaluasi Tujuan dan manfaat evaluasi keberhasilan atau kegagalan program tergantung pada sudut pandang seseorang. Tujuan utama

9

evaluasi adalah untuk menilai apa yang telah terjadi sebagai hasil pelaksanaan perencanaan suatu program. Seorang pimpinan proyek dapat menggunakan evaluasi sebagai indikator kinerja karyawan atau untuk menguji kualitas proses perencanaan. Dari sudut pandang keuntungan evaluator eksternal (audit eksternal), evaluasi dapat digunakan untuk menunjukkan kualitas investasi yang dilakukan oleh penanam modal baik pribadi atau publik. Bagi teknisi, produsen/ pemberi layanan, dan konsumen/ pengguna layanan, evaluasi lebih bersifat pribadi. Evaluasi dapat bermakna kehilangan pekerjaan, promosi, atau keluar dari program yang tidak produktif. Pada tingkat ini, evaluasi bisa dianggap sebagai ancaman. Terlepas dari berbagai sudut pandang yang diambil, berikut beberapa pertanyaan dasar untuk evaluasi suatu program: 1. Haruskah program dilanjutkan sesuai dengan bentuk program berjalan saat ini? 2. Bagaimana pelaksanaan dan prosedur dapat ditingkatkan? 3. Metode atau aktivitas apa yang dapat memberikan hasil terbaik? 4. Efektifkah program ini di tempat lain? 5. Berapa besar anggaran diperlukan untuk program ini? 6. Apakah hasil evaluasi mendukung atau menolak teori yang mendasari upaya program untuk mempengaruhi perubahan populasi sasaran? Karena bisa menimbulkan ancaman maka seringkali dijumpai penolakan terhadap kegiatan evaluasi. Penolakan terhadap evaluasi sering disamarkan dengan ungkapan seperti “saya ingin menjelaskan bagaimana program ini berjalan, tapi sangat rumit” atau “kita harus banyak berimprovisasi karena menyesuaikan dengan berbagai masalah klien kita". Bila pernyataan seperti ini disampaikan maka pemberi pernyataan mungkin sedang mencoba untuk menghindar dari evaluasi. Sebagian besar tidak ingin tampak takut dengan evaluasi program, namun ingin menghindari evaluasi. Sebagian seni evaluator program

10

adalah meredakan perasaan khawatir tentang evaluasi. 2.2.3 Level Evaluasi Evaluasi biasanya dianggap mengukur kualitas produk dengan membandingkannya dengan standar: namun dengan bergantung pada sudut pandang seseorang evaluasi dapat didefinisikan dengan cara yang berbeda. Blum mengutip enam tingkat evaluasi. Tingkat evaluasi ini disusun berdasarkan tingkat kesulitan, dan juga dalam urutan kedalaman penilaian pencapaian program (Gambar 2.3). Level evaluasi dapat mencakup area sederhana sampai yang kompleks, dari pertimbangan elemen pelaksanaan yang paling dasar sampai pada implikasi abstrak. Pada level evaluasi yang lebih kompleks maka semakin besar kebutuhan sumber daya yang diperlukan.

Gambar 2.3. Level evaluasi 1. Level 1 Activity Tingkat pertama mencakup pengumpulan bukti yang menunjukkan apakah program sedang berlangsung. Pada level ini, evaluasi

difokuskan

programnya

dan

pada

apakah

apakah

petugas

kegiatan yang

melaksanakan

diperlukan

untuk

menunjang keberhasilan pencapaian tujuan program sedang dilakukan. Tingkat evaluasi ini sering digunakan dalam menilai apakah suatu program sedang dilaksanakan sesuai jadwal dan

11

diikuti oleh pengawasan kegiatan program yang lebih ekstensif. 2. Level 2 Meeting Minimum Standard Pada level ini evaluasi berupaya untuk mengukur apakah program berfungsi sebagaimana standar yang telah ditetapkan. Standar yang digunakan dalam penilaian pada level evaluasi ini biasanya mengarah pada pertimbangan aksesibilitas program pada populasi sasaran, pengendalian atas biaya, dan kriteria lain yang mengukur pemberian layanan. 3. Level 3 Efficiency of Operation Level ketiga adalah penilaian terhadap efisiensi program. Efisiensi adalah penukuran biaya yang dibutuhkan untuk setiap unit produk. Dalam program pendidikan kesehatan, efisiensi tercermin oleh peraturan penyediaan layanan pendidikan. Pertanyaan dasar untuk dijawab adalah apakah kita sudah mendapatkan sesuai dengan yang kita bayar.

Apakah semua personal sudah

mendapatkan keuntungan? Bagaimana efisiensi bisa ditingkatkan? 4. Level 4 Effectiveness Keefektifan program dinilai pada level ke empat yaitu bila program dapat mengubah populasi sasaran. Dikatakan pada level 4 bila sesudah evaluai dilakukan semua, hasil evaluasi dapat dipertimbangkan.

Evaluasi level 4 menilai seberapa sesuai hasil

program tersebut dibandingkan yang diinginkan. Secara sederhana level 4 dicapai bila hasilo program dapat dilihat dengan nyata sesuai dengan yang direncanakan. Ada kriteri evaluasi untuk menentukan nilai hasil 5. Level 5 Outcome Validity Level kelima melibatkan validitas pengukuran hasilnya yaitu sejauh mana program yang dirancancang tersebut berhasil menyelesaikan masalah kesehatan masyarakat. Tingkat evaluasi ini benar-benar merupakan mencerminkan pemahaman masalah di

12

masyarakat dan apakah program tersebut menghasilkan apa yang diharapkan. 6. Level 6 Overall Appropriatness Level keenam membahas kesesuaian program dalam keseluruhan sistem perawatan kesehatan. Tingkat 6 adalah untuk menilai seberapa baik suatu program dilihat dari kesesuaian dengan program lain yang memiliki tujuan yang sama, kesesuaian dengan sistem program kesehatan di masyarakat, dan sejauh mana tujuan program "baik untuk masyarakat". Area dari level evaluasi ini mulai dari kemudahan pencapaian hasil dari yang sederhana sampai yang kompleks, mulai dari penekanan pada kegiatan program yang bersifat spesifik hingga umum dan dari yang tidak ketat hingga ketat dalam menilai kegiatan program. Level evaluasi tidak dimaksudkan untuk digunakan secara ekslusif satu sama lain, sebagian besar program pendidikan. kesehatan masyarakat dievaluasi secara informal di semua level, bahkan fokus evaluasi formal hanya pada satu atau dua tingkat. 2.3

Fokus Evaluasi Program Terlepas dari tujuan atau tingkat evaluasi, evaluasi suatu program harus difokuskan dalam hal (1) jenis informasi yang akan diterima sebagai bukti dari suatu dampak program (2) peran yang dapat dievaluasi dari hasil pelaksanaan program, (3) sejauh mana kebutuhan untuk melindungi evaluasi dari bias, dan (4) jenis kriteria yang akan digunakan dalam evaluasi. 1. Jenis Informasi Informasi

yang

digunakan

untuk

mengevaluasi

program

umumnya merupakan kombinasi dari dua jenis yaitu kuantitatif dan kualitatif. Informasi kuantitatif adalah numerik, misalnya jumlah peserta program, penilaian sikap dan nilai tes. Informasi kualitatif tidak terbatas pada pengukuran tradisional, dan termasuk foto wawancara formal dan informal, pengamatan proses kelompok, riwayat hidup observasi partisipan, dan kasus historis. 13

Evaluasi

kuantitatif

adalah

pendekatan

tradisional

untuk

penilaian kinerja sebuah program. Hal ini didasarkan pada prinsipprinsip desain eksperimental dan biasanya memiliki penekanan pada penilaian kinerja berdasarkan kriteria yang dapat diukur dengan tingkat presisi tertentu. Tujuan evaluasi kuantitatif adalah untuk dapat membuat pernyataan tentang probabilitas hasil capaian program pada populasi sasaran. Evaluasi kualitatif didasarkan pada beberapa prinsip yang sama seperti kuantitatif namun penekanannya berbeda. Evaluasi kualitatif berusaha menghasilkan pernyataan yang menggambarkan proses dan pengalaman yang dihasilkan dari partisipasi dalam program. 2. Peran Evaluasi Peran evaluasi dalam keberlangsungan suatu program dapat bervariasi, namun dua peran dasar tersirat dalam istilah formatif dan sumatif. Evaluasi formatif dimaksudkan untuk menghasilkan umpan balik

bagi

pengembangan

sebuah

program.

Evaluasi

sumatif

dimaksudkan untuk menilai kinerja sebuah program yang telah dikembangkan dan diimplementasikan. Tumpang tindih dapat terjadi antara evaluasi formatif dan sumatif dalam beberapa kasus, perbedaan antara keduanya terletak pada motivasi dalam melakukan evaluasi. 2.4

Sumber Evaluasi Beberapa pertimbangan mungkin akan muncul saat membuat keputusan apakah evaluasi akan dilakukan oleh internal organisasi atau pihak eksternal organisasi. Kepercayaan diri administrator program terhadap validitas hasil evaluasi program lebih besar bila evaluasi dilakukan oleh pihak eksternal. Di sisi lain, bila evaluasi dilakukan dari luar, hasilnya lebih tidak dapat diprediksi dapat mengancam program karena akan mengungkap kelemahan program. Isu penting yang perlu dipertimbangkan dalam menentukan apakah suatu evaluasi dilakukan dari dalam atau dari luar organisasi meliputi hal-hal berikut: 1.

Apa tujuan dan kegunaan evaluasi?

14

2.

Apakah ada orang di dalam organisasi atau program yang memiliki keahlian untuk mengevaluasi sebuah program tujuan dan manfaat program yang telah ditetapkan?

3.

Apakah ada dana yang cukup dalam program untuk membiayai kegiatan evaluasi?

4.

Adakah aturan secara hukum mengenai evaluasi dari pihak pemberi dana untuk program ini?

2.4.1 Evaluasi yang dilakukan oleh evaluator internal organisasi Bila evaluasi dilakukan di dalam organisasi/ instansi, ada cukup banyak perdebatan tentang siapa yang akan mengawasi dan melakukan evaluasi dalam organisasi. Bagi organisasi yang memiliki divisi penelitian, evaluasi biasanya merupakan salah satu tanggung jawab mereka. Bila divisi penelitian terpisah atau tidak ada di dalam organisasi, evaluasi program biasanya didelegasikan ke beberapa bagian administrasi dalam organisasi. Dalam kasus lain, departemen yang benar-benar melakukan kegiatan program diberi beban untuk melakukan evaluasi sendiri. Dalam contoh diatas, yang menjadi masalah adalah konflik kepentingan.

Jadi yang penting adalah

keterbukaan dan obyektivitas. Di lain pihak akan sulit bagi orang yang tidak mengenal organisasi untuk mengerti programnya. Khususnya untuk program yang unik, alasan ini bisa dipertimbangkan ketika harus memilih evaluasi internal. Salah satu keluhan yang paling umum didengar dari administrator tentang evaluasi adalah bahwa proses evaluasi tidak memperhitungkan kekhasan program, dan jika evaluator hanya bisa memahami kesulitan yang ada maka evaluasi akan tampak banyak berbeda. Jika evaluasi program benar-benar digunakan untuk perubahan fungsi instansi, maka evaluasi harus dapat dipertahankan. Sangat sulit untuk mempertahankan evaluasi internal terhadap tuduhan kurangnya

15

objektivitas. Untuk alasan ini, evaluasi yang dirancang untuk membuat perubahan dalam fungsi evaluasi internal yang dirancang untuk menghapuskan program atau untuk merestrukturisasi instansi secara radikal hampir selalu dilakukan oleh evaluator eksternal. 2.4.2 Evaluasi oleh evaluator eksternal Objektivitas adalah alasan yang paling umum disampaikan untuk menggunakan evaluator eksternal. Tim evaluasi dari luar lembaga yang dievaluasi biasanya akan tampak lebih objektif dalam melakukan evaluasi daripada evaluator dari dalam organisasi itu sendiri. Terutama ketika evaluasi dilakukan secara longgar dan dihadirkan para ahli untuk melakukan evaluasi, objektivitasnya mungkin akan diperdebatkan. Seorang evaluator eksternal seharusnya bukan orang yang berkepnetingan dengan hasil evaluasi, sehingga biasanya akan melakukan penilaian program daripada berdasarkan standard daripada memahami cara kerja internal. Beberapa organisasi ada yang memiliki program evaluasi sebagai fungsi tunggal mereka. Organisasi-organisasi ini bertahan melalui kontrak layanan mereka dan melakukan evaluasi terhadap berbagai program. Jenis evaluasi eksternal lainnya dilakukan melalui pembentukan panel ahli yang akan mengunjungi program dan melakukan evaluasi. Sebagian besar institusi pendidikan tinggi masyarakat

profesional

dan

kelompok

profesional

lainnya

menggunakan evaluasi eksternal. 2.5

Kriteria Evaluasi Kriteria evaluasi adalah suatu standar atau tolok ukur yang digunakan untuk mengukur kinerja suatu program. Standar bisa direncanakan di di dalam program sebagai salah satu tujuan; bisa juga diperkenalkan sebagai hasil bantuan dari sumber luar; atau diperlihatkan secara administratif berdasarkan agensi yang diharapkan. elemen yang penting dalam proses evaluasi. Secara umum, terdapat dua macam kriteria evaluasi yaitu kriteria efek program terhadap sasaran dan kriteria efek program terhadap lembaga

16

itu sendiri. 1. Efek Program terhadap sasaran Jenis kriteria evaluasi

yang paling umum adalah yang

berhubungan denan pengaruh program terhadap sasaran (kien). Dalam pendidikan kesehatan, kriteria evaluasi harus difokuskan kepada pengaruhnya terhadap sasaran termasuk perubahan perilaku yang terjadi. Kriteria evaluasi dalam program pendidikan kesehatan dirancang untuk merangsang perubahan perilaku harus dijelaskan secara eksplisit dan khusus untuk perubahan perilaku sasaran (klien). Salah satu contohnya adalah suatu program pendidikan kesehatan terkait penggunaan alat pengaman anak-anak di dalam mobil. Maka kriteria evaluasi yang digunakan yaitu cara penggunaan alat pengaman anak di dalam mobil yang tepat, pengetahuan terkait kesalahan penggunaan alat yang sering terjadi dan akhirnya penggunaan alat pengaman pada anak-anak di mobil yang tepat. 2. Efek program terhadap lembaga Jenis kriteria evaluasi ini berhubungan dengan perubahan lembaga sebagai hasil dari suatu program. Jenis kriteria ini berorientasi pada hubungan lembaga dan anggotanya dengan klien. Secara umum, indeks yang digunakan dalam kriteria ini adalah perubahan anggaran dan waktu. Sebagai contoh adalah rata-rata waktu tunggu pasien dalam puskesmas setelah para pegawainya mengikuti pelatihan.

Perubahan

waktu adalah perubahan besarnya waktu yang luangkan staf dalam berbagai aktivitas kerjanya. Dalam suatu kriteria evaluasi tidak hanya melihat pengaruh program terhadap sasaran ataupun lembaga, melainkan juga harus di lihat dari aspek proses, dampak, dan/atau hasil. Proses (process) adalah penjelasan terkait aktivitas suatu program yang dirancang untuk mengubah perilaku sasaran. Dampak (impact) adalah efek spesifik terhadap klien yang merupakan hasil dari suatu program. Hasil (Outcome) adalah efek dari dampak program yang mungkin terjadi pada

17

sasaran dari waktu ke waktu. Evaluasi dapat dirancang untuk menilai proses, dampak, dan hasil. Namun, pada faktanya banyak pemangku kebijakan yang memilih untuk menggunakan evaluasi proses karena evaluasi tersebut lebih mudah dibandingkan dengan evaluasi dampak dan hasil. 3. Proses, dampak dan hasil Siapapun sasaran kriteria evaluasinya, baik pada masyarakat ataupun pada lembaga, evaluasi seharusnya jelas dengan proses, dampak dan hasil. Proses adalah istilah yang digunakan untuk menggambarkan aktivitas program yang dirancang untuk menghasilkan perubahan perilaku pada klien. Dampak adalah akibat tertentu/ khas yang terjadi pada klien sebagai akibat dari program. Hasil adalah efek yang berdampak pada program yang mungkin akan menepel pada klien dalam waktu lama. Contohnya adalah pemberian adukasi prenatal. Prosesnya adalah semua aktivitas yang dilakuan dalam rangka program, misalnya interaksi guru klien dalam edukasi, reaksi klien terhadap metode yang digunakan, serta semua aktivitas yang mengarah pada edukasi prenatal. Dampaknya dalah pengetahuan prenatal yang dimiliki klien sekarang dan beberapa fakta perawatan prenatal. Hasilnya adalah perubahan perilaku pada klien sesudah program selesai, dan seharusnya sesuai dengan informasi yang diberikan. Evaluasi bida dirancang untuk menilai proses, dampak atau hasil. Bila evaluasi dibuat merujuk pada proses, maka asumsinya adalah ketika proses dirancang maka hasilnya dapat diperkirakan. Evaluasi berdasarkan pada dampak dirancang untuk menunjukkan apakah metode dan aktivitas yang dilakukan oleh program akan memberikan hasil langsung yang diharapkan. Evaluasi dampak (impact) merupakan jenis evaluasi yang paling penting dalam tahap perkembangan dalam pendidikan dan promosi kesehatan dan seharusnya menjadi fokus utama bagi evaluator program. Evaluasi hasil (outcome) merupakan evaluasi yang paling sulit

18

dilakukan dibandingkan dengan yang lain karena melibatkan konsultasi tindak lanjut kepada sasaran dan penilaian penerapannya terhadap program. Evaluasi yang dilakukan di klinik lebih mudah dilakukan dibandingkan bila dilakukan dalam komunitas. Penentuan kriteria evaluasi yang fokus terhadap proses, dampak, dan hasil dalam mengukur dampak program terhadap sasaran tercermin dalam tujuan sebuah program. Perencanaan evaluasi sebagai bagian dari perencanaan program mendorong formula yang objektif.

Bila

objektivitas selalu dipikirkan sepanjang pengembangannya, evaluasi akan muncul. Tujuan program seharusnya tertentu dan dapat menjawab pernyataan “kamu akan mengenal sesuatu bila kamu melihatnya’. Maksud pernyataan tersebut adalah objektivitas adalah bila evaluator bisa mengukur dampak program pada personal ataupun kelompok. Objektive harus spesifik, perilaku yang khas yang harus dinilai, dan bagaimana perilaku atau pencapaian diukur. 2.6

Pengukuran dan Evaluasi Proses evaluasi adalah proses pengukuran terhadap efektivitas suatu program/kegiatan. Pengukuran adalah pemberian nilai terhadap objek berdasarkan standar yang ada. Objek dapat berupa objek fisik, hubungan spasial atau abstraksi. Peraturannya bisa objektif atau subjektif, yang penting harus konsisten. Tipe pengukuran yang dipilih bergantung pada kriteria evaluasi yang dipilih, kebutuhan untuk keakuratan/ ketepatan, dan peluang dalam pengumpulan informasi. Karakteristik/ ciri-ciri pengukuran yang

efektif

yaitu

pengambilan

sampel

harus

representatif,

mengkomunikasikan informasi yang mudah dimengerti terkait dengan pengukuran, memiliki validitas tinggi dan reliabilitas.

19

Tabel 2.1. Karakteristik Pengukuran yang Baik Sampling

Communication Validity Reliability

mewakili luas dan dalamnya hal yang harus diukur, termasuk data dari semua populasi yang diukur, keseimbangan kesulitan dan kerumitan informasi mengunakan unit pengukuran yang meringkas pengukuran secara efektif dan istilahnya dikenal Mengukur yang seharusnya. Objeknya digambarkan melalui proses pengukuran Pengukuran konsisten. Pengukuran yang memerlukan sedikit interpretasi dan memberikan reliabilitas terbesar

2.6.1 Sasaran pengukuran Hal yang terpenting dalam proses evaluasi adalah standar/ tolak ukur yang digunakan dalam mengukur efektivitas suatu program harus sistematis. Sasaran yang paling umum digunakan dalam proses pengukuran evaluasi implementasi program meliputi proses (process), dampak (impact), dan hasil (outcome) yang berhubungan dengan aktivitas program serta perubahan pengetahuan, sikap, dan perilaku sasaran sebagai hasil program. 1. Proses, dampak dan hasil Program pendidikan dan promosi kesehatan mempengaruhi populasi sasaran melalui aktivitas yang sudah direncanakan (proses) yang mampu memberikan efek langsung (dampak) serta efek jangka panjang (hasil). Contohnya, program pembelajaran terhadap orang tua terkait keselamatan anak dan tindakan pencegahan bahaya di dalam rumah. Interaksi dalam diskusi kelompok orang tua terkait masalah keselamatan anak merupakan suatu proses dalam program. Kemudian, peningkatan kewaspadaan orang tua terhadap kondisi berbahaya di dalam rumah merupakan dampak suatu program. Dan tindakan (aksi) orang tua untuk mengubah kondisi rumah menjadi lebih aman sebagai bentuk pencegahan kecelakaan dan peningkatan keselamatan di dalam rumah merupakan hasil dari suatu program.

20

2. Pengetahuan, sikap dan perilaku Program pendidikan dan promosi kesehatan merupakan program yang memuat informasi spesifik, sudut pandang, dan rekomendsi untuk perubahan perilaku yang merupakan bagian dari tujuan yang sudah direncanakan. Perubahan perilaku sangat sulit diukur untuk mengetahui efek dari suatu program sehingga pengukuran pengetahuan dan sikap bisa menjadi alternatif untuk melakukan pengukuran tersebut. 2.6.2 Ketelitian pengukuran Terlepas dari proses dan target pengukuran, hal penting lainnya dalah merancang suatu pengukuran seteliti/ setepat mungkin. Ketepatan/ ketelitian suatu pengukuran dinyatakan hal validitas dan reliabilitas. 1. Validitas Validitas adalah suatu istilah yang digunakan untuk mengetahui sejauh mana ketepatan alat untuk mengukur suatu objek. Sejauh mana suatu pengukuran berlaku untuk kondisi sekarang dinyatakan dalam validitas konkuren. Sedangkan sejauh mana sebuah pengukuran mampu memprediksi perkembangan di masa yang akan datang dinyatakan dalam validitas prediktif. Tedapat tiga tipe umum validitas yaitu : a. Validitas konten, dimana pengukuran didasarkan pada informasi tertentu dan keabsahan pengukuran dapat dilihat dari sejauh mana informasi yang ditunjukkan dari pengukuran. Sebagai contoh, tes untuk mengukur hasil program promosi kesehatan terkait mengurangi risiko cedera punggung dalam bekerja akan memiliki validitas konten yang bagus jika informasi diambil dari sampel dengan cara yang tepat. b. Validitas berbasis kriteria, pengukuran dapat didasarkan pada kriteria yang telah ditetapkan seperti hukum dan pedoman profesional.

21

c. Validitas konstruk, merupakan validtas yang paling abstrak dibandingkan dengan tipe validitas yang lain. Jenis validitas ini mengukur atau menggambarkan orang lain dalam hal konsep diri sehingga didasarkan pada kesan secara umum dibandingkan dengan perilaku yang spesifik. Jenis validitas ini lebih ke masalah diskusi dan persuasi dibandingkan dengan fakta. 2. Reliabilitas Reliabilitas pengukuran lebih kepada masalah konsistensi. Konsistensi pengukuran yaitu menggunakan proses dan tipe informasi yang sama pada setiap waktu pengukuran tersebut digunakan. Ketika pengukuran kurang reliabel, maka kita tidak dapat menentukan perbedaan hasil dari sebelum dan sesudah proses. Konsep reliabilitas didasarkan kepada keyakinan bahwa semua pengukuran juga mencakupi beberapa kesalahan (error).

Observed Measurement = True measurement + Error

2.7

Desain Evaluasi 2.7.1 Desain validitas Tujuan dari proses evaluasi adalah mengumpulkan data yang akurat dalam menggambarkan kinerja suatu program. Untuk merancang sebuah evaluasi, maka kebutuhan akan proses validitas internal dan ekternal harus tetap diutamakan. Validasi internal adalah sejauh mana suatu aktivitas program bertanggung jawab atas perubahan yang diukur, sedangkan validasi eksternal adalah perluasan dimana program diharapkan mengasilkan efek/dampak yang sama pada populasi sasaran yang berbeda. Validitas proses evaluasi selalu menjadi perdebatan sehingga sudah menjadi tugas perancang evaluasi dalam mengenali kemungkinan ancaman terhadap integritas desain evaluasi dan merencanakan cara untuk meminimalisasi dampaknya. 2.7.2 Ancaman terhadap validitas internal 1. History (sejarah) yaitu ketika sasaran atau partisipan menerima

22

informasi dari luar program yang sedang berjalan, maka sulit untuk membedakan dampak dari program dan dampak dari informasi dari luar program 2. Maturation (maturasi) yaitu ketika pengetahuan dan pengalaman seseorang meningkat dengan sendirinya seiring berjalannya waktu sehingga dalam kasus ini perubahan alami tersebut dapat membingungkan proses evaluasi untuk mengetahui dampak dari suatu program. 3. Testing (uji coba) yaitu ketika informasi terkait proses evaluasi dikumpulkan berulang-kali dari individu yang sama, tentunya proses pengukuran sebelumnya akan mempengaruhi proses pengukuran selanjutnya. 4. Instrumentation (instrumentasi), yaitu jika prosedur pengukuran atau instrumen pengukuran berubah selama program berlangsung, maka perbedaan prosedur lama dan baru dapat mengubah hasil evaluasi. 5. Regression (regresi) merupakan ancaman yang paling penting dalam proses evaluasi dimana data yang dikumpulkan berupa tes pengetahuan, skala sikap, dan sejenisnya. Pada saat pengukuran, setiap individu cenderung memiliki hasil yang ekstrem (baik atau buruk) dan menyimpang jauh dari rata-rata kelompok. Ketika dikaji ulang, orang yang sama kemungkinan akan membuat hasil pengukurannya

mendekati

rata-rata

hasil

kelompok

dan

akanmenghasilkan skor yang lebih mencerminkan keadaan sebenarnya pada saat pengujian. 6. Selection (seleksi) yaitu, ancaman yang terjadi terhadap validitas internal karena adanya perbedaan antar kelompok yang disebabkan oleh ciri khas individu dalam kelompok. 7. Attrition (pengurangan) yaitu ketika individu-individu yang sering keluar (drop out) dari program dan tidak mengikuti keseluruhan proses evaluasi dan hal ini bisa menjadi ancaman terhadap validitas internal.

23

2.7.3 Ancaman terhadap validitas eksternal Efek generalisasi suatu program bergantung pada kemampuan menyalurkan/ mentransfer akivitas program ke dalam keadaaan/ kondisi yang baru. Tentunya, semakin banyak program yang disesuaikan dengan kebutuhan populasi target tertentu, maka semakin kecil kemungkinan transfer program akan berhasil dan semakin banyak metode yang digunakan disesuaikan dengan karakteristik kelompok tertentu, semakin banyak juga ancaman terhadap validitas ekternal. 2.7.4 Menentukan desain evaluasi Menentukan desain evaluasi meliputi 2 rangkaian tugas dasar. Pertama, mampu membantu untuk meninjau ulang program yang akan dievaluasi dan dapat diselesaikan pada semua pendekatan yang meliputi kuantitatif, kualitatif, dan kombinasi dari keduanya (Gambar 2.4). Kedua, mampu menjawab beberapa pertanyaan yang membantu mencocokkan kebutuhan proses evaluasi dengan desain yang tepat. 1.

Berapa tingkat perkembangan program saat ini?

2.

Kapan waktu yang memungkinkan untuk proses pengumpulan informasi evaluasi?

3.

Apa jenis informasi yang dapat dikumpulkan dan dari siapa? Dapatkah peserta/partisipan ditanyakan terkait programnya secara langsung?

4.

Berapa banyak waktu yang tersedia untuk proses pengumpulan data?

5.

Bisakah informasi dikumpulkan

dari individu-individu yang

tidak mengikuti program?

24

Gambar 2.4 Menentukan Pendekatan Untuk Desain Evaluasi : Kuantitatif, Kualitatif, dan Kombinasi 2.8

Evaluasi Kuantitaif Mengembangkan desain evaluasi pada program pendidikan dan promosi kesehatan bisa menjadi rumit, apalalgi jika hasil evaluasi digunakan untuk pengambilan keputusan terkait alokasi atau pendanaan sumber daya. Dalam proses evaluasi program pendidikan kesehatan sering kali melihat perubahan yang terjadi pada sasaran dari waktu ke waktu dan perbedaan atau kemunculan pengetahuan yang baru setelah terkena suatu program. Evaluasi kuantitatif digunakan untuk menilai perubahan yang terjadi setelah mengikuti suatu program. 1. Desain Untuk menilai Perubahan Sebelum-Sesudah Desain evaluasi ini digunakan untuk menilai perubahan yang telah terjadi selama program dan desain ini merupakan desain yang sering digunakan dalam mengevaluasi program. Penggunaan kelompok kontrol merupakan ciri dari desain evaluasi ini untuk dibandingkan dengan kelompok eksperimen. Berikut ini adalah beberapa jenis desain

25

perubahan sebelum-sesudah : a. Non-equivalent Control Group, Pretest-Post test Jenis desain ini menggunakan dua kelompok yaitu kelompok yaitu kelompok yang mengikuti program (kelompok eksperimen) dan kelompok

yang

tidak

mengikuti

program

(kontrol).

Dalam

menentukan kelompok kontrol diambil dari kelompok lain yang memiliki karakteristik yang serupa dengan kelompok eksperimen. Berikut tahapan dalam menggunakan jenis desain ini : 1) Mengidentifikasi klien/ sasaran yang akan menerima perlakuan dari program untuk di evaluasi. 2) Mengidentifikasi kelompok yang tidak menerima perlakukan dari program namun memiliki karakteristik yang sama dengan kelompok perlakuan. 3) Mengumpulkan informasi terkait perbedaan dua kelompok tersebut 4) Memberikan pre test terkait pengetahuan, sikap, dan perilaku tentang dari program pada kedua kelompok tersebut 5) Memberikan treatment/ perlakuan pada kelompok eksperimen dan kelompok kontrol tidak diberikan perlakuan. 6) Memberikan post-test terkait pengetahuan, sikap, dan perilaku pada

kedua kelompok.

Before Implementation

After Implementation

Clients in program

A

B

Clients NOT in program

C

D

Gambar 2.5. Desain Nonequivalent Control Group, Pretest-Post test Pada umumnya suatu program seharusnya menghasilkan suatu perubahan yang bisa dilihat dari gambar diatas dimana perbedaan seharusnya terlihat jika kelompok klien/ sasaran yang menerima perlakuan dalam program, maka sel A dan B harus terdapat perbedaan

26

dan sel C dan D diharapkan tetap dan tidak mengalami perubahan. Untuk menentukan perbedaan tersebut dapat menggunakan statistik yang telah ada. Pada jenis desain ini terdapat jenis desain quasi eksperimental, namun jenis desain ini tidak menggunakan proses random/ acak dalam menentukan kelompok eksperimen dan kelompok kontrol. b. Design Pretest- Post test Only Jenis desain ini digunakan ketika kelompok kontrol tidak bisa digunakan, sehingga jenis desain ini hanya memberikan pretest dan post-test pada kelompok/ sasaran yang mengikuti suatu program. Pendekatan evaluasi ini sangat lemah dan tidak bisa digunakan kecuali tidak ada alternatif lain. Jenis desain ini akan memberikan informasi terkait perubahan yang terjadi pada sasaran selama mengikuti program, namun tidak bisa menjelaskan apakah perubahan ini berbeda dari orang-orang yang mungkin terjadi pada populasi umum. Before Implementation Clients in program

After Implementation

A

B

Gambar 2.6. Desain Pretest- Post test Only c. Design Post-test Only Disaat pre-test tidak mudah untuk dilakukan dan pengalaman pretest akan menyebabkan masalah dalam suatu program maka desain ini mampu digunakan dalam mengumpulkan informasi untuk proses evaluasi. Namun, kelemahan dari jenis pendekatan ini tentunya kurangnya informasi tentang perbedaan antara kelompok-kelompok yang ada sebelum program. Kelebihannya jika kelompok diambil secara acak, maka desain ini sangat kuat. Before Implementation Clients in program Clients NOT in program

After Implementation

-------

B

-------

D

27

Gambar 2.7. Desain Post-Test Only 2. Design to Access Changes through Time (Desain Penilaian Perubahan Menurut Waktu) Pengukuran suatu perubahan yang terjadi menurut waktu yang paling mudah dapat menggunakan desain time series. Time series adalah sebuah desain untuk mengevaluasi program dengan melihat perubahan kriteria evaluasi dari waktu ke waktu. Berikut ini lima langkah dasar dalam desain time series : a. Merancang dan menetukan kriteria evaluasi yang akan digunakan. b. Memutuskan kepada siapa (sasaran) kriteria evaluasi akan diterapkan. c. Mengumpulkan setidaknya tiga kriteria pengukuran evaluasi sebelum program dimulai dan pastikan data dikumpulkan secara berkala dengan rentang waktu yang sama. d. Memastikan program telah dilaksanakan. e. Mengumpulkan data pengukuran kriteria evaluasi secara berkala setalah program dilaksanakan. Data time series merupakan jenis data yang sangat sulit untuk dianalisis tetapi bisa diperiksa. Alat yang digunakan untuk membuat keputusan dengan menggunakan data time series adalah time series plot. Langkah-langkah proses pembuatan time series plot sebagai berikut : a. Pada setiap kali pengukuran dilakukan, kembangkan rangkuman statistik atau bisa membuat rata-rata pada setia interval pengukuran. b. Membuat grafik dengan sumbu vertikal untuk mewakili statistik yang telah dikembangkan pada langkah pertama dan sumbu horizontal untuk mewakili waktu. c. Kemudian cocokkan data yang telah dikumpulkan berdasarkan sumbu vertikal dan horizontal berdasarkan waktu ke waktu.

28

Gambar 2.8. Contoh Time Series Plot Efek dari suatu program pada ktiteria evaluasi dapat dilihat pada grafik. Jika perubahan kriteria evaluasi terjadi setelah program dilaksanakan, maka pada grafik tersebut seharusnya menampilan perubahan pola data sebelum dan sesudah pelaksanaan program. 2.9

Evaluasi Kualitatif Pada

evaluasi

kuantitatif

terdapat

kecenderungan

untuk

mengabaikan dampak program yang tidak dapat diukur dengan validitas dan realibilitas. Secara alami, program pendidikan dan promosi kesehatan harus memiliki tingkat fleksibilitas tertentu untuk memenuhi kebutuhan klien. Di sisi lain, jika efek program tidak diukur dengan tingkat validitas dan reliabilitas yang dapat diterima, dan jika pengaruh yang mengacaukan dampak program tidak dikendalikan secara sistematik, informasi yang dikumpulkan pasti akan menjadi bias bagi pengamat, sehingga fleksibilitas yan baik sangat dibutuhkan. Evaluasi kualitatif didasarkan pada kebutuhan untuk menemukan daripada

menguji

dampak

program.

Tujuannya

adalah

untuk

mengembangkan pemahaman tentang proses dimana program dapat menjangkau khalayak yang dituju, dampak yang dihasilkan, dan perubahan yang mungkin terjadi setelahnya. Yang hasilnya pendekatan kualitatif ini memiliki perspektif yang lebih luas daripada pendekatan kuantitatif. Evaluasi kualitatif bergantung pada peserta dan orang lain untuk mendapatkan informasi tentang program. Beberapa metode yang biasa

29

digunakan seperti wawancara dengan orang-orang yang terlibat dengan program ini, pengamatan kegiatan program dan pengamatan partisipan. Wawancara yang dilakukan dalam evaluasi kualitatif didasarkan pada pertanyaan umum tentang program ini. Pertanyaan-pertanyaan ini biasanya didasarkan pada tujuan dan sasaran program, namun juga mencakup eksplorasi tentang "bagaimana" dan "mengapa" aktivitas program berdampak pada peserta. Wawancara dapat dilakukan dengan peserta program, staf atau pihak lain. Kegiatan program juga dapat diamati dengan tujuan menemukan aspek reaksi peserta yang berada di luar jangkauan pengukuran standar. Pengamatan peserta dapat diperoleh dari berbagai bagian. Pemimpin proyek, fasilitator kelompok, atau peserta program dapat menjadi pengamat. Metode ini digunakan untuk mengembangkan pemahaman yang luas tentang program ini dari pandangan peserta.. 2.10 Kombinasi Metode Kuantitatif dan Kualitatif Metode kuantitatif dan kualitatif dapat digunakan bersamaan dalam evaluasi,

dapat

memungkinkan

pengumpulan

informasi

yang

menggambarkan program secara lebih mendalam daripada yang mungkin dilakukan melalui penggunaan satu metode saja. Pada evaluasi kuantitatif menekankan pengukuran, biasanya mengorbankan informasi yang tidak mudah diukur, sedangkan pada evaluasi kualitatif sebagian besar mengabaikan pengukuran tradisional yang mendukung penjelajahan makna kegiatan program. Pada program evaluasi terdapat dua fase utama, perencanaan dan pengumpulan data, peran evaluasi kuantitatif dan kualitatif dapat bertautan pada sebuah cara yang masuk akal. Pada fase perencanaan, cara untuk mengumpulkan informasi yang penting sebuah program harus ditentukan. Pada evaluasi kuantitatif penentuannya dibatasi oleh aturan pengukuran. Pengukuran harus memiliki validitas dan reliabilitas yang tinggi dan harus selaras dengan target populasi. Mencapai persyaratan tersebut, ditambah persyaratan bahwa jumlah pengambilan ukuran dibutuhkan untuk evaluasi program, ini sangat sulit. Evaluasi kualitatif, di sisi lain, memungkinkan

30

fleksibilitas dalam metode pengumpulandata. Oleh karena itu, penggunaan metode kualitatif untuk memastikan bahwa dimensi penting program disadap melalui proses pengumpulan data dan metode kuantitatif untuk memastikan prosedur pengumpulan data yang benar sehingga dapat menghasilkan evaluasi yang superior. Apabila informasi kualitatif dapat diterima untuk evaluasi, sayangnya

tidak umum terjadi, informasi kuantitatif dapat digunakan

sebagai dukungan terhadap deskripsi kualitatif dari pengalaman peserta program. Akan lebih baik lagi, informasi kuantitatif yang akan digunakan untuk membuat pernyataan utama tentang keefektifan program, dengan informasi kualitatif digunakan untuk menjelaskan mengapa efek tersebut akurat. Catatan pentingnya, penerimaan informasi kuantitatif dan kualitatif dapat di lihat dari segi pandang seseorang. Informasi kualitatif dipandang “lunak/lemah” dan tidak meyakinkan pengamat yang berorientasi teknis sedangkan informasi kuantitatif terkadang tidak dipahami oleh pembaca awam. Sehingga evaluasi program dapat dipertanggungjawabkan pada salah satu atau kedua jenis peserta. Untuk memastikan komunikasi yang efektif, perancangan evaluasi harus mencerminkan kebutuhan dan kepentingan peserta yang dituju serta tujuan suatu program 2.11 Perencanaan Evaluasi Setelah memahami dasar informasi tentang evaluasi, selanjutnya harus dipahami beberapa pertanyaan tentang program dan evaluasinya. Pertanyaan-pertanyaan tersebut mengarahkan penysusnan rencana evaluasi.

31

Beberapa isu dan pertanyaan dasar yang diajukan pada saat melakukan pendekatan evaluasi seperti tercantum pada tabel berikut: Tabel 2.2 Beberapa Isu & Pertanyaan Dasar Pengorganisasian Evaluasi Issue Sumber data 1. Bagaimana mengidentifikasi 2. Berapa banyak yang diperlukan 3. Bagaimana data akan dikumpulkan? Observasi? daftar pertanyaan? Issue Tugas Personalia and Penjadwalan 1. Apa tugas penting? 2. Apakah kualifikasi/pelatihan yang akan diperlukan? 3. Kapan tugas akan selesai? 4. Bagaimana mengontrol penyelesaian tugas ?

Issue Analisis dan Laporan 1. Apa analisis yang akan digunakan? 2. Kepada siapa laporan akan diberikan? 3. Apakah staf tambahan diperlukan untuk menyelesaikan analisis atau pealporan?

Terdapat lima langkah dasar dan esensial yang diperlukan untuk evaluasi program dan berhubungan antara satu dengan yang lainnya: Tabel 2.3. Planning for evaluation: Steps and Product Steps in planning evaluation 1. Clarify goals and objectives 2. Determinant evaluation criteria 3. Select appropriate design 4. Plan for data collection

5. Plan data analysis and reporting

Producs Targets for evaluation Standards for comparasion Approach for evaluation Procedures for collection

Analysis resource needs

1. Mendeskripsikan program, tujuan dan sasaran spesifik. Langkah pertama dalam melakukan evaluasi program, apakah sebagai evaluator luar atau sebagai anggota organisasi yang mensponsori program, adalah menghasilkan deskripsi program secara detail seperti yang ada. Kata “Seperti yang ada” sengaja digunakan karena sepanjang waktu program pendidikan kesehatan cenderung berkembang. Ketika evaluasi dilakukan, program yang berlaku hanya mirip sedikit dengan apa yang direncanakan semula. Karena itu, jika evaluasi merupakan penentuan kualitas program, memahami program aktual yang berlaku merupakan persyaratan dasar. Karena evaluasi selalu meramalkan tentang sasaran program, 32

sasaran tersebut harus harus dispesifikasi sebelum dilanjutkan dengan aktivitas evaluasi lainnya. Pada point ini, menjadi jelas bahwa evaluasi tidak akan menjadi bermanfaat karena tidak ada tujuan dan sasaran yang jelas 2. Menentukan kriteria yang akan digunkakan pada evaluasi Ketika tujuan ditetapkan dan program telah dijelaskan dengan cukup rinci untuk dipahami secara menyeluruh, kriteria evaluasi dapat ditentukan. Jika rencana program telah disusun dan ditulis dengan teliti langkah evaluasi akan lebih mudah. Jika sasaran program adalah kriteria dari referensi ilmiah maka kriteria evaluasi dapat ditetapkan. Jika sasaran untuk evaluasi kriteria tidak ditulis secara gamblang, maka kriteria harus dikembangkan. Kunci untuk mengembangkan kriteria evalusi bermanfaat untuk mendesain sehingga tidak ada kebingungan tentang pengukuran atau pengumpulan data, dan interpretasinya jelas. 3. Memilih desain evaluasi Setelah

kriteria

ditentukan,

prosedur

untuk

evaluasi

dapat

dikembangkan. Seperti disebutkan sebelumnya banyak desain yang berbeda dapat diterapkan pada evaluasi program pendidikan kesehatan. Dalam mengembangkan prosedur evaluasi, desain evaluasi harus dipilih, dan semua tugas dan isu terkait pelaksanaan evaluasi harus ditangani. Seleksi desain evaluasi dimaksudkan untuk meramal banyak tugas yang berhubungan dengan prosedur yang digunakan. Selain itu, banyak pertanyaan dan isu yang muncul dengan prospek evaluasi akan dijawab melalui desain yang diseleksi. 4. Merencanakan pengumpulan data Langkah keempat dalam evaluasi program adalah mengumpulkan data untuk menilai perkembangan program berkaitan dengan kriteria evaluasi dan desain evaluasi yang telah ditetapkan. Kunci keberhasilan dalam menyelesaikan fase evaluasi ini adalah adanya kumpulan data yang jujur, sistematis, dan sesuai evaluasi keperluan. Penyimpangan dalam cara pengumpulan data atau pada cara penetapan kriteria untuk evaluasi, bisa merusak seluruh usaha evaluasi, jadi konsistensi adalah penting.

33

5. Merencanakan analisis dan laporan Ketika data dikumpulkan, prosedur yang ditentukan pada langkah 3 untuk analisis dapat digunakan. Analisis terhadap data yang dikumpulkan dibandingkan dengan kriteria evaluasi. Dapat dilakukan analisis deskriptif atau analisis inferensial sesuai maksud dan tujuan serta desain evaluasinya. Analisis harus menunjukan dimana program yang memenuhi kriteria untuk keberhasilan, dan harus juga mengidentifikasikan komponen yang butuh peningkatan. Laporan hasil harus dibuat untuk menjelaskan bagaimana program dievaluasi, apa pertanyaan yang ditunjukan, dan apakah hasil akhir. Ketika menulis laporan, apa yang sekirannya dipikirkan dan diharapkan yang berkaitan dengan tujuan dan sasaran program oleh pembaca laporan harus dipertimbangkan. Penggunaan jargon teknis mungkin sulit bagi beberapa pembaca, namun laporan yang tidak bisa dimengerti akan menimbulkan pertanyaan bagi pembaca yang lain. Sebagai contoh, laporan yang menekankan pada satu aspek program seperti performa personel mungkin bisa jadi penting untuk beberapa pembaca, namun sementara pembaca lainnya masih mencari isi laporan tentang hasil akhir adanya perubahan perilaku (outcome). Umumnya penting untuk membahas efek program yang mempunyai target populasi dan rencana kelanjutannya, berkaitan dengan pencapaian tujuan dan sasaran program. 2.12 Akuntabilitas dan Evaluasi Program Evaluasi itu seperti Umbai cacing : Sesuatu yang melekat pada sistem yang tampaknya berfungsi dengan baik tanpa itu; namun sepertinya tidak ada yang tahu mengapa hal itu telah ditambahkan. Hal ini hanya diperhatikan saat hal itu menyebabkan rasa sakit dan mengancam akan merusak pekerjaan. Ketika itu terjadi, kemungkinan akan dipotong! Akuntabilitas menyampaikan gagasan untuk bertanggung jawab atas tindakan seseorang, atau “tunduk pada pemberian tanggungan”. Konsep akuntabilitas mencakup empat area yang luas. 1.

Semua atau sebagian besar tujuan pendidikan seharusnya dinyatakan pada perilaku.

34

2.

Evaluasi harus didasarkan pada kompetensi atau kinerja

3.

Evaluasi harus dibatasi pada hal yang dapat diamati dan diukur

4.

Teknik pengendalian perilaku harus digunakan untuk menghasilkan perubahan yang ditetapkan oleh tujuan perilaku. Akuntabilitas publik menuntut agar program sosial dievaluasi untuk

mengetahui apa yang berhasil dan yang tidak sesuai, dan untuk menemukan kecocokan terbaik antara evaluasi program, yang dapat digunakan sebagai sumber daya dan program yang memiliki manfaat besar. Evaluasi program dapat digunakan sebagai alat manajemen untuk meningkatkan manajemen yang efektif dan alokasi sumber daya yang terbatas, serta sarana untuk mempromosikan akuntabilitas.. 2.12.1 Hubungan sebab dan akibat Inti hubungan antara evaluasi program dan akuntabilitas adalah konsep kausalitas. Kegiatan program diasumsikan terkait secara sebab akibat dengan hasil. Jika teori ini diterima, maka melalui evaluasi kita dapat menunjukkan efisiensi dan efektivitas kegiatan

program,

dan

dengan

demikian

dapat

dipertanggungjawabkan kepada klien, sumber pendanaan, dan diri kita sendiri. Semakin jelas dan rinci tujuannya, semakin kompleks menunjukkan akuntabilitas. Tujuan yang ditunjukkan secara gamblang memenuhi persyaratan yang akuntabilitas Inti dari akuntabilitas program adalah bahwa ada tanggung jawab oleh penyedia jasa untuk menjawab konstituensi mereka. Evaluasi program membantu menyediakan sarana untuk bertanggung jawab. 2.12.2 Akuntabilitas dan pendidikan kesehatan masyarakat Dasar permintaan akuntabilitas adalah gagasan bahwa kegiatan yang direncanakan akan menghasilkan hasil yang dapat diprediksi.

Akuntabilitas

program

yang

menuntut

tersebut

mengasumsikan bahwa ada hubungan kausal antara kegiatan

35

program dan hasil program. Asumsi ini adalah satu-satunya elemen yang paling merepotkan untuk menunjukkan akuntabilitas program promosi kesehatan masyarakat dan promosi kesehatan. Dalam pendidikan kesehatan, seperti dalam kebanyakan disiplin ilmu, kita tidak dapat dengan mudah menunjukkan hubungan kausal antara hasil pendidikan pengajaran dan kesehatan, faktor lainnya: kita tidak dapat menjamin bahwa layanan yang kita berikan akan selalu menghasilkan hasil kesehatan yang diinginkan. Oleh karena itu untuk menunjukkan akuntabilitas program pendidikan dan promosi kesehatan adalah tugas yang sulit. Untuk dapat dipertanggung jawabkan dalam program pendidikan dan promosi kesehatan masyarakat adalah bersikap tanggap terhadap kebutuhan klien. Evaluasi program memberikan data yang tidak hanya memungkinkan profesional kesehatan bersikap responsif, namun juga menunjukkan responsivitas terhadap kebutuhan

populasi

sasaran.

Inti

dari

pertanggungjawaban,

bagaimanapun, adalah kemauan untuk memodifikasi praktik dalam menghadapi hasil evaluasi. Oleh karena itu, keberanian diperlukan untuk merancang evaluasi yang mungkin kritis terhadap usaha seseorang. Esensi pertanggungjawaban bukan untuk dipandang sebagai “umbai cacing” yang tidak memiliki fungsi nyata dalam program pendidikan dan promosi kesehatan masyarakat, namun sebagai sarana agar layanan optimal bagi populasi sasaran yang dapat dipertahankan.

36

2.13 Contoh Evaluasi Program Pada Kegiatan Pemberian Tablet Fe pada Ibu Hamil Tabel 2.4. Evaluasi Program Pada Kegiatan Pemberian Tablet Fe pada Ibu Hamil No. 1.

Program/ Kegiatan Pemberian Tablet Fe

Deskripsi Program Kegiatan pemberian tablet Fe (penambah darah) dengan sasaran pada ibu hamil. Ibu hamil diharapkan mengkonsumsi 90 tablet Fe selama masa kehamilan.

Tujuan Program Mencegah terjadinya anemia pada ibu hamil

Kriteria Evaluasi Efek dampak pada sasaran dari aspek input, proses dan outcome

Desain Evaluasi Evaluasi Kualitatif dan Input : Kuantitaif -Tenaga pengelola Program -Ketersediaan jumlah tablet Fe -ketersediaan alat pemeriksaan Hb - Besarnya anggaran -SOP distribusi pemberian tablet Fe Proses : -Pelaksanaan pemberian tablet Fe Outcome : - Menurunkan angka kejadian (prevalensi) anemia pada ibu hamil

37

BAB III PENUTUP 3.1 Kesimpulan Berdasarkan penjelasan diatas maka dapat ditarik kesimpulan adalah sebagai berikut : 1. Evaluasi adalah suatu proses penilaian yang difokuskan pada penilaian kinerja suatu program. Evaluasi memiliki tujuan utama untuk menilai apa yang telah terjadi sebagai hasil pelaksanaan perencanaan suatu program. Terdapat 6 (enam) tingkatan evaluasi yaitu activity, meeting minimum standards, efficiency of operation, effectiveness, outcome validity, dan overall appropiateness. 2. Proses evaluasi suatu program harus difokuskan pada jenis informasi yang diterima, peran yang dapat dievaluasi, sejauh mana kebutuhan untuk menghindarkan evaluasi dari bias, dan jenis kriteria evaluasi yang akan digunakan. Kriteria evaluasi adalah suatu standar atau tolak ukur yang digunakan untuk mengukur kinerja suatu program. Beberapa langkah dasar dalam proses evaluasi program yaitu, mendeskripsikan program, tujuan, dan sasaran spesifik, menentukan kriteria evaluasi dan desain evaluasi, kemudian merencanakan pengumpulan data serta merencanakan analisis dan laporan. 3.2 Saran Adapun saran yang dapat diberikan yaitu sebaiknya dalam evaluasi perlu diperhatikan langkah-langkah apa saja yang harus dilakukan serta menentukan dengan jelas indikator yang akan dievaluasi.

38

DAFTAR PUSTAKA

Dignan, Mark B. 1992. Program Planning for Health Education and Promotion second edition. Pennsylvania : Chester Field Parkway Malvern.

39