Laporan Panduan Monitoring Dan Evaluasi

Panduan Monitoring dan Evaluasi Riset Unggulan Terpadu

1. Latar Belakang Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik, tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing, PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda, karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM), riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita, DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di lain pihak

Kantor Menteri Negara Riset dan Teknologi, KMNRT pun

mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT; Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok; dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut bersaing memperebutkan biaya riset yang dialokasikan. Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumber Panduan Monitoring dan Evaluasi RUT

1

dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora; Risbiniptekdok, bagi bidang kedokteran, dll. Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam skala yang masih kecil, telah turut berperan serta dalam program riset perguruan tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi program riset di lingkungannya. Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik. Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang dana riset untuk melaksanakan

monitoring sekaligus evaluasi. Jadi, asas

desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi, olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT) implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi 2

Panduan Monitoring dan Evaluasi RUT

dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas monitoring dan evaluasi riset di Indonesia. Sejak

tahun

1993

dan

tahun-tahun

setelahnya,

KMNRT

telah

memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT, RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada pada posisi untuk melaksanakan program-program tersebut secara operasional. Implementasi program-program riset termaksud dilaksanakan oleh LPND yang berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk setiap program KMNRT dan model monev khusus untuk RUT. Dengan demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan RUSNAS, karena program-program tersebut membawa misi yang berlainan. Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk riset di setiap propinsi.

Panduan Monitoring dan Evaluasi RUT

3

2. Tujuan Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.

4

Panduan Monitoring dan Evaluasi RUT

3. Pengertian Unit Riset

adalah unit dimana sekelompok peneliti melakukan penelitiannya dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai kebijakan riset atau mengaplikasikan temuannya, dan (4) mempunyai program riset. Di dalam unit riset terdapat seorang pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh unit riset antara lain: laboratorium, kelompok bidang keahlian, Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian, pusat antar universitas, bidang dan sejenisnya.

Monitoring

adalah suatu kegiatan observasi yang berlangsung terus menerus untuk memastikan dan mengendalikan keserasian pelaksanaan program dengan perencanaan yang telah ditetapkan.

Evaluasi

adalah suatu teknik penilaian kualitas program yang dilakukan secara berkala melalui metode yang tepat.

Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya meningkatkan kualitas operasional suatu program dan berkontribusi penting dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam, kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya dan arah produktif potensial masa depan. Dengan menyediakan informasi yang relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan program. Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan program dilukiskan secara sederhana seperti tampak pada Gambar 1. Model Panduan Monitoring dan Evaluasi RUT

5

tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan arah pelaksanaan program. Akan tetapi, karena operasionalisasi program merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masingmasing pola tersebut hanya mampu menetapkan sebagian dari total kualitas pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya. Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga). Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah ditetapkan

dengan

melanjutkan

atau

mengubah

kebijakan

yang

ada,

mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program. Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret apalagi linier. Sudut pandang model di atas, dinilai telah berkorespondensi dengan pandangan tradisional tentang peran evaluasi dalam pengembangan suatu program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam 6

Panduan Monitoring dan Evaluasi RUT

kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau dimodifikasinya suatu aksi.

1 Kebijakan Program

3

Pelaksanaan Program

Keputusan Terintegrasi tentang Kualitas

2

Kualitas Program

Standar yang disepakati

Penilaian Kualitas

Perubahan konteks sosial

−− −− −−

SSosial osial PPolitik olitik

Sumber daya

Sumber daya

Gambar 1. Model Proses Peningkatan Kualitas

Panduan Monitoring dan Evaluasi RUT

7

4. Sistem MONEV KMNRT Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek tentang

ruang

lingkup

operasional

KMNRT

yang

berskala

nasional.

Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh) LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia. Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi. Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK. Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku utama, yaitu: 1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah Asdep 4/III Evaluasi Kinerja Lembaga; 2. Penentu kebijakan dan program riset nasional, yang dalam hal ini terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertimbangkan saran atau rekomendasi Dewan Riset Nasional; 3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat Jenderal Anggaran, Departemen Keuangan dan Bappenas; 4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan pusat-pusat studi. Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku

8

Panduan Monitoring dan Evaluasi RUT

memegang peranan penting dalam proses kelancaran, efektivitas, berbasis monitoring dan evaluasi riset di Indonesia.

Masukan, input − visi, misi − renstra, rencana aksi − kebijaksanaan − peraturan − sumber daya

• Profil Kinerja Lembaga

Proses, process interaksi − antar periset − periset-pimpinan atmosfer riset; efisiensi; manajemen konflik

• Profil Sumberdaya Riset Lembaga

LPND Asdep Evaluasi Kinerja

KMNRT

LD

Keluaran, output produktivitas − artikel saintifik − buku − paten − prototipe − desain − dll.

PT

Staf Ahli

Deputi

• Jakstra • Punas

DJA

INDUSTRI

DPR

Hasil, outcome − aspek komersialisasi − aspek internalisasi − return on investment

Bappenas

PUSAT STUDI

Dampak, impact Pengaruh positif dan/atau negatif terhadap − lingkungan internal − lingkungan eksternal

• Program Baru • Sistem Baru • Panduan

• Program Baru Riset Nasional

Manfaat, benefit − relevansi − efektivitas

Gambar 2. Mekanisme Evaluasi Kinerja Lembaga

KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN, Pusat

Studi).

Berbasis

Panduan Monitoring dan Evaluasi RUT

informasi

tersebut,

KMNRT

mengolah

dan 9

menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan riset baru. Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan pembahasan program tersebut. Program-program riset yang telah disetujui pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat dikembangkan di daerah-daerah dalam menyusun program-program riset daerah, dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program riset yang spesifik untuk daerah yang bersangkutan. Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih memerlukan dukungan pengembangan.

10

Panduan Monitoring dan Evaluasi RUT

5. Struktur Data MONEV KMNRT Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset” yang diterbitkan oleh KMNRT, tahun 2001.

KMNRT

Lembaga/ Institusi

Sistem Informasi Riset, SIR - 3

Sistem Informasi Riset, SIR - 2

Sistem Informasi Riset, SIR – 1

UNIT RISET UNIT RISET

UNIT RISET

Basis Data: Identitas Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset

Gambar 3. Struktur Data MONEV KMNRT

Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT. Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas. Panduan Monitoring dan Evaluasi RUT

11

6. Evaluasi Formatif dan Sumatif Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahanperubahan atau perbaikan unit riset di masa depan. 6.1.

Perbedaan Evaluasi Formatif dan Sumatif Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2 berikut ini. Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif Evaluasi Formatif −

−

−

12

Evaluasi formatif dilakukan untuk membantu perancang program, para manajer dan/atau staf untuk menyempurnakan program yang sedang dikembangkan atau yang sedang berjalan, Menuntut perhatian yang cukup untuk memantau implementasi program dan pencapaian tujuan, Dalam upaya untuk meningkatkan program, diperlukan pemahaman tentang kemajuan program ke arah pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan,

Evaluasi Sumatif −

Evaluasi sumatif dilakukan untuk membantu sponsor atau institusi berwenang lainnya dalam menentukan keputusan apakah akan melanjutkan program yang dinilai sukses atau apakah akan menghentikannya,

−

Tujuan evaluasi sumatif adalah untuk mengoleksi dan menampilkan informasi yang diperlukan dalam mendukung pengambilan kesimpulan dan keputusan tentang program serta nilainya,

Panduan Monitoring dan Evaluasi RUT

Evaluasi Formatif

Evaluasi Sumatif

−

Evaluasi formatif memerlukan waktu lama sebab membutuhkan familiaritas akan banyak aspek program dan melengkapi personil program dengan informasi serta wawasan untuk membantu mereka memperbaikinya,

−

−

Evaluasi formatif tidak perlu dilakukan, jika tidak ada peluang melakukan perubahan untuk suatu perbaikan, Hasil evaluasi formatif digunakan untuk merevisi aktivitas, penugasan, organisasi dan komponen lainnya di dalam program.

−

−

−

Evaluasi dilakukan dengan menggunakan pembanding, yaitu perbandingan hasil perencanaan program dengan tujuan yang ditetapkan oleh desainer program dan detilnya terekam dalam perencanaan program, Semakin jelas program dan terukurnya tujuan, konsistensi materi, organisasi dan aktivitas, semakin cocok dilakukannya evaluasi sumatif, Hasil evaluasi sumatif digunakan untuk membantu memutuskan apakah suatu program akan dilanjutkan, dihentikan atau apakah dan bagaimana cara pengembangan atau menghentikannya.

Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif Evaluasi Formatif Sasaran utama

Konsentrasi pada saat pengkoleksian data

Pelaku utama pengembang program dan pelaksana Peran utama evaluator Metodologi

Panduan Monitoring dan Evaluasi RUT

Evaluasi Sumatif

− Desainer program − Manajer program, − Pelaksana program Klarifikasi tujuan Sifat program - Proses atau implementasi Klarifikasi persoalan - Saat implementasi dan - Kemajuan pada hasil program Analisis level mikro dari - Implementasi dan - Hasil Kolaborator

− Penentu kebijakan − Donatur atau sponsor − Publik yang berminat Dokumentasi hasil Dokumentasi implementasi Analisis level mikro dari - Implementasi dan - Hasil

Interaktif

Independen

Kualitatif dan kuantitatif dengan lebih ditekankan pada situasi sebelumnya

Kuantitatif, kadangkala diperkaya dengan kualitatif

Penyuplai data

13

Evaluasi Formatif Frekuensi pengkoleksian data Mekanisme utama pelaporan Frekuensi pelaporan Penekanan dalam laporan

Syarat untuk kredibilitas

6.2.

Evaluasi Sumatif

Monitoring yang sedang berjalan − Diskusi − Interaksi pertemuan informal Berulang-ulang

Terbatas

− Hubungan diantara unsur proses-level mikro − Hubungan diantara konteks dan proses − Hubungan diantara proses dan hasil − Implikasi untuk pelaksanaan program dan perubahan spesifik saat pelaksanaan − Kesepakatan kinerja program dengan pengembang atau pelaksana − Advokasi atau kepercayaan

− Hubungan makro antara konteks-proses-hasil − Implikasi untuk kebijakan, kontrol administratif dan manajemen

Laporan formal

Saat menyimpulkan

Obyektivitas saintifik

Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara garis besar telah dimuat secara lengkap pada Tabel 3 berikut. Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif Evaluasi Formatif Tahap 1: Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Mencari sebanyak mungkin informasi tentang program 1.3. Merumuskan program 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda

14

Evaluasi Sumatif Tahap 1: Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.2. Menemukan sebanyak mungkin informasi tentang program dalam bentuk pertanyaan 1.3. Merumuskan program X dan C 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda

Panduan Monitoring dan Evaluasi RUT

Evaluasi Formatif

Evaluasi Sumatif

Tahap 2: Pilih Metode Evaluasi yang Cocok 2.1. Mempertajam perumusan program 2.2. Memastikan anda mengajukan pertanyaan yang benar 2.3. Menemukan keterangan apa yang akan dihasilkan dari data yang anda suplai 2.4. Mendesain perencanaan untuk menguji implementasi program 2.5. Mendesain kemajuan sistem monitoring 2.6. Mengkonsolidasikan perhatian anda 2.7. Mengestimasikan biaya evaluasi 2.8. Persetujuan final tentang layanan dan tanggungjawab Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Koleksi dan analisis informasi 3.2. Pastikan batas akhir koleksi data 3.3. Tentukan ekspektasi untuk menginterpretasikan data anda 3.4. Pastikan bahwa perencanaan koleksi data anda telah diimplementasikan semestinya 3.5. Analisis data untuk peningkatan program

Tahap 2: Pilih Metode Evaluasi yang Cocok 2.1. Pilih pendekatan pengkoleksian data dan instrumen evaluasi 2.2. Konsolidasikan perhatian anda kepada instrumen yang cocok 2.3. Rencanakan konstruksi dan pengadaan instrumen evaluasi 2.4. Rencanakan analisis data yang akan dihasilkan dari setiap instrumen 2.5. Pilih desain evaluasi 2.6. Pilih contoh strategi untuk mengkonduksi koleksi data 2.7. Estimasi biaya evaluasi 2.8. Persetujuan final tentang layanan dan tanggungjawab Tahap 3: Pengumpulan dan Menganalisis Informasi 3.1. Pastikan batas akhir 3.2. Siapkan desain evaluasi 3.3. Pengelolaan instrumen, penilaian dan pencatatan data - mulai menyiapkan instrumen yang diperlukan - instrumen penilaian sesuai format hasil yang diharapkan - catat hasil setiap pengukuran kedalam lembar ringkasan data 3.4. Lakukan analisis Tahap 4: Penyusunan Laporan 4.1. Perencanaan laporan 4.2. Pilih metode presentasi 4.3. Set laporan

Tahap 4: Penyusunan Laporan 4.1. Pastikan strategi komunikasi 4.2. Bertemu dengan manajer program dan/atau staf untuk mendiskusikan kelanjutan temuan 4.3. Tinggalkan catatan evaluasi

Panduan Monitoring dan Evaluasi RUT

15

7. Sistem MONEV RUT Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu), sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran, penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu, yaitu: 1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu; 2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen (LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu Pengetahuan Indonesia (LIPI); 3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit riset; 4. Unit riset yang menaungi peneliti RUT. Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban menyusun kebijakan dan merumuskan misi program RUT berikut program aksi tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan, studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran belanja tahunan RUT.

16

Panduan Monitoring dan Evaluasi RUT

Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program (dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset, KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT yang dihasilkan. Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap lebih

lanjut

diinformasikan

kepada

KMNRT.

LIPI

berkewajiban

mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau institusi riset nasional dengan mengirimkan buku pedoman RUT tahun bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset, khususnya pelaksana RUT untuk aspek substantif. Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT dengan LIPI sebagai pengelola program dalam hal administratif penunjang implementasi program, misalnya penyusunan dan penandatanganan kontrak kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan evaluasi dan kegiatan administrasi sejenis lainnya. Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusi Panduan Monitoring dan Evaluasi RUT

17

riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru, perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI.

Perencanaan, Penganggaran Program, Monitoring dan Evaluasi Substansi riset serta Kinerja Pengelola

KMNRT Monitoring dan Evaluasi Kinerja Lembaga

1

3

2

UR

Pengelola

Lembaga Implementasi Program, Monitoring dan Evaluasi Substansi Riset UR = Unit Riset 1 2 3

= Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset. = Monitoring dan evaluasi substansi riset = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi

Gambar 4. Mekanisme MONEV RUT

7.1. Proses Monitoring dan Evaluasi RUT Program Riset Unggulan Terpadu (RUT) adalah program riset yang dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset yang

dinilai

berkualitas

akan

mendapat

kesempatan

bersaing

untuk

mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir seperti tampak pada Gambar 5. Adapun contoh basis data yang diperlukan dari setiap tahapan proses, seperti tercantum pada lampiran halaman 63. 18

Panduan Monitoring dan Evaluasi RUT

ALIRAN PROSES

BASIS DATA, BD BD Proposal Masuk (BD – 1)

Penerimaan Proposal

Rapat Panel I

Ditolak

BD Proposal Diteruskan ke Reviewer (BD – 3)

Peer Reviewer

Rapat Panel II

Seminar Pembahasan

Ditolak

BD Proposal Ditolak II (BD – 4)

Tidak diusulkan untuk dibiayai

BD Proposal Ditolak III (BD – 5) BD Proposal Dibiayai Th-1 (BD – 6)

Diusulkan untuk dibiayai Kontrak Kerjasama

Pelaksanaan Tahun I Dihentikan Pembiayaannya*

Seminar Evaluasi dan Pembahasan Pelaksanaan Tahun II

Dihentikan Pembiayaannya*/ Dinilai Selesai

Seminar Evaluasi dan Pembahasan

BD Proposal Ditolak I (BD – 2)

* Walaupun dihentikan pembiayaannya, Peneliti Utama harus melaporkan hasil pelaksanaan risetnya.

Pelaksanaan Tahun III

BD pelaksanaan Dihentikan th-1 (BD – 7) BD Pelaksanaan Dibiayai Th-2 (BD – 8) BD pelaksanaan Dihentikan th-2 (BD – 9) BD Pelaksanaan Dibiayai Th-3 (BD – 10)

Seminar Evaluasi dan Pembahasan Laporan Akhir Pelaksanaan Riset Penilaian Laporan Akhir Riset

Predikat Riset** Sangat Memuaskan (A) Memuaskan (B) Cukup (C) Kurang (D)

Publikasi RUT terbaik Pemberian award

** A : Peneliti Utama dapat langsung mengajukan proposal baru, pada program RUT tahun berikut. B : Peneliti Utama dapat mengajukan proposal RUT dua tahun berikutnya. C : Peneliti Utama dapat mengajukan proposal RUT tiga tahun berikutnya. D :Peneliti Utama dapat mengajukan proposal RUT empat tahun berikutnya.

BD Hasil Penilaian Akhir (BD – 11)

Keterangan: Detil isi masing-masing basis data, seperti terlampir

Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuat Panduan Monitoring dan Evaluasi RUT

19

7.2. Uraian proses seleksi, monitoring dan evaluasi RUT Penerimaan Proposal Format Proposal RUT disusun dengan sistematika berikut (penomoran format tidak dibakukan, sewaktu-waktu dapat berubah): 1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan; Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia Teknisi; Biodata Peneliti. Contoh format terlampir. 2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan. Contoh format terlampir. Proposal disusun secara seksama mengikuti petunjuk penyusunan yang tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”. Sekretariat RUT setelah menerima dan mencatat proposal yang masuk, mengadakan seleksi administratif terhadap persyaratan Peneliti Utama, Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapankelengkapan lainnya. Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX, dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak mencantumkan identitas pengusul. Rapat Panel I Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat memindahkan ke bidang lain yang lebih sesuai dengan menggunakan format Perpindahan Bidang (contoh terlampir). Proposal yang dapat dinilai langsung oleh Panel, penilaiannya menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi Hasil Penilaian Proposal (contoh terlampir). Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke Seminar Pembahasan, atau di kirim ke Peer Reviewer.

20

Panduan Monitoring dan Evaluasi RUT

Peer Reviewer Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan tanggapan dan evaluasi atas suatu proposal. Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh terlampir). Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk membantu panel pakar mengambil keputusan, Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan pengaju proposal dan hasil evaluasinya bersifat rahasia, Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer (contoh format terlampir), dan selanjutnya disampaikan kepada Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat Panel II. Rapat Panel II Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan Peer Reviewer. Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi Proposal (contoh terlampir). Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi selanjutnya). Seminar Pembahasan Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II untuk menyajikan dan memperjelas proposalnya di depan panel pakar dan peneliti utama lainnya di bidang yang sama. Panduan Monitoring dan Evaluasi RUT

21

Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format

Berita Acara Hasil Seminar Pembahasan

(contoh terlampir). Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk dibiayai dan proposal tidak diusulkan untuk dibiayai. Kontrak Kerjasama Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai penanggungjawab riset selanjutnya menandatangani kontrak kerjasama untuk melaksanakan kegiatan riset seperti yang tertera dalam proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya. Pencairan anggaran untuk biaya operasional riset dilakukan termin per termin dengan memperhatikan laporan kemajuan riset yang telah dicapai. Seminar Evaluasi dan Pembahasan Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus membahas rencana kerja RUT tahun berikutnya. Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu : 1. Riset diusulkan untuk dibiayai kelanjutannya; 2. Riset tidak diusulkan untuk dibiayai kelanjutannya; 3. Riset telah selesai Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja dan kegiatan penunjang. Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT (contoh terlampir).

22

Panduan Monitoring dan Evaluasi RUT

Monitoring dan Evaluasi Kegiatan Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk memantau secara langsung kegiatan RUT di laboratorium tempat RUT dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal yang menjadi fokus perhatian adalah substansi saintifik dan administratif. Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format matriks pemantauan dan evaluasi RUT, seperti terlampir. Evaluasi Hasil Akhir Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih besar cakupan materi, tujuan dan dana riset yang diperlukan. Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari : 1. Pelaksanaan riset, yang meliputi: Keterpaduan Sistematika laporan Konsistensi dengan tujuan Kelayakan biaya dengan luaran yang dihasilkan Ketepatan pelaksanaan rencana 2. Luaran produk : Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten dan/atau teknologi baru/prototipe.

Panduan Monitoring dan Evaluasi RUT

23

Dampak, luaran berupa pengembangan SDM, pengembangan Iptek, dan yang mendukung upaya pembangunan. 7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator Kinerja Lembaga Riset Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri disarankan agar mampu melaksanakan monitoring dan evaluasi secara mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan pengembangan yang diperlukan. Untuk membantu lembaga atau institusi riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu disertai maksud dan tujuan data koleksi tersebut. Contoh berikut adalah model evaluasi untuk riset dan merupakan bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek kegiatan lembaga. Visi dan Misi Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang keduanya merupakan referensi yang baik bagi analisis komparatif terhadap jenis tema atau topik, produk, manfaat dan dampak riset yang telah dihasilkan. Sumberdaya Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia, tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh data yang dipunyai menurut metode statistik sehingga informasi yang

24

Panduan Monitoring dan Evaluasi RUT

dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis hubungan antar indikator kinerja. Diawali dengan data sumberdaya manusia yang diyakini merupakan data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat seluruh proses kepegawaian, umumnya teradministrasikan dengan baik, mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan hubungan kerja pegawai suatu lembaga. Tenaga Kerja −

Tenaga Struktural Yang

dimaksudkan

dengan

tenaga

struktural

adalah

tenaga

administrasi atau tenaga fungsional yang ditugaskan selama periode waktu tertentu untuk mengisi jabatan struktural formal di dalam organisasi lembaga. Eselon

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

I II III IV TOTAL

−

Tenaga Administrasi Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang direkrut khusus untuk melaksanakan tugas dalam bidang administrasi. Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset. Pendidikan

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

S3 S2 S1 D3 SLTA TOTAL Golongan I II III

Panduan Monitoring dan Evaluasi RUT

25

IV TOTAL

−

Tenaga Fungsional Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset. Pendidikan

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

Unit Riset 1

Unit Riset 2

Unit Riset 3

Unit Riset n

S3 S2 S1 D3 SLTA TOTAL Jabatan Periset Perekayasa Tenaga Litkayasa Pranata Komputer Pustakawan Arsiparis Auditor Golongan I II III IV TOTAL

Tenaga kerja di suatu lembaga umumnya menerima kesempatan untuk mengembangkan karirnya selama periode aktif, melalui berbagai peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan lain sebagainya. Data yang lebih bersifat individual semacam ini seringkali tidak tercatat secara administratif di kantor pusat, namun lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data 26

Panduan Monitoring dan Evaluasi RUT

ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk mendukung keperluan itu, diperlukan sejumlah data sebagai berikut: No.

Nama Pegawai

Gol

Jabatan Fungsional

Pendidikan Formal

Pendidikan Formal

Jenis

Jenis

Lama

Lama

Sarana dan Prasarana −

Laboratorium Data laboratorium tergolong ke dalam data yang cukup sulit pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan data laboratorium sangat diperlukan dalam menetapkan indikator kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit, indeks ruangan kerja.

Olehkarena

itu, untuk

memungkinkan

dilakukannya analisis yang baik terhadap fasilitas laboratorium, diperlukan data sebagai berikut: Unit Riset

Laboratorium

Luasan (m2)

Biaya Perawatan (Rp/ tahun)

Usia Labor (tahun)

Kondisi Fungsional Laboratorium

Layanan Masyarakat*

Rata-rata penggunaan (jam/ minggu)**

* (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis) ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat)

−

Peralatan Seperti halnya data tentang laboratorium, suatu lembaga umumnya lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara berkala melaporkan ke unit utamanya tentang mutasi inventaris yang terjadi, namun data fungsional dan efisiensi penggunaan peralatan, sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi peralatan yang dipunyai, rendahnya kemampuan lembaga dalam melakukan reinvestasi peralatan, produk riset yang belum mencapai

Panduan Monitoring dan Evaluasi RUT

27

taraf komersial menyebabkan data yang ada belum mampu mengindentifikasi indikator kinerja seperti return on investment. Juga informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi dengan keterbatasan ketersediaan data di lembaga riset. Untuk mencoba identifikasi

memberi

dukungan

kepada

terselenggaranya

efisiensi

peralatan,

disarankan

agar

lembaga

proses riset

mengumpulkan data yang diperlukan sebagai berikut:

Unit Riset

Laboratorium

Nama Alat Utama

Biaya Perawatan (Rp/ tahun)

Usia Alat (tahun)

Layanan Masyarakat*

Kondisi Fungsional Peralatan

Rata-rata penggunaan (jam/ minggu)* *

* (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis) * * (termasuk kegiatan operasional rutin, layanan masyarakat)

−

Dana Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset yang dipergunakan untuk membiayai riset sepanjang tahun tanpa memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut merupakan akumulasi seluruh dana riset yang diperoleh lembaga termasuk yang diperoleh periset melalui kemampuan individu atau kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai berikut:

1. 2. 3. 4. 5. 6. 7. 8. 28

Riset

Inves

Unit Riset n Admin

Riset

Inves

Unit Riset 1 Admin

Inves

Sumber Dana

Admin

Pusat

Total

DIP (rupiah murni) DIK DIKS Bantuan LN (US$) Hibah LN (US$) Kerma Bilateral (US$) Lainnya (mis.Reboisasi) Total 1

Panduan Monitoring dan Evaluasi RUT

Total

−

Informasi Layanan informasi terakhir dapat dibedakan atas layanan manual dan elektronik. Layanan manual dimaksudkan untuk model layanan perpustakaan. Sedangkan layanan elektronik adalah layanan informasi melalui sistem jaringan komputer. Informasi tentang perpustakaan dan komputer pada hakekatnya diperlukan untuk menunjukkan indikator kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan, kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain:

No

Unit Riset

Nama Perpustakaan

Luasan (m2)

Koleksi Jenis*

Jml

Tahun Terbit

Masa Layanan (Jam/ Minggu)

Biaya Rutin (Rp/ tahun)

Pengunjung (orang/ tahun)

* (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain)

Aktivitas −

Administrasi dan Operasional Riset Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola, yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga, dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia, efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu diperlukan dukungan data berikut: No.

Kerjasama

Panduan Monitoring dan Evaluasi RUT

Usia Kerma

Instansi Mitra

Nilai Kerma (RP)

Produk Kerma

Unit Riset Pelaksana

Jumlah Peneliti Terlibat

29

−

Agenda Riset Tahunan, ART Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun anggaran atau tahun akademik. Adanya ART mengindikasikan adanya manajemen riset yang profesional dan sistematis di lingkungan suatu lembaga. Dengan demikian, ART memungkinkan periset di suatu lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk mendukungnya diperlukan beberapa data, antara lain: No.

30

Aktivitas

1.

Distribusi kebijakan riset nasional

2.

Pelatihan penyusunan proposal

3.

Pelatihan penyusunan artikel saintifik

4.

Pemberitahuan pengajuan proposal riset

5.

Batas akhir waktu penyampaian proposal

6.

Seleksi proposal

7.

Perbaikan proposal

8.

Pemberitahuan topik riset yang dibiayai

9.

Penyiapan dan penandatanganan kontrak

10.

Pencairan dana riset

11.

Pelaksanaan riset

12.

Pemantauan ke lab/lapangan

13.

Penyusunan laporan akhir

14.

Batas akhir waktu penyerahan laporan akhir

15.

Pencairan dana riset 100%

16.

Diseminasi hasil riset

Bulan Ke 1

2

3

4

5

6

7

8

9

10

11

12

Keterangan

Panduan Monitoring dan Evaluasi RUT

−

Pengajuan dan Hasil Seleksi Proposal Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya terekam secara baik, olehkarena keduanya dapat mengindikasikan aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi yang dikuasai juga sekaligus dapat diekspos. No.

−

Topik Riset

Nama dan Biodata Periset

Nama Unit Riset

Rekapitulasi data riset yang dilaksanakan Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci ataupun dalam bentuk rekapitulasinya akan mendukung dalam mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi periset dan unit riset, efektivitas, produktivitas lembaga ataupun individu periset. Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi dan data topik riset sebagai berikut: Rekapitulasi Hasil Seleksi Proposal Riset No.

Nama Unit Riset

Jumlah Proposal Usulan

Nilai Proposal (Rp)

Diterima

Usulan

Disetujui

Keterangan

Data Topik Riset

No

Judul Riset

Nama Pelaksana

Biaya Riset (Rp)

Sumber Dana Riset

Lokasi Pelaksanaan

Produk Riset*

Institusi Mitra

Periode Waktu Pelaksanaan (tahun)

Ketua Anggota * artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma, cetak biru, paten, poster, peraturan, standar, dan lain-lain

−

Realisasi Dana Operasional Rutin dan Riset Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana operasional rutin dan pembangunan lembaga, dan (2) dana operasional

Panduan Monitoring dan Evaluasi RUT

31

riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga menghitung alokasi dana riset tahunan secara cepat. Meskipun demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi dana operasional riset tahunan disarankan untuk dihitung tanpa biaya investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi tersebut dapat dipergunakan untuk menghitung unit cost faktual per periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut diperhitungkan, maka perhitungan unit cost menjadi kurang relevan. Dalam hal ini lebih utama menghitung return on onvestment lembaga. Model perhitungan return on investment dapat disimak pada Buku “Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001. Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan beberapa data keuangan berikut:

No.

−

Sumber Dana

1.

DIK

2.

DIKS

3.

DIP (rp murni)

4.

DIP Loan ($)

5.

Hibah ($)

6.

Lainnya

Alokasi (Rp)

Unit Riset 1 Alokasi (Rp)

Realisasi (Rp)/%

Unit Riset n Alokasi (Rp)

Realisasi (Rp)/%

Total Serapan (Rp)/%

Sisa Dana (Rp)/%

Monitoring dan Evaluasi Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi manfaat dan dampak suatu aktivitas dan produk riset, baik bagi

32

Panduan Monitoring dan Evaluasi RUT

lingkungan internal maupun eksternalnya. Olehkarena kedua indikator tersebut dapat memandu pengelola program riset dalam menganalisis indikator kinerja lain seperti relevansi produk, yang akan menunjukkan kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat mendukung analisis tersebut.

Nama Unit Riset : No.

Item subjek monitoring dan evaluasi

1.

Topik riset - ditulis lengkap

2.

Nama ketua dan anggota tim - nama, bidang ilmu atau keahlian

3.

Dana riset - sumber dana - nilai nominal dana riset - cara menetapkan nilai nominal dana riset - cara penggunaan - kendala yang dihadapi internal dan eksternal - teknik solusi persoalan dana

4.

Layanan informasi - koleksi perpustakaan pada bidang riset - layanan perpustakaan - biaya layanan - layanan internet dan biayanya

5.

Produk riset - jenis produk - posisi produk terhadap pemanfaatannya - prediksi nilai komersial/saintifik

6.

Manfaat riset - aspek sosial (jumlah lapangan kerja baru, jumlah pasien yang terobati, jumlah penduduk bebas buta huruf, dll) - aspek ekonomi (nilai nominal yang terselamatkan dengan kehadiran produk riset, nilai royalti yang diterima, nominal peningkatan pendapatan, nilai nominal penghematan akibat adanya produk, dll) - aspek teknologi (inovasi baru, teknologi produk riset diterapkan di industri, dll)

Panduan Monitoring dan Evaluasi RUT

33

No.

34

Item subjek monitoring dan evaluasi

7.

Dampak riset (internal, eksternal) - dampak internal (tingginya nilai indeks sitasi, besarnya minat periset muda potensial untuk bergabung, terpeliharanya fasilitas riset, meningkatnya motivasi melakukan riset, tingginya efisiensi SDM riset, munculnya pengakuan sejawat, dll) - dampak eksternal (meningkatnya tingkat kesejahteraan dan kecerdasan masyarakat, menurunnya angka kematian bayi, tereduksinya angka pengangguran, perubahan profesi penduduk, dll)

8.

Rencana tindak lanjut - up scaling - usulan baru RUK, Rusnas, dll - pendaftaran Paten - implementasi di masyarakat - dll

9.

Dukungan administratif dan teknis terhadap riset - administrasi keuangan - perijinan - kesiapan fungsi peralatan - pelaporan dan pengolahan data - dll

10.

Pemahaman periset akan Jakstra dan Punas - arti Jakstra dan Punas - posisi dan fungsi Jakstra dan Punas dalam aktivitas riset - saran perbaikan

11.

Pemahaman periset akan renstra lembaga - arti renstra bagi strategi riset kelompok - saran perbaikan

12.

Keserasian aktivitas dan produk dengan misi lembaga

13.

Usulan unit cost riset - unit cost faktual berbasis empirik - item penentu besaran unit cost kelompok - unit cost ideal

14.

Ketercapaian critical mass dalam unit riset - keseimbangan jumlah periset, kualifikasi terhadap volume dan kompleksitas riset - antisipasi yang pernah dilakukan

15.

Korelasi topik riset dengan Jakstra dan Punas - enam Isu Strategis - sebelas Bidang Unggulan

Panduan Monitoring dan Evaluasi RUT

Jenis Produk Riset −

Artikel saintifik Penulis

Nama Seminar

Pembuat Poster

No.

−

No. Paten

Pemeriksaan Substantif

No. ID Paten

Tgl. & No. Peraturan

Perihal

Tgl. & No. SNI

Perihal

Pemakai/Pelanggan

Tgl. & No. Sertifikat

Perihal

Pemakai/ Pelanggan

Topik Riset Sumber Paten

Masa Berlaku

Diundang-kan oleh, di

Topik Riset Sumber Peraturan

Manfaat terhadap Mutu dan Pemasaran

Sertifikasi Biaya (Rp)

Manfaat terhadap Pemakai/Pelanggan

Akreditasi No.

−

Topik Riset Sumber Poster

Standar

No.

−

Skala Seminar (DN/LN)

Tgl. & No. Pendaftaran Paten

No.

−

Tahun Seminar

Peraturan No.

−

Topik Riset Sumber Artikel

Paten No.

−

Lingkup Edar Jurnal/ Seminar (DN/LN)

Tahun Terbit/ Waktu Seminar

Poster No.

−

Nama Jurnal/ Seminar

Topik Artikel

Tgl. & No. Akreditasi

Nama lab/alat dan instansi yang diakreditasi

Biaya akreditasi (Rp)

Manfaat terhadap Pemakai/Pelanggan

Prototipe No.

Nama Prototipe

Panduan Monitoring dan Evaluasi RUT

Spesifikasi Teknis

Jumlah (buah)

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

35

−

Sistem No.

−

Jenis Informasi

Jumlah (eks.)

Perihal

Pemakai/ Pelanggan

Pemakai/ Pelanggan

Harga Jual (Rp)

Harga Jual (Rp)

Terjual (Rp)

Topik Desain

Spefikasi Teknis

Manfaat terhadap Pemakai/Pelanggan

Judul Buku Teks

Nama Penulis

Nama Penerbit & Tahun Terbit

Perihal

Skala

Jumlah (eks.)

Harga Jual (Rp)

Topik Riset Sumber Buku Teks

Judul Peta/Foto

Jumlah (buah)

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

Nama Alat Peraga

Bahan Yang Digunakan

Jumlah (buah)

Spefikasi Teknis

Pemakai/ Pelanggan

Harga Jual (Rp)

Terjual (buah)

Harga Jual (buah)

Terjual (buah)

Barang (alat dan bahan kedokteran, makanan, radioisotop) No.

36

Nama Modul

Alat Peraga No.

−

Tujuan Penggunaan

Manfaat terhadap Pemakai/Pelanggan

Peta/Foto No.

−

Teknis Akses Informasi

Buku Teks No.

−

Pemakai/ Pelanggan

Ruang Lingkup

Desain No.

−

Manfaat terhadap Pemakai/Pelanggan

Modul Pelatihan No.

−

Pemakai/ Pelanggan

Informasi No.

−

Uraian Ringkas

Nama Sistem

Nama Barang

Spefikasi Teknis

Jumlah (buah)

Tujuan Penggunaan

Pemakai/ Pelanggan

Panduan Monitoring dan Evaluasi RUT

8. Bahan Bacaan Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The Regents of the University of California, 1987 Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000 Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000 Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000 LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable Research Monitoring and Evaluation System: Final Report Appendix to Human Resources Development”, Bandung, March 2000 LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The University and Industry Linkages”, Bandung, March 2000

Panduan Monitoring dan Evaluasi RUT

37

38

Panduan Monitoring dan Evaluasi RUT