Terjemahan Tugas Metolid 1.docx

Tugas Wasit * Alan Jay Smith Divisi Ilmu Komputer Departemen EECS Universitas California Berkeley, California 94720, AS Abstrak Tugas wasit adalah mengevaluasi secara tepat waktu makalah yang akan diterbitkan dalam jurnal atau proses konferensi tertentu. Ini melibatkan menentukan apakah pekerjaan yang disajikan benar, jika masalah yang dipelajari dan hasil yang diperoleh adalah baru dan signifikan, jika kualitas presentasi memuaskan atau dapat dibuat demikian, dan revisi dan perubahan apa yang diperlukan pada kertas dan / atau diinginkan. Evaluasi harus berkenaan dengan cakupan dan tingkat selektivitas publikasi tertentu. Dalam artikel ini, kami membahas masalah bagaimana mengevaluasi makalah (penelitian) untuk publikasi, dan dengan kesimpulan, bagaimana menulisnya. Pertanyaan utama yang dibahas adalah menentukan apakah makalah tersebut harus dipublikasikan, dan jika demikian, perubahan dan perbaikan apa yang diperlukan. Peran editor, dan aturan dan prosedur yang digunakan oleh sebagian besar jurnal ilmu komputer dibahas. Diskusi singkat tentang proposal wasit dan survei serta makalah tutorial juga diberikan. Kata kunci: Wasit, Editor, Editor Rekan, Ketua Program, Wasit, Peninjau. 1. Perkenalan Ada aliran konstan makalah yang ditulis dan diserahkan untuk publikasi ke konferensi, jurnal, buletin, antologi, tahunan, jurnal perdagangan dan surat kabar, dan terbitan berkala lainnya. Banyak publikasi semacam itu menggunakan wasit sebagai pakar eksternal yang tidak memihak untuk mengevaluasi makalah. Pendekatan ini sering disebut peer review. Wasit adalah layanan publik, salah satu kewajiban profesional ilmu komputer dan teknik profesional. Biasanya, wasit belajar ----------------* Penelitian Prof. Smith (mengenai yang ia telah menerima banyak laporan wasit) saat ini sebagian didukung oleh National Science Foundation di bawah hibah MIP8713274, oleh NASA di bawah perjanjian konsorsium NCA2-128, oleh Negara Bagian California di bawah program MICRO, dan oleh International Business Machines Corporation, Digital Equipment Corporation, Apple Computer, dan Signetics / Philips Research Laboratories.

membuat laporan wasit tanpa instruksi formal: dengan praktik, dengan umpan balik dari editor, dengan melihat laporan wasit untuk makalah mereka sendiri, dan dengan membaca laporan wasit yang ditulis oleh orang lain. Dalam artikel ini, kami memberikan panduan kepada wasit tentang cara mengevaluasi makalah, cara menulis laporan wasit, dan bagaimana menerapkan standar dan prosedur yang umum digunakan. Hal ini dimaksudkan untuk menggantikan penggunaan [Fors65], didistribusikan oleh beberapa editor, yang tidak mencerminkan prosedur yang digunakan dalam Ilmu dan Teknik Komputer. Makalah lain, mirip dengan ini, menganggap wasit di bidang teori [Parb89]. Fokus artikel ini adalah evaluasi makalah penelitian di bidang terapan ilmu komputer dan teknik, seperti sistem, arsitektur, perangkat keras, komunikasi, dan evaluasi kinerja, tetapi sebagian besar diskusi umumnya berlaku. Beberapa diskusi disediakan juga mengenai proposal penelitian wasit dan survei serta makalah tutorial. Selain itu, penulis dapat menemukan bahan ini berguna untuk menyiapkan makalah dan mengirimkannya untuk publikasi. 2. Apa itu Makalah yang Dapat Diterbitkan? Seluruh artikel ini dimaksudkan untuk menjawab pertanyaan tentang apakah makalah yang dapat diterbitkan; di bagian ini, kami memberikan beberapa komentar singkat. Sebuah makalah dapat diterbitkan jika memberikan kontribusi yang cukup. Kontribusi dapat berupa hasil penelitian yang baru dan menarik, sintesis baru dan wawasan tentang hasil yang ada, survei yang bermanfaat atau tutorial di lapangan, atau kombinasi dari jenis-jenis itu. Mengutip seorang wasit untuk artikel ini sendiri: ‘results hasil kecil yang mengejutkan dan mungkin memicu penelitian baru harus dipublikasikan; makalah yang sebagian besar merupakan pengulangan dari makalah lain seharusnya tidak; makalah yang memiliki gagasan bagus diungkapkan dengan buruk tidak boleh dipublikasikan tetapi penulis harus didorong untuk menulis ulang dengan cara yang lebih baik, lebih mudah dipahami. ' Peran wasit adalah untuk memberikan pendapat apakah makalah itu memberikan kontribusi yang cukup. Jarang ada satu evaluasi yang benar dari sebuah makalah, dan pembaca yang sama terampil dan tidak memihak akan berbeda. 3. Tugas Wasit Dua komponen utama dari laporan wasit adalah: (a) Rekomendasi untuk atau tidak mempublikasikan dalam publikasi atau presentasi tertentu di forum tertentu. Rekomendasi samar-samar dapat diterima jika diskusi yang memadai disediakan untuk bimbingan editor atau komite program. Jika penolakan

direkomendasikan, dan jika makalah tersebut memang mengandung beberapa penelitian yang dapat diterbitkan, laporan dapat menyarankan tempat lain untuk menerbitkan. Dalam semua kasus, diskusi yang memadai harus disediakan untuk membenarkan rekomendasi. (B) Daftar perubahan dan revisi yang diperlukan dan direkomendasikan. Rekomendasi untuk menolak makalah tidak membuat wasit menyarankan perubahan yang memungkinkan makalah untuk dipublikasikan di tempat lain, atau setelah dikirim kembali. Tingkat revisi yang diperlukan, untuk publikasi jurnal, sebagian besar terpisah dari rekomendasi untuk publikasi (akhirnya); untuk sebuah konferensi, waktu singkat yang tersedia untuk revisi, dan kesulitan mengatur putaran kedua (atau ke-n) revisi umumnya berarti bahwa makalah yang memerlukan revisi substansial tidak dapat diterima. Sangat penting bahwa wasit menjalankan garis yang tidak pasti antara bersikap terlalu permisif ("mempublikasikan semuanya") dan terlalu membatasi ("tidak ada yang cukup baik untuk dipublikasikan"). Jika wasit tidak cukup kritis, penelitian yang buruk didorong, pengakuan (semacam) dan penghargaan (semacam) diberikan kepada mereka yang tidak layak mendapatkannya, pembaca yang naif dan tidak berpengalaman disesatkan, penulis disesatkan sehingga apa yang bisa diterbitkan, rasa tidak hormat terhadap bidang itu didorong, pengembangan komersial terdistorsi, seperti halnya perekrutan, promosi dan keputusan tenurial, dan makalah itu mungkin sebenarnya mengurangi dari penyimpanan pengetahuan umum; pertimbangkan penipuan pria Piltdown. Seperti telah dicatat dalam [Thom84] dan di tempat lain, salah satu masalah terburuk dengan publikasi yang tidak terkendali adalah mengubur profesional di bawah tumpukan kertas, hanya sebagian kecil yang dapat diperiksa, apalagi dibaca. Jika wasit terlalu kritis terhadap penelitian, ia memblokir penelitian yang baik dari publikasi, atau menyebabkannya tertunda dalam publikasi, membuang-buang waktu penulis, merusak karier, dan mungkin meninggalkan jurnal dengan tidak ada apa-apa untuk diterbitkan dan konferensi dengan tidak ada apa pun untuk disajikan. Sangat penting untuk tidak menolak pekerjaan baru dan signifikan yang bertentangan dengan kebijaksanaan yang berlaku atau mode saat ini. Penting bagi seorang wasit yang ingin dianggap serius untuk memiliki pandangan tengah, untuk dapat membedakan yang baik dari pekerjaan yang buruk, dan yang utama dari yang kecil dari kontribusi negatif ke literatur. Wasit yang selalu mengatakan "ya" atau selalu mengatakan "tidak" tidak membantu. 4. Cara Membaca Makalah untuk Wasit Membaca sebuah makalah untuk tujuan refereeing lebih dekat dengan apa yang dilakukan guru atau profesor dalam menilai sebuah makalah daripada apa yang

dilakukan seorang ilmuwan atau insinyur dalam membaca makalah yang diterbitkan. Dalam kasus yang terakhir, anggapannya adalah bahwa makalah tersebut sebelumnya telah diperiksa (direferensikan), dan dengan demikian benar, novel dan bermanfaat. Wasit, sebaliknya, harus membaca makalah dengan seksama, memeriksa dan mengevaluasi materi. Tidak boleh ada anggapan tentang kualitas atau keakuratan kertas; itu harus dibaca dengan pikiran terbuka. Hasil pembacaan tersebut harus berupa laporan wasit yang dapat digunakan oleh editor atau ketua program. Perhatikan bahwa refereeing suatu makalah dapat membutuhkan banyak waktu dan usaha; upaya itu tidak boleh disia-siakan pada kritik terperinci atas kertas yang jelek yang tidak akan pernah bisa dipublikasikan. Menemukan satu atau lebih kesalahan fatal dan tidak dapat diperbaiki dalam sebuah makalah membuat wasit tidak memeriksa semua detail selanjutnya. 5. Laporan Wasit Laporan wasit yang baik harus memiliki beberapa bagian. Pertama, wasit harus menyatakan dengan sangat cepat rekomendasinya dan alasannya. Kedua, wasit harus merangkum poin makalah dalam 1-5 kalimat, baik untuk penggunaan editor, dan untuk memastikan bahwa wasit benar-benar memahami poin makalah. Ketiga, wasit harus mengevaluasi tujuan pekerjaan baik sehubungan dengan validitas dan signifikansi. Keempat, wasit harus mengevaluasi kualitas pekerjaan (metodologi, teknik, akurasi, kesalahan, presentasi), dan akhirnya, wasit harus memberikan rekomendasi keseluruhan untuk publikasi. Jika rekomendasinya negatif, wasit harus selalu jelas tentang mengapa ia merekomendasikan penolakan. Wasit juga harus jelas tentang kekuatan pendapatnya; rekomendasi samar-samar ("mungkin") dapat diterima jika alasannya jelas didokumentasikan. Dalam kasus apa pun, laporan wasit harus berisi diskusi dan informasi yang cukup untuk membenarkan rekomendasi tersebut. Jika rekomendasi itu disukai, penting bahwa wasit memberikan daftar sepanjang sesuai dengan perubahan yang perlu dan yang disarankan. Jika rekomendasi negatif, tetapi makalah dapat diselamatkan dan diserahkan ke tempat lain untuk publikasi atau dikirim kembali ke publikasi ini, maka daftar yang serupa (tetapi mungkin kurang rinci) juga harus disediakan. Saran untuk tempat-tempat alternatif untuk diterbitkan selalu diterima. Biasanya, teks laporan wasit diberikan kepada penulis, dilucuti dari semua materi di sekitarnya yang mengidentifikasi wasit. Jadi, meski penting bahwa laporan wasit jelas dan eksplisit, laporan itu tidak boleh menghina. Kata-kata seperti "bodoh" dan "idiot" tidak boleh digunakan untuk merujuk pada penulis, atau istilah seperti "sampah" untuk kertas. Tinjauan makalah harus diarahkan pada makalah, dan tidak menjadi serangan pribadi pada penulis. Namun, peninjauan proposal juga merupakan penelaahan dari peneliti, dan patut untuk mengevaluasi kemampuan penelitiannya serta penelitian yang diajukan; bagaimanapun, evaluasi tidak boleh selain objektif dan

adil. Semakin banyak ulasan yang dapat diterima secara psikologis oleh penulis, semakin bermanfaat juga. Wasit harus memastikan bahwa laporannya mencapai editor tepat waktu. Jurnal ilmu komputer terkenal karena memiliki keterlambatan panjang antara penyerahan dan publikasi; dua komponen utama dari penundaan itu adalah wasit dan antrian publikasi untuk jurnal itu sendiri. Bayangkan jika itu kertas Anda! Dalam pengaturan konferensi, laporan wasit harus mencapai kursi program jauh sebelum rapat komite program sehingga bahan dapat dikumpulkan dan disiapkan untuk diskusi. 6. Masalah dalam Mengevaluasi Makalah Penelitian Wasit bertanggung jawab untuk mengevaluasi kebaruan, signifikansi, kebenaran, dan keterbacaan kertas. Serangkaian tujuan umum ini dapat dipecah menjadi serangkaian pertanyaan yang jauh lebih spesifik untuk diterapkan pada makalah ini, seperti yang kita diskusikan di bagian ini. Apa Tujuan Makalah ini? Apa masalah yang sedang dipertimbangkan? Apakah dinyatakan dengan jelas? Apakah penulis menjelaskan apa masalah penting itu? Apakah penulis memberi tahu Anda, di awal tulisan, apa yang telah ia capai? Misalnya, jika ini adalah deskripsi sistem, apakah sistem telah diimplementasikan atau ini hanya desain? Apakah Makalah Ini Tepat? Apakah ini cocok untuk forum ini? Seseorang tidak mengirimkan makalah teori antrian ke Datamation, atau analisis pasar dari rilis terbaru MVS ke JACM atau Prosiding IEEE. Apakah tulisan ini ada hubungannya dengan ilmu komputer atau teknik? Apakah tujuan makalah ini signifikan? Dalam hal ini, apakah masalahnya nyata? Apakah itu bertentangan dengan hukum fisik yang dikenal (misalnya mesin gerak abadi) atau pengukuran yang dilaporkan secara luas? Ingatlah apa yang dikatakan Walrus [Caro65]: "‘ Waktunya telah tiba, ’kata Walrus, many Untuk membicarakan banyak hal: Tentang sepatu - dan kapal - dan penyegelan lilin kubis - dan raja-raja Dan mengapa lautan mendidih panas dan apakah babi memiliki sayap '' Apakah ini analisis yang cermat tentang bagaimana laut bisa mendidih panas, atau studi elegan tentang karakteristik penerbangan babi?

Apakah ada alasan untuk peduli dengan hasil tulisan ini, dengan asumsi untuk saat ini mereka benar? Apakah masalah atau tujuan itu utama, kecil, sepele, atau tidak ada? Apakah masalah sekarang sudah usang, seperti studi keandalan untuk komputer mainframe tabung vakum? Apakah masalahnya sangat spesifik atau tidak diterapkan sehingga tidak dapat diterapkan secara umum dan karenanya tidak layak dipublikasikan secara luas? Apakah masalah, tujuan, atau hasil yang diharapkan itu baru? Apakah sudah pernah dibangun sebelumnya? Apakah sudah dipecahkan sebelumnya? Apakah ini variasi yang sepele atau perpanjangan hasil sebelumnya? Apakah penulis mengetahui karya terkait dan sebelumnya, baik yang baru maupun yang lama? Apakah dia mengutip pekerjaan itu? Apakah perbedaan antara ini dan pekerjaan sebelumnya diberikan dan apakah mereka spesifik? Jika karya ini menggambarkan implementasi, apakah ada ide baru? Apakah metode pendekatan ini valid? Apakah ada sesuatu tentang pendekatan untuk masalah ini yang membatalkan hasil? Bisakah Anda tahu apa metode ini, atau apakah Anda harus menemukannya dari tengah rumus matematika? Apa asumsinya? Seberapa realistiskah mereka? Jika mereka tidak realistis, apakah itu penting? Seberapa sensitif hasil terhadap asumsi? Apakah pendekatan yang digunakan memadai untuk tujuan tersebut? Sebagai contoh, data tersedia, tetapi penulis telah menggunakan simulasi bilangan acak dengan parameter yang tidak realistis. Apakah itu penting? Bagian belakang perhitungan amplop seringkali memadai. Jika ini merupakan presentasi dari ide baru - misalnya, desain baru, atau konsep baru, apakah jumlah diskusi atau analisis yang sesuai disajikan? Seharusnya tidak ada terlalu banyak atau terlalu sedikit. Makalah arsip yang diterbitkan secara tradisional singkat dan lengkap tetapi tidak samar; diskusi yang luas dan terperinci, bersama dengan data pendukung yang banyak, lebih baik diterbitkan sebagai laporan teknis. Apakah pelaksanaan penelitian yang sebenarnya sudah benar? Apakah matematika itu benar? Satu atau lebih wasit harus memeriksa matematika secara rinci; seorang wasit harus selalu memberi tahu editor jika dia tidak membaca atau memeriksa beberapa bagian dari makalah tersebut. Apakah buktinya meyakinkan? Apakah statistiknya benar? Apakah metodologi simulasi dijelaskan dengan cukup detail untuk meyakinkan pembaca bahwa hasilnya valid, dan untuk simulasi stokastik, apakah interval kepercayaan untuk hasil yang diberikan? Apakah hasilnya konsisten dengan asumsi dan / atau dengan fakta atau pengukuran yang diamati? Sudahkah kondisi batas diperiksa? Apakah hasilnya masuk akal, atau bahkan mungkin? Apakah penulis melakukan apa yang tampaknya diklaimnya? Misalnya,

apakah ia mensimulasikan sistem asli atau model yang masuk akal, atau apakah ia mensimulasikan model matematika perkiraan sistem? Apakah kesimpulan yang benar diambil dari hasil? Apakah ada kesimpulan yang diambil dari hasil? Apa saja aplikasi atau implikasi dari hasil? Apakah ada diskusi yang memadai tentang mengapa hasil ini diperoleh? Apakah presentasinya memuaskan? Pertanyaan pertama adalah apakah makalah ditulis cukup baik sehingga konten teknis dapat dievaluasi. Makalah yang tidak bisa dimengerti tidak bisa diterbitkan. Makalah yang membutuhkan revisi luas tidak dapat dipublikasikan dalam bentuknya yang sekarang, dan mungkin tidak akan pernah. Menganggap bahwa makalah itu dapat dibaca sama sekali, evaluasi presentasi diperlukan, di samping evaluasi teknis. Pembaca dirujuk ke artikel seperti [Day77] untuk cara menulis makalah; di bagian ini, kami berkonsentrasi pada cara mengevaluasi cara penulisan. Apakah abstrak menggambarkan kertas? Apakah pengantar cukup menjelaskan masalah dan kerangka kerja untuk penelitian? Apakah bagian yang tersisa jelas dan apakah mereka mengikuti dalam urutan logis? Apakah ada terlalu banyak detail atau terlalu sedikit? Apakah tata bahasa dan sintaksinya benar? Apakah angka dan tabel diberi label dengan baik? Apakah angka tersebut dapat terbaca? berarti? Apakah ada terlalu banyak atau terlalu sedikit tabel dan gambar? Apakah penjelasannya buruk atau bahkan tidak masuk akal? Apakah penulisnya terlalu verbose atau terlalu singkat dan samar? Apakah makalah itu cukup berisi bahwa seseorang yang berpengetahuan luas di bidangnya dapat membacanya, atau apakah pembaca memerlukan pengetahuan terperinci tentang hasil yang diterbitkan di tempat lain? Jika penulis merujuk pembaca ke makalah lain untuk detail penting, apakah Anda percaya padanya? Jika bagian dari makalah ini hilang atau tidak lengkap, karena tenggat waktu, apakah Anda percaya bahwa mereka akan diisi seperti yang dijanjikan? Apakah kertas itu terlalu sehari-hari atau terlalu formal dalam gaya? Apakah formalisme bermanfaat atau perlu? Apakah ada banyak kesalahan ketik? Apakah kertasnya terlalu panjang? Jika demikian, apakah itu karena mengandung terlalu banyak bahan, atau karena penulisnya terlalu bertele-tele? Yaitu, apakah terlalu banyak diskusi, atau terlalu banyak tabel dan gambar? Bisakah kertas dipecah menjadi dua atau lebih kertas tanpa kehilangan koherensi? Kertas harus cukup panjang untuk menyajikan materi yang diperlukan, dan tidak lagi. Dengan alasan, biarkan editor atau ketua program khawatir tentang batasan halaman tertentu. Wasit harus mengidentifikasi, sejauh mungkin, kesalahan ketik dan koreksi yang diperlukan dalam tata bahasa, tanda baca, dan kata-kata. Kesalahan seperti itu sering bisa menjadi masalah serius ketika makalah tersebut ditulis oleh seorang penulis yang

bahasa ibunya bukan bahasa Inggris. Namun, bukan tugas wasit untuk menulis ulang makalah untuk penulis. Apa yang kamu pelajari? Apa yang Anda, atau apa yang harus pembaca pelajari dari makalah ini? Jika Anda tidak mempelajari apa pun, dan / atau jika pembaca yang dituju tidak akan mempelajari apa pun, makalah tersebut tidak dapat diterbitkan. 7. Secara keseluruhan, seberapa bagus itu? Apa yang kamu sarankan? Bisakah Anda memasukkan kertas ke dalam salah satu kategori ini? 1. Hasil utama - sangat signifikan. (kurang dari 1% dari semua makalah yang ditulis.) 2. Kerja bagus, solid, menarik; kontribusi pasti. (kurang dari 10% makalah yang akan Anda lihat.) 3. Kontribusi kecil, tetapi positif, untuk pengetahuan. (mungkin 10% hingga 30% dari kertas yang diserahkan.) 4. Elegan dan secara teknis benar tetapi tidak berguna. Kategori ini mencakup analisis canggih babi terbang, seperti yang disebutkan di atas. 5. Tidak elegan atau bermanfaat, tetapi tidak benar-benar salah. 6. Salah dan menyesatkan. 7. Makalah ini ditulis dengan buruk sehingga evaluasi teknis tidak mungkin dilakukan. Dalam menempatkan sebuah kertas ke dalam salah satu kategori di atas, penting untuk menormalkan standar yang sesuai, bukan dengan standar Anda sendiri, yang mungkin tinggi atau rendah, atau dengan rata-rata kertas yang Anda tulis sendiri, atau dengan rata-rata dari makalah yang menurut Anda layak dibaca. Setelah mengkategorikan makalah, pertanyaannya adalah: apa standar jurnal atau konferensi ini? Apakah ini Prosiding IEEE atau Transaksi ACM pada Sistem Komputer atau Simposium ACM tentang Prinsip Sistem Operasi (semua sangat selektif) atau Konferensi Tahiti tentang Bola Pantai dan Sistem Komputer? (Fiksi, tetapi dianggap sebagai kacamata.) Anda harus membandingkan tulisan ini bukan dengan yang terbaik atau terburuk dalam jurnal atau konferensi tertentu, tetapi dengan rata-rata. Tentu saja, dalam beberapa kasus rata-rata terlalu rendah, dan perlu dinaikkan oleh wasit kritis. Perhatikan bahwa Anda tidak dapat menentukan selektivitas konferensi atau jurnal dengan persentase makalah yang dikirimkan yang diterima; konferensi dan jurnal terbaik memiliki jauh lebih sedikit makalah buruk yang dikirimkan.

Anda kemudian harus membuat rekomendasi. Itu bisa menguntungkan ("publikasikan") atau tidak menguntungkan ("tolak"). Kekuatan rekomendasi harus secara jelas dinyatakan kepada editor (mis. "Makalah yang bagus, pasti terima"; "makalah yang bermanfaat, mungkin terima"; "makalah marginal - lihat berapa banyak yang lebih baik yang telah diserahkan ke konferensi", "salah dan menyesatkan; pasti menolak "). Diijinkan, tetapi tidak diinginkan, untuk mengatakan "mungkin"; jika Anda merasa bahwa makalah itu memiliki sesuatu yang layak untuk dikatakan, tetapi Anda tidak yakin apakah makalah itu cukup baik untuk dipublikasikan dalam jurnal atau proses konferensi ini, Anda dapat memberikan tanggapan yang tegas. Rekomendasi Anda adalah pendapat Anda tentang apakah makalah itu memberikan kontribusi yang memadai. Secara umum, ini akan termasuk kertas-kertas dalam kategori satu dan dua di atas, dan beberapa dari mereka dalam kategori tiga. Anda juga dapat merekomendasikan agar makalah ditolak karena tidak sesuai untuk jurnal atau konferensi ini. Jika kertas tidak sesuai, atau berkualitas rendah untuk forum ini, tetapi cocok di tempat lain, Anda juga dapat menyarankan tempat lain untuk mengirimkan kertas. Bagaimanapun, Anda harus memberikan diskusi dan justifikasi yang memadai untuk rekomendasi apa pun yang Anda buat. Rekomendasi yang tanpa justifikasi yang memadai akan diberikan bobot yang sangat sedikit oleh editor atau komite program. Jika penulis diminta untuk menyiapkan versi revisi makalah untuk jurnal, revisi biasanya akan dikirim ke referensi yang sama untuk ditinjau lebih lanjut. Penting untuk memastikan bahwa revisi tersebut memuaskan, tetapi wasit harus menghindari komentar yang tidak konsisten dengan ulasan pertama, dan harus menghindari melecehkan penulis dengan merekomendasikan revisi setelah revisi tidak perlu. Sangat mungkin, bagaimanapun, bahwa mungkin ada masalah serius dalam revisi naskah, baik karena hal-hal yang diabaikan dalam tinjauan pertama, karena masalah yang hanya menjadi jelas setelah revisi, dan / atau karena kesalahan baru yang diperkenalkan dalam revisi itu sendiri. Masalah serius seperti itu harus diatasi. Perhatikan bahwa jika masih ada masalah serius setelah revisi kedua, akan sering tepat untuk merekomendasikan penolakan akhir, karena penulis tampaknya tidak mampu memperbaiki masalah. 8. Survei dan Tutorial Survei dan tutorial berbeda dari makalah penelitian. Sebagian besar atau semua pekerjaan yang dilaporkan dalam makalah semacam itu bukanlah hal baru, dan tidak diharapkan baru. Makalah seperti itu, bagaimanapun, dapat menjadi tempat yang nyaman bagi seorang penulis untuk memasukkan berbagai hasil penelitian kecil yang tidak akan berdiri sendiri dalam makalah yang terpisah.

Artikel survei dan tutorial serupa tetapi tidak identik. Tutorial murni dimaksudkan untuk menjelaskan beberapa materi kepada pembaca yang bukan ahli, biasanya pemula. Tutorial mungkin tidak mencakup seluruh bidang yang dibahas, dan mungkin memiliki sudut pandang tertentu. Survei harus menyediakan cakupan yang luas dan menyeluruh dari beberapa bidang atau badan pengetahuan, dan dapat ditujukan untuk pembaca mulai dari pemula sampai yang hampir ahli. Dalam meninjau makalah tutorial, ada beberapa masalah khusus untuk diatasi: Apakah makalah tersebut membahas materi yang dijanjikan oleh judul atau abstrak? Apakah ini kumpulan pengetahuan yang masuk akal untuk dicakup oleh artikel tutorial? (Apakah cakupannya terlalu lebar, terlalu sempit, atau terlalu aneh untuk berguna?) Apakah ada tema yang konsisten dengan makalah ini? Apakah materi dalam artikel itu benar? Apakah tingkat cakupannya terlalu sederhana atau terlalu canggih, mengingat kemungkinan audiens? Apakah kertasnya ditulis dengan baik dan jelas? Yang terakhir ini merupakan masalah penting untuk tutorial, tetapi jurnal yang mempublikasikan tutorial, seperti IEEE Computer dan ACM Computing Survey, sering memiliki editor dan staf profesional yang membantu merevisi. Untuk makalah survei, banyak pertanyaan yang sama berlaku. Apakah makalah ini mencakup materi yang dijanjikan dengan judul atau abstrak, dan apakah ini adalah kumpulan pengetahuan yang masuk akal untuk disurvei pada satu waktu? Apakah materi dalam artikel itu benar, dan apakah penulisnya cukup ahli dalam hal ini sehingga ia dapat menginterpretasikan hasil dengan benar dan memberikan perspektif di lapangan? Sudahkah penulis mengintegrasikan bahan secara konsisten, atau ini hanya bibliografi beranotasi? Sudahkah penulis memberikan liputan yang berimbang dan menyeluruh tentang topiknya? Apakah dia mengutip semua literatur penting yang relevan, atau apakah presentasinya bias, miring, dan / atau selektif tidak merata? Pendapat dan evaluasi yang kontroversial harus diidentifikasi seperti itu. Sejauh survei mencakup hasil penelitian baru, apakah hasil tersebut memenuhi kriteria yang diberikan di atas untuk makalah penelitian untuk validitas dan kebenaran? Sebuah survei tidak harus berdiri sendiri sebagai makalah penelitian, sehingga penelitian yang disajikan tidak harus cukup signifikan untuk membenarkan publikasi sebagai makalah penelitian. Akhirnya, apakah kertas itu ditulis dengan baik dan jelas? 9. Proposal Proposal adalah permintaan kepada agen pendanaan, perusahaan atau yayasan untuk dukungan finansial, yang seharusnya melakukan penelitian yang dijelaskan dalam proposal. Meninjau proposal sangat berbeda dari meninjau makalah, dan beberapa pertimbangan khusus berlaku. Ulasan makalah hanya membahas sains; ulasan proposal harus mempertimbangkan orang tersebut juga. Kesulitan utama dengan meninjau proposal adalah bahwa simpatisan seharusnya memberi tahu Anda apa yang dia rencanakan untuk dilakukan, di samping apa yang

telah dilakukan. Pertanyaan yang akan diajukan, kemudian adalah: (a) Apakah topik (atau topik) penelitian penting? (B) Apakah metode pendekatan dijelaskan (secara singkat) dan apakah itu masuk akal? (c) Apakah simpatisan dan asisten seperti siswa tampaknya memiliki keahlian yang memadai untuk menghasilkan hasil yang bermanfaat? (d) Apakah anggarannya masuk akal, mengingat penelitian yang diajukan, kualifikasi penyelidik (dan murid-muridnya) dan tingkat pendanaan khas yang diberikan oleh lembaga tersebut? (e) Apakah fasilitas yang diperlukan tersedia? Cara termudah untuk menulis proposal yang terperinci dan spesifik adalah mengusulkan untuk melakukan penelitian yang sudah lengkap, atau setidaknya secara substansial sedang berlangsung; pendekatan ini sangat umum untuk seorang peneliti mapan. Sayangnya, itu bukan tujuan dari proposal penelitian, dan membutuhkan tingkat detail dan spesifikasi yang tinggi dalam proposal tersebut mendiskriminasi pendatang baru di lapangan, dan juga terhadap mereka yang mengusulkan pekerjaan baru. Dengan demikian, kesulitan paling serius yang dihadapi oleh pengkaji proposal adalah untuk mengevaluasi proposal dan tidak berharap untuk melihat laporan penelitian. Demikian pula, suatu proposal dapat mencakup lingkup pekerjaan yang lebih besar daripada yang dapat dicapai secara wajar dengan waktu dan upaya yang ditentukan. Jika penyelidik dengan jelas mengakui hal ini, dan menunjukkan bahwa ia akan memilih dan memilih sub-topik dalam bidang penelitian, tergantung pada minat mereka dan ketersediaan seseorang seperti mahasiswa pascasarjana untuk mengerjakannya, ini bukan faktor negatif. Perbedaan utama antara proposal penelitian dan makalah adalah bahwa proposal bersifat spekulatif, dan pengulas harus mengevaluasi apa yang mungkin terjadi. Evaluasi seperti itu, sebagaimana dicatat di bawah ini, harus sangat bergantung pada reputasi pribadi simpatisan, ketika reputasi itu ada. Orang-orang dengan sejarah penelitian yang baik dan konsisten mungkin akan melakukan pekerjaan dengan baik, tidak peduli seberapa ceroboh atau singkatnya proposal mereka. Orang-orang dengan sejarah penelitian kualitas rendah yang konsisten (tidak peduli seberapa besar, atau seberapa panas topiknya) mungkin akan berlanjut dengan cara yang sama, tidak peduli betapa menariknya proposal tersebut. Oleh karena itu, sebagian besar dari evaluasi proposal oleh penyelidik terkenal harus bergantung pada reputasi penyelidik itu. Namun, Is sangat penting untuk tidak mendiskriminasi pendatang baru di lapangan, yang tidak memiliki reputasi, baik atau buruk. Dalam kasus terakhir, seseorang harus lebih mengandalkan teks proposal, dan pada informasi lain seperti Ph.D penyelidik. disertasi, catatan akademisnya, lembaga tuan rumahnya, gelar Ph.D. lembaga, komentar oleh penasihatnya atau orang lain yang mengenalnya, dll. Juga penting untuk mempertimbangkan kemungkinan bahwa seorang peneliti yang baik mengusulkan penelitian yang buruk, atau bahwa seorang peneliti yang mencatat pekerjaan yang berkualitas buruk telah memutuskan untuk melakukan kualitas yang lebih baik pekerjaan yang Anda percaya dia mampu.

Peninjau diminta untuk mengomentari anggaran yang diusulkan. Perlu diingat bahwa banyak faktor yang mempengaruhi ukuran anggaran selain lingkup penelitian yang diusulkan, seperti lembaga yang menyediakan dana, ketersediaan fasilitas dan staf, dll. Perhatikan khususnya bahwa untuk penyelidik baru, ada perbedaan besar antara tidak ada dana dan dana minimal (gaji dua bulan musim panas, jumlah untuk perjalanan, persediaan dan waktu komputer). Mendanai penyelidik baru di tingkat rendah sering kali merupakan pertaruhan yang bagus; dua atau tiga tahun kemudian, penyelidik akan memiliki rekam jejak, dan jika itu bagus, tingkat pendanaan yang lebih tinggi dapat dibenarkan. Hibah kecil seperti itu sering disebut hibah inisiasi dan seharusnya jauh lebih mudah diperoleh daripada hibah biasa. 10. Masalah Lainnya 10.1. Pengajuan Serentak, Publikasi Sebelumnya, Retries yang Tidak Direvisi Jika sebuah makalah diserahkan secara bersamaan ke dua tempat atau lebih, semua editor dan / atau ketua program harus diberitahu tentang, dan menyetujui, ini, dan semua wasit harus diberitahukan demikian. Tidak etis untuk menyerahkan makalah secara bersamaan tanpa pemberitahuan, dan itu adalah dasar yang memadai untuk menolak makalah. Ada kemungkinan yang sangat baik bahwa jika sebuah makalah diserahkan secara bersamaan, pengajuan simultan akan terdeteksi melalui proses peninjauan. Jika sebuah makalah telah diterbitkan (seperti dalam proses konferensi) dan kemudian diserahkan untuk publikasi ulang (misalnya, dalam jurnal arsip), penting bahwa editor dan wasit begitu diberitahukan. Beberapa asosiasi seperti IEEE dan ACM mengizinkan publikasi ulang dalam jurnal mereka, tetapi umumnya makalah ini harus memenuhi standar yang lebih tinggi untuk publikasi daripada jika tidak pernah dipublikasikan. Ekstensi yang signifikan atau revisi besar sering kali merupakan alasan yang memadai untuk publikasi. Wasit harus waspada kepada penulis yang mencoba untuk menerbitkan karya yang sama di semua berbagai kombinasi, permutasi dan himpunan bagiannya, dan kepada penulis yang mencoba menambahkan "unit yang paling tidak dapat diterbitkan" dari materi baru ke setiap kertas. Perhatikan bahwa jika versi pertama makalah ini diterbitkan oleh penerbit yang berbeda dari yang mempertimbangkan versi saat ini, pembatasan hak cipta dapat menjadikannya ilegal untuk makalah yang akan diterbitkan kembali tanpa izin eksplisit dari pemegang hak cipta. Bukan hal yang aneh untuk menerima kertas untuk menjadi wasit yang sebelumnya Anda rekomendasikan ditolak oleh beberapa publikasi lain. Jika kertas belum ditulis ulang untuk memenuhi ulasan Anda sebelumnya, maka tepat untuk mengembalikan salinan ulasan sebelumnya, bersama dengan catatan tumpul yang menunjukkan bahwa penulis dapat mencoba membuat revisi sesuai dengan laporan wasit.

10.2. Ucapan Terima Kasih dan Plagiarisme Adalah penting bahwa makalah tidak menjiplak, dan bahwa kerja sama dan kontribusi orang lain diakui sepenuhnya. Wasit harus secara eksplisit menunjukkan masalah yang ditemukan. 10.3. Respon Tepat Waktu, dan Mengembalikan Kertas Adalah penting bahwa wasit merespons dengan segera. Konferensi memiliki tenggat waktu, dan laporan yang diterima setelah komite program bertemu tidak berguna. Jurnal umumnya tidak memiliki tenggat waktu, tetapi membutuhkan waktu lama untuk meninjau makalah, dan mencegah pertimbangan untuk publikasi melalui penundaan, secara profesional tidak etis. Dante mungkin memiliki tempat untuk wasit yang berjanji untuk membuat laporan, dan kemudian tidak melakukannya [Dant49]. Jika Anda tidak dapat membaca koran dalam waktu yang wajar, biasanya 4-8 minggu, kirimkan kembali ke editor, atau paling tidak tunda persetujuan editor. Ingatlah bahwa jika Anda berharap untuk menerbitkan makalah Anda sendiri, Anda memiliki tanggung jawab untuk memberikan referensi kepada sejumlah makalah yang masuk akal. Itu adalah bagian dari pekerjaan Anda sebagai peneliti. Opsi untuk mengirimkannya kembali ke editor tidak boleh disalahgunakan. Editor dapat memilih untuk tidak menangani makalah oleh penulis yang tidak memenuhi tanggung jawab wasit mereka. Jika Anda mengirim makalah yang tidak memenuhi syarat untuk menjadi wasit, Anda juga dapat mengirimnya kembali ke editor atau ketua program. Namun, perhatikan bahwa Anda mungkin telah dipilih secara khusus untuk memberikan pandangan "luar" dari lapangan (lihat bagian 10.7), dan fakta itu mungkin membuat Anda memenuhi syarat untuk memberikan pendapat terbatas. Jika Anda akan mengirim kertas kembali tanpa referensi, lakukan segera. Pastikan untuk mengembalikan naskah. 10.4. Apakah Reputasi Pengarang Penting? Haruskah reputasi penulis diizinkan untuk memengaruhi evaluasi makalah, yang bertentangan dengan proposal? Tidak ada konsensus. Menurut pendapat pribadi saya, wasit harus mempertimbangkan nama dan reputasi penulis untuk sebagian kecil, dan hanya dalam beberapa keadaan. Makalah penelitian harus berdiri sendiri. Satu-satunya waktu untuk memperhitungkan reputasi penulis adalah berkenaan dengan ambiguitas, poin-poin yang tidak jelas, dan referensi untuk pekerjaan yang tidak disajikan. Jika penulis dianggap tepat, orang mungkin cenderung berasumsi bahwa masalah apa pun akan diperbaiki, dan harus diperbaiki, pada revisi. Jika penulis dianggap kurang baik, melalui reputasi buruk

yang diperoleh dengan baik, maka orang dapat beranggapan bahwa kelalaian dan ambiguitas mungkin merupakan kesalahan yang disembunyikan (sengaja atau tidak). Perhatikan bahwa asumsi tentang apakah masalah dengan kertas dapat dan akan diperbaiki adalah masalah terutama untuk konferensi, yang biasanya tidak cukup waktu untuk tinjauan ulang; untuk jurnal, asumsi tidak diperlukan. 10.5. Kerahasiaan Ini adalah praktik dalam Ilmu dan Teknik Komputer bagi editor untuk mengirimkan kepada penulis laporan kata demi kata pemberi referensi, biasanya fotokopi, tanpa nama wasit dan tanpa informasi pengidentifikasi sekitarnya seperti kop surat lembaga. Jika Anda tidak ingin diidentifikasi, Anda tidak boleh memasukkan informasi pengenal ke dalam teks laporan Anda. Perhatikan bahwa ada masalah yang sulit meminta penulis untuk mengutip karya wasit sendiri, tanpa memberi petunjuk kepada penulis tentang siapa wasit itu; tidak ada solusi mudah untuk masalah ini. Makalah yang diajukan untuk publikasi belum tentu publik. Anda tidak boleh menggunakan materi dalam makalah yang telah Anda referensi, atau mendistribusikan salinan kertas, kecuali jika Anda memiliki pengetahuan bahwa kertas tersebut memang telah dipublikasikan, misalnya dengan didistribusikan sebagai laporan teknis. 10.6. Konflik Kepentingan Jika Anda memiliki konflik kepentingan, Anda harus memberitahukannya kepada editor. Jika konfliknya parah, Anda seharusnya tidak memberi referensi kepada makalah, tetapi sebaliknya harus mengembalikannya ke editor. Misalnya, jika Anda berselisih dengan seorang penulis, atau ketidaksepakatan pribadi yang signifikan, akan lebih bijaksana untuk mengirim kertas itu kembali. Jika Anda bersaing dengan penulis untuk mendapatkan pendanaan, dan ini adalah proposal, Anda harus memberitahukan hal itu kepada petugas program. Jenis konflik yang berlawanan juga terjadi - Anda diminta untuk memberikan referensi kepada makalah yang ditulis oleh seorang teman, kolega, mantan atau mahasiswa saat ini, bos atau bawahan, atau mantan penasihat. Jika Anda merasa tidak dapat memberikan ulasan yang objektif, maka Anda harus mengembalikan makalah ke editor. 10.7. Peran Editor atau Ketua Program Editor memiliki beberapa tugas [Bish84]. Di sini kita merujuk pada pemimpin redaksi, yang biasanya memiliki wewenang untuk memutuskan apakah akan menerima makalah, dan editor rekanan, yang meminta laporan wasit dan merekomendasikan kepada kepala redaksi apakah akan menerbitkan. Editor menerima makalah dari penulis dan memelihara korespondensi dengan penulis.

Editor memilih wasit, mengirimkan masing-masing salinan kertas dengan instruksi yang sesuai, dan menunggu hasilnya. Editor harus mengingatkan wasit yang lambat, dan menemukan wasit baru setelah periode tertentu jika tidak ada respons yang diterima. Editor harus memilih wasit yang berpengetahuan luas dalam materi makalah ini, dan dapat diandalkan untuk memberikan evaluasi yang adil dan obyektif. Sayangnya, tidak selalu mungkin untuk melakukan ini - ada terlalu banyak makalah yang harus ditinjau, dan terlalu sedikit orang yang diketahui ahli dan bertanggung jawab. Ada juga masalah lain - menurut definisi, orang-orang di daerah X percaya bahwa bekerja di daerah X bermanfaat. Laporan yang diterima dari seseorang di daerah X akan mengevaluasi kertas di daerah X menurut standar area X, tetapi jarang, jika pernah, mengatakan bahwa pekerjaan di daerah X tidak ada gunanya dan harus dihentikan. Namun demikian, sangat mungkin bahwa respons semacam itu tepat; jika seseorang ingin menghilangkan prasangka alkimia, orang mengirim kertas ke ahli kimia, bukan alkemis. Jika Anda menerima kertas untuk wasit yang berada di luar wilayah Anda, Anda harus mempertimbangkan apakah itu telah dikirim kepada Anda dengan sengaja, dan karena alasan itu. Seseorang harus mengatakan bahwa kaisar tidak memiliki pakaian. Setelah editor menerima cukup banyak laporan wasit, biasanya tiga, editor harus memutuskan apakah akan menerima makalah, dan jika demikian, sejauh mana revisi diperlukan. Editor tidak hanya menghitung laporan wasit sebagai suara. Editor harus membaca rekomendasi laporan wasit, dan alasannya, dan harus memutuskan, menggunakan penilaiannya sendiri, apakah akan menerima makalah. Seorang editor, secara teori, dapat mengesampingkan rekomendasi bulat dari para wasit; dalam praktiknya, editor dapat dan kadang-kadang berpihak pada sebagian kecil wasit. Adalah penting bahwa wasit menyatakan alasan untuk rekomendasi mereka dan membenarkannya; alasanalasan itu sama berharganya atau lebih banyak dari rekomendasi itu sendiri. Editor juga harus menyelesaikan rekomendasi yang bertentangan, dan harus memberi tahu penulis sejauh mana mereka harus mematuhi komentar wasit dalam membuat perubahan. Editor yang bijak akan mengirimkan salinan semua laporan wasit ke semua wasit, baik untuk mendidik wasit, dan untuk bersikap adil kepada penulis jika terjadi pertentangan ulasan. Dalam kasus konferensi, ketua program bertanggung jawab untuk memilih wasit dan mengumpulkan dan menghitung laporan mereka. Biasanya, komite program, dalam pertemuan atau panggilan konferensi, akan memutuskan makalah mana yang akan diterima dengan suara terbanyak. Ketua program mungkin atau mungkin tidak memiliki suara yang lebih besar daripada yang lain di komite, tetapi ia jarang memiliki wewenang untuk menerima atau menolak makalah atas oposisi mayoritas

komite program. Karena banyaknya kertas yang harus ditangani dalam waktu yang sangat singkat, wasit dan penulis biasanya tidak diberi perhatian pribadi oleh editor yang hanya menangani satu atau beberapa kertas per bulan. Perhatikan bahwa komite program sering menggunakan skor numerik untuk menyiapkan daftar makalah peringkat; skor semacam itu harus ditetapkan dengan cermat dan harus dilihat secara skeptis oleh komite. 11. When You Are The Author Artikel ini telah diarahkan pada wasit, tetapi instruksi kepada wasit juga instruksi kepada penulis. Saat memulai penelitian, saat menulis makalah, saat menyelesaikan makalah, dan ketika memutuskan di mana harus menyerahkannya, tanyakan pada diri Anda: bagaimana makalah ini akan lakukan ketika direferensikan sesuai dengan kriteria yang diberikan di sini? Beberapa hal spesifik untuk dipikirkan adalah: Apakah Anda mengirimkan kertas ke tempat yang tepat? Beberapa jurnal dan konferensi tidak akan mempertimbangkan materi di luar ruang lingkup tertentu; mengapa membuang waktu 3-12 bulan untuk mengetahui bahwa kertas Anda tidak sesuai? Demikian juga, jika Anda tahu bahwa makalah Anda kecil, mengapa mengirimnya ke forum yang sangat selektif; kirimkan ke suatu tempat di mana ia memiliki peluang masuk akal untuk diterima. Jika Anda mencurigai bahwa pekerjaan lebih lanjut diperlukan sebelum publikasi, lakukan pekerjaan itu; mungkin mengubah kertas yang tidak dapat diterbitkan menjadi yang dapat diterbitkan, tanpa penundaan tambahan 3-12 bulan. Melihat masalah publikasi yang Anda pertimbangkan untuk diajukan akan menjawab banyak pertanyaan ini; juga bermanfaat untuk melihat informasi yang disediakan oleh jurnal kepada para calon penulis; misalnya [CACM89, IEEE84]. Perlu diingat bahwa laporan wasit yang baik sangat berharga, bahkan jika itu merobek kertas Anda. Pertimbangkan - setiap laporan disiapkan tanpa biaya oleh seseorang yang waktunya tidak dapat Anda beli. Semua kesalahan yang mereka temukan, semua interpretasi yang salah yang mereka buat adalah hal-hal yang dapat Anda perbaiki sebelum dipublikasikan. Menghargai laporan wasit, dan memanfaatkannya. Beberapa penulis merasa dihina, dan mengabaikan laporan wasit; itu adalah pemborosan sumber daya yang tak ternilai. Seorang penulis yang menerima laporan wasit negatif sering mencurigai editor, panitia program, ketua program, dan / atau wasit tidak kompeten, bias, atau tidak adil. Meskipun ini kadang-kadang terjadi, itu adalah pengecualian; laporan wasit individual sering salah, tetapi serangkaian laporan wasit negatif merupakan indikasi akurat bahwa makalah Anda memiliki masalah, dan perlu ditulis ulang atau diulang sebelum dikirim kembali, atau dibuang sebagai tidak dipublikasikan atau memalukan. Perhatikan khususnya bahwa pembaca makalah membentuk opini penulis; jika

kualitas sebuah makalah seperti untuk mencerminkan buruk pada penulis, itu bahkan tidak boleh diserahkan untuk publikasi. Penulis secara khusus disebut [Day77], [Levi83], [Mano81], dan [Wegm86], yang menyediakan diskusi tentang bagaimana menulis makalah teknis. Wasit juga merupakan cara yang baik untuk belajar menulis makalah yang lebih baik; mengevaluasi pekerjaan orang lain memberikan satu wawasan ke dalam miliknya sendiri. 12. Kesimpulan Kemajuan ilmiah sangat bergantung pada proses peer review, evaluasi penelitian untuk publikasi dan pendanaan oleh para peneliti di area tersebut, atau oleh para peneliti yang memenuhi syarat untuk mengevaluasi pekerjaan. Ulasan berkualitas baik, laporan wasit, sangat penting untuk proses ini. Tugas wasit adalah mengevaluasi secara tepat waktu makalah untuk publikasi atau proposal untuk pendanaan. Untuk makalah penelitian, ini melibatkan menentukan apakah pekerjaan yang disajikan benar, jika masalah yang dipelajari dan hasil yang diperoleh adalah baru dan signifikan, jika kualitas presentasi memuaskan atau dapat dibuat demikian, dan apa revisi dan perubahan pada kertas diperlukan dan / atau diinginkan. Evaluasi ini tentu saja merupakan masalah pendapat, dan karena pengalaman wasit, kualitas evaluasi harus meningkat. Pedoman dan instruksi untuk wasit yang disajikan dalam makalah ini harus sangat berguna dalam melatih dan menginstruksikan wasit pemula. Ucapan Terima Kasih Saya ingin mengucapkan terima kasih kepada Peter Denning, Domenico Ferrari, Susan Graham, Anita Jones, Edward Lazowska, dan Ken Sevcik untuk komentar mereka pada draft artikel ini. Namun, pendapat yang diungkapkan di sini adalah milik penulis. Sejumlah wasit untuk makalah ini juga membuat saran yang bermanfaat, banyak di antaranya telah dimasukkan. Bibliografi [Bish84] Claude T. Bishop, '' Bagaimana Mengedit Jurnal Ilmiah '', ISI Press, Philadelphia, PA, 1984. [CACM89] Komunikasi ACM, '' Informasi untuk Penulis, '' CACM, 32, 3, Maret, 1989, hlm. 411-414. [Caro65] Lewis Caroll, Alice Through the Looking Glass, Bab. 4, Walrus and the Carpenter, Stanza 11, 1865. [Dant49] Dante Alighieri, The Divine Comedy, Cantica 1: L'Inferno, 1314, Diterjemahkan oleh Dorothy Sayers, Penguin Books, Baltimore, Md., 1949 [Day77] Robert Day , '' Cara Menulis Makalah Ilmiah, '' Transaksi IEEE pada Komunikasi Profesional, PC20, Juni, 1977, hlm. 32-37. [Fors65] Bernard Forscher, ‘‘ Aturan untuk Wasit, ’Sains, 15 Oktober 1965, hlm. 319-321. [IEEE84] IEEE, ‘idelines Pedoman untuk Penulis,’ Perangkat Lunak IEEE, 1, 1, Januari, 1984, hlm. 7-8. [Levi83] Roy Levin dan David Redell, ‘aluation Suatu Evaluasi dari Pengajuan SOSP Kesembilan, Review ACM

Operating System Review, 17, 3, Juli, 1983, hlm. 35-40. [Mano81] Frank Manola, ‘‘ Cara Mereset dengan Komite Program Konferensi Database, 'buletin IEEE TC buletin Rekayasa Basis Data, 4, 1, September, 1981, hlm. 30-36. [Parb89] Ian Parberry, ‘Guide Panduan untuk Wasit Baru dalam Ilmu Komputer Teoritis’, SIGACT News, Vol. 20, No. 4, hlm. 92-109, 1989. [Thom84] Keith Stewart Thompson, ‘‘ Marginalia / The Literature of Science, 'American Scientist, 72, Maret-April, 1984, hlm. 185-187. [Wegm86] Mark N. Wegman, '' Seperti Apa Menjadi Wasit POPL, atau Bagaimana menulis abstrak yang diperluas sehingga lebih mungkin diterima, '' Sigact News, 17, 4, Spring, 1986, hlm. 50-51. Cara Menjadi Wasit Editor selalu mencari wasit yang berkualitas dan bertanggung jawab. Cara termudah untuk menjadi wasit adalah dengan menulis makalah, sehingga membawa nama dan keahlian Anda menjadi perhatian komunitas yang relevan. Anda juga dapat menjadi aktif dalam kegiatan profesional, seperti IEEE lokal atau grup ACM, Komite Teknis IEEE (TC), ACM Kelompok Minat Khusus (SIG), komite penyelenggara konferensi, dll; Partisipasi dalam kegiatan ini akan memungkinkan Anda untuk bertemu dengan editor dan ketua program. Terkadang, editor akan secara aktif meminta wasit. Pedoman untuk Rujukan untuk Komputer IEEE Berikut ini adalah kutipan dari Pedoman untuk Rujukan yang didistribusikan oleh editor untuk IEEE Computer. ‘‘ Komputer mencakup semua aspek ilmu komputer, teknik, teknologi, dan aplikasi. Ini ditujukan untuk khalayak luas. Komputer menerbitkan artikel teknis substantif yang direferensikan secara luas dalam literatur. Artikel dalam Komputer sering kali bersifat survei atau tutorial dan mencakup keadaan terkini serta perkembangan penting yang muncul. Salah satu tujuan paling penting dari Komputer adalah untuk bertindak sebagai saluran transfer teknologi untuk membawa hasil dan formalisme dari universitas, industri dan pusat penelitian dan pengembangan pemerintah ke dokter umum di lapangan. ‘‘ Semua artikel harus dipahami oleh pembaca yang aktif bekerja dalam disiplin teknis. Sejauh mungkin, naskah harus ditulis dengan gaya yang mirip dengan artikel yang muncul di Scientific American. ‘‘ Laporan wasit harus dikembalikan pada Formulir Tinjauan Komputer. Karena bagian-bagian dari formulir peninjauan dan manuskrip bertanda akan dikirimkan kepada penulis sebagaimana mestinya, adalah penting bahwa tidak ada identifikasi wasit yang boleh muncul pada mereka. Komentar yang tidak pantas akan dihapus sebelum materi apa pun dikirimkan kepada penulis. ‘‘ Dibutuhkan banyak waktu dan upaya untuk mengembangkan sebuah naskah yang secara teknis relevan dan dapat dibaca. Tinjauan terperinci atas suatu naskah dapat menjadi bantuan yang tak ternilai bagi penulis dalam meningkatkan kualitas teknis, utilitas, dan keterbacaannya secara keseluruhan. Berikan komentar konstruktif yang akan membantu penulis untuk: (1) memperbaiki kesalahan dan kesalahpahaman; (2) nyatakan dugaan dan hasil yang sesuai, akurat dan relevan; (3) menggunakan definisi, diagram, tabel, grafik, dan

contoh yang lebih baik; (4) menggunakan maksimal 12 referensi kontemporer, relevan dan esensial; (5) membuat artikel secara teknis konsisten dan lengkap; dan, (6) mengatur materi untuk membantu pembaca memahami masalah yang disajikan. ‘‘ Jika revisi besar direkomendasikan, Anda harus menunjukkannya setepat mungkin dan harus membedakan perubahan opsional dari yang Anda anggap wajib. Jika revisi yang diperlukan luas, mungkin yang terbaik adalah menolak makalah dan merekomendasikan persiapan naskah baru yang sangat direvisi untuk dikirim kembali ke Komputer. Jika Anda menolak naskah tersebut terutama berdasarkan minat pembaca, harap sarankan jurnal yang lebih tepat kepada penulis. Naskah dengan sedikit atau tanpa materi yang bisa diselamatkan harus ditolak secara langsung dan kemudian diserahkan tidak disarankan. ' Penulis Alan Jay Smith dibesarkan di New Rochelle, New York, AS. Dia menerima B.S. gelar di bidang teknik listrik dari Massachusetts Institute of Technology, Cambridge, Massachusetts, dan M.S. dan Ph.D. gelar dalam ilmu komputer dari Stanford University, Stanford, California. Dia adalah seorang Lulusan NSF. Dia saat ini adalah Profesor di Divisi Ilmu Komputer dari Departemen Teknik Elektro dan Ilmu Komputer, Universitas California, Berkeley, California, AS, di mana dia telah berada di fakultas sejak 1974; dia adalah wakil ketua departemen EECS dari Juli, 1982 hingga Juni 1984. Minat penelitiannya meliputi analisis dan pemodelan sistem dan perangkat komputer, arsitektur komputer, dan sistem operasi. Dia telah menerbitkan sejumlah besar makalah penelitian, termasuk yang memenangkan IEEE Best Paper Award untuk kertas terbaik di IEEETC pada tahun 1979. Dia juga berkonsultasi secara luas dengan perusahaan komputer dan elektronik. Dr. Smith adalah anggota Institut Insinyur Listrik dan Elektronik, dan anggota dari Asosiasi untuk Mesin Komputer, Kelompok Kerja IFIP 7.3, Kelompok Pengukuran Komputer, Eta Kappa Nu, Tau Beta Pi dan Sigma Xi. Dia berada di Dewan Direksi (1993-99), dan Ketua (1991-93) dari ACM Kelompok Minat Arsitektur Komputer (SIGARCH), adalah Ketua (1983-87) dari ACM Kelompok Minat Khusus tentang Sistem Operasi (SIGOPS), adalah anggota Dewan Direksi (1985-89) dari Kelompok Minat Khusus ACM tentang Pengukuran dan Evaluasi (SIGMETRICS), adalah Dosen Nasional ACM (1985-6) dan Pengunjung Istimewa IEEE (1986-7), adalah Associate Editor dari ACM Transactions on Computer Systems (TOCS) (1982-93), adalah editor bidang subjek Journal of Parallel and Distributed Computing dan berada di dewan editorial Journal of Microprocessors and Microsystems. Dia adalah ketua program untuk Sigmetrics '89 / Performance '89 Conference, ketua program untuk Konferensi Kedua (1990) Keenam (1994) dan Kesembilan (1997), dan telah melayani di banyak komite program.