Mengevaluasi Evaluator: Beberapa Pelajaran dari Evaluasi Diri Bank Dunia Baru-baru ini

Catatan Editor: Kelompok Evaluasi Independen (Independen Evaluation Group/IEG) Bank Dunia baru-baru ini menerbitkan evaluasi mandiri atas kegiatannya. Selain mewakili pemikiran terkini di antara para ahli evaluasi di Bank Dunia, ini juga secara lebih luas mencerminkan beberapa kekuatan dan kesenjangan dalam pendekatan yang digunakan para evaluator untuk menilai dan belajar dari kinerja lembaga-lembaga internasional tempat mereka bekerja. Pertanyaan lama Quis custodet ipsos custodes? – diterjemahkan secara longgar sebagai Siapa yang mengevaluasi para evaluator? – tetap relevan seperti sebelumnya. Johannes Linn berperan sebagai peninjau sejawat eksternal dari evaluasi diri dan memberikan pandangan menyeluruh tentang pelajaran yang dipetik.

Gambaran Umum Laporan Evaluasi Diri IEG Bank Dunia

Pada tahun 2011 Kelompok Evaluasi Independen (Independen Evaluation Group/IEG) Bank Dunia melakukan dan menerbitkan a evaluasi diri dari kegiatannya. Tim evaluasi diri dipimpin oleh seorang manajer internal, tetapi melibatkan pakar evaluasi eksternal yang disegani sebagai penulis utama dan juga peninjau sejawat eksternal.



Evaluasi diri IEG mengikuti praktik profesional terbaik sebagaimana dikodifikasikan oleh Evaluation Cooperation Group (ECG). Kelompok ini menyatukan kantor evaluasi tujuh lembaga keuangan multilateral utama dalam upaya bersama yang dirancang untuk meningkatkan kinerja evaluasi dan kerja sama di antara para penilai mereka. Oleh karena itu, seseorang dapat menyimpulkan bahwa pendekatan dan fokus evaluasi diri IEG mewakili serangkaian praktik yang lebih luas yang saat ini digunakan oleh komunitas evaluasi organisasi keuangan internasional.

Pada awalnya laporan IEG menyatakan bahwa IEG adalah departemen evaluasi terbesar di antara anggota Evaluation Capacity Group (ECG) dan sangat dihormati oleh komunitas evaluasi internasional. Penilaian independen atas peran IEG sebagai fungsi evaluasi independen untuk Bank dan IFC menilainya di atas fungsi evaluasi di sebagian besar anggota EKG lainnya, organisasi nonpemerintah internasional, dan perusahaan transnasional dan menemukan bahwa IEG mengikuti prinsip evaluasi praktik yang baik.

apakah kita berperang dengan siapa pun

Laporan evaluasi diri umumnya menegaskan penilaian positif ini. Untuk empat dari enam bidang mandatnya, IEG memberikan peringkat tertinggi kedua (baik) dari enam kategori peringkat yang memungkinkan. Ini termasuk (a) kualitas profesional dari evaluasinya, (b) laporannya tentang bagaimana manajemen Bank Dunia menindaklanjuti rekomendasi IEG, (c) kerjasama dengan kantor evaluasi lainnya, dan (d) bantuan kepada negara peminjam dalam meningkatkan kinerja mereka sendiri. kapasitas evaluasi. Di bidang penilaian evaluasi diri Bank Dunia dan praktik manajemen risiko, laporan tersebut memberikan peringkat tertinggi ketiga (memuaskan), sementara itu memberikan peringkat terendah ketiga (sederhana) untuk dampak IEG terhadap kebijakan, strategi, dan operasi Bank. Selain itu evaluasi diri menyimpulkan bahwa secara keseluruhan kinerja IEG sudah baik dan beroperasi secara mandiri, efektif dan efisien.

Laporan tersebut membuat sejumlah rekomendasi untuk perbaikan, yang mungkin bermanfaat, tetapi berdampak terbatas pada kegiatannya. Mereka mencakup langkah-langkah untuk lebih meningkatkan independensi IEG dan konsistensi praktik evaluasi sebagaimana diterapkan di seluruh cabang Grup Bank Dunia – Bank Dunia, Korporasi Keuangan Internasional (IFC), dan Badan Penjamin Investasi Multilateral (MIGA) –; untuk meningkatkan desain evaluasi dan keterlibatan dengan manajemen Bank di hulu untuk dampak yang lebih besar; dan memantau dampak perubahan organisasi baru-baru ini di IEG dalam hal hasil yang dicapai. Laporan tersebut juga merekomendasikan agar lebih banyak dilakukan untuk mengevaluasi pekerjaan analitis Bank dan bahwa evaluasi menggunakan bukti komparatif.

Penilaian

Dalam hal parameter evaluasi diri yang ditetapkan oleh praktik yang berlaku di antara para evaluator di lembaga keuangan internasional, evaluasi diri IEG akurat dan bermanfaat. Dari pengalaman saya sendiri sebagai manajer operasional di Bank yang kegiatannya dievaluasi oleh IEG di tahun-tahun sebelumnya, dan sebagai pengguna evaluasi IEG (dan evaluasi organisasi bantuan internasional lainnya) untuk penelitian saya tentang efektivitas bantuan, saya setuju bahwa IEG adalah independen dan efektif dalam memenuhi mandatnya sebagaimana ditetapkan. Selain itu, evaluasi diri menghasilkan bukti kuantitatif yang berguna (termasuk hasil survei, analisis anggaran, dll.) untuk menguatkan penilaian kualitatif.

Namun, evaluasi diri mengalami sejumlah keterbatasan dalam pendekatan dan kesenjangan fokus, yang secara luas mewakili praktik yang lazim di antara banyak kantor evaluasi lembaga bantuan internasional.

Pembacaan laporan yang cermat mengungkapkan enam kesenjangan penting dalam evaluasi diri IEG, dalam praktik evaluasi yang berlaku di Bank Dunia, dan lebih umum lagi dalam cara organisasi keuangan internasional mengevaluasi kinerja mereka sendiri. Tiga kesenjangan pertama berhubungan dengan aspek pendekatan evaluasi yang digunakan dan tiga kesenjangan kedua berhubungan dengan kurangnya fokus dalam evaluasi diri pada isu-isu kunci internal organisasi:

satu. Evaluasi Dampak: Laporan tersebut mencatat bahwa IEG melakukan dua hingga tiga evaluasi dampak per tahun, tetapi ini menghindari perdebatan dalam literatur dan praktik evaluasi saat ini mengenai sejauh mana standar emas evaluasi dampak acak harus menempati peran yang jauh lebih sentral. Mengingat pentingnya perdebatan dan perbedaan pandangan ini, akan tepat bagi evaluasi diri untuk menilai praktik IEG saat ini tentang penggunaan evaluasi acak yang sangat terbatas.

kelompok penasihat yang dipilih oleh presiden untuk memberikan nasihat dan bantuan dalam pengambilan keputusan adalah

dua. Evaluasi Peningkatan: Laporan ini tidak menjawab pertanyaan sejauh mana praktik IEG saat ini tidak hanya menilai kinerja masing-masing proyek dalam hal hasil dan keberlanjutannya, tetapi juga dalam hal apakah Bank telah secara sistematis membangun pengalamannya dalam proyek-proyek tertentu untuk membantu meningkatkan skala. meningkatkan dampaknya melalui dukungan untuk perluasan atau replikasi dalam operasi tindak lanjut atau melalui penyerahan yang efektif kepada pemerintah atau mitra lainnya. Faktanya, saat ini IEG tidak secara eksplisit dan sistematis mempertimbangkan peningkatan dalam evaluasi proyek dan programnya. Misalnya, dalam evaluasi IEG baru-baru ini atas dana Bank Dunia proyek pembangunan kota (MDPs), IEG menemukan bahwa Bank telah mendukung banyak MDP di banyak negara selama bertahun-tahun, tetapi evaluasi tersebut tidak menjawab pertanyaan yang jelas apakah Bank secara sistematis merencanakan urutan proyek atau membangun pengalamannya dari proyek-proyek sebelumnya dalam operasi selanjutnya. Sementara sebagian besar kantor evaluasi lain seperti IEG tidak mempertimbangkan untuk meningkatkan, beberapa (khususnya dari Dana Internasional untuk Pembangunan Pertanian dan Program Pembangunan Perserikatan Bangsa-Bangsa) telah mulai melakukannya dalam beberapa tahun terakhir.

3. Berdasarkan Pengalaman dan Tolok Ukur Terhadap Institusi Lain: Laporan evaluasi diri melakukan pekerjaan yang baik dalam membandingkan kinerja IEG dalam beberapa hal dibandingkan dengan lembaga multilateral lainnya. Dalam teks utama laporan disebutkan bahwa IEG berencana untuk mengembangkan pedoman untuk makalah pendekatan untuk memastikan kualitas yang lebih baik, khususnya dalam menarik informasi komparatif dari sumber lain dan membandingkan dengan lembaga lain. Ini adalah niat yang disambut baik, tetapi tidak cukup dimotivasi dalam sisa laporan dan tidak tercermin dalam Ringkasan Eksekutif. Kenyataannya adalah bahwa IEG, seperti kebanyakan kantor evaluasi multilateral, sejauh ini belum secara sistematis mengambil evaluasi dan pengalaman yang relevan dari lembaga bantuan lain dalam evaluasi kinerja Bank Dunia. Ini sangat membatasi dampak pembelajaran dari evaluasi.

Empat. Kebijakan Internal Bank, Proses Manajemen dan Insentif: Evaluasi IEG secara tradisional tidak berfokus pada bagaimana kebijakan internal Bank, manajemen dan insentif mempengaruhi kualitas keterlibatan Bank di negara-negara. Oleh karena itu, evaluasi tidak dapat memberikan wawasan apa pun tentang apakah dan bagaimana modalitas operasi internal Bank berkontribusi pada hasil. Dua pengecualian terbaru adalah pengecualian penting. Pertama, IEG evaluasi pendekatan Bank untuk harmonisasi dengan donor lain dan penyelarasan dengan prioritas negara menilai insentif bagi staf untuk mendukung harmonisasi dan penyelarasan. Evaluasi menyimpulkan bahwa ada insentif yang tidak mencukupi, sebuah temuan yang dibantah oleh manajemen. Kedua, evaluasi terhadap pengaturan manajemen matriks internal Bank yang saat ini sedang berjalan. Evaluasi diri mencatat bahwa manajemen Bank mencoba untuk membatalkan evaluasi matriks dengan alasan bahwa itu tidak berada di bawah mandat IEG. Ini adalah argumen yang tidak menguntungkan, karena penilaian atas alasan kelembagaan untuk kinerja Bank merupakan komponen penting dari setiap evaluasi yang berarti atas program-program yang didukung Bank. Sementara membuat kasus yang baik untuk contoh spesifik dari evaluasi matriks, laporan evaluasi diri menghindar dari pernyataan yang lebih umum untuk mendukung keterlibatan IEG pada isu-isu kebijakan internal Bank, proses manajemen dan insentif. Perlu dicatat bahwa Kantor Evaluasi Independen IFAD tampaknya lebih agresif dalam hal ini: Saat ini sedang melakukan evaluasi penuh atas efisiensi internal IFAD dan evaluasi sebelumnya (mis. evaluasi inovasi dan scaling up) tidak menghindar dari menilai dimensi kelembagaan internal.

5. Tata Kelola Bank Dunia: Evaluasi diri IEG bahkan lebih membatasi dalam cara menafsirkan mandatnya mengenai evaluasi struktur dan proses tata kelola Bank Dunia (termasuk pendekatannya terhadap suara dan suara anggota, fungsi dewan direksi, pemilihan seniornya manajemen, dll). Ini mempertimbangkan topik-topik ini di luar mandat IEG. Ini sangat disayangkan, karena cara tata kelola Bank berkembang secara substansial akan mempengaruhi legitimasi, efektivitas dan kelangsungan hidup jangka panjangnya sebagai lembaga keuangan internasional. Karena IEG melapor kepada dewan direksi Bank, dan banyak masalah tata kelola melibatkan pertanyaan tentang komposisi, peran, dan fungsi dewan, ada pertanyaan yang valid tentang seberapa efektif IEG dapat melakukan evaluasi semacam itu. Namun, perlu dicatat bahwa Kantor Evaluasi Independen IMF, yang juga melapor kepada dewan direksi IMF, menerbitkan laporan lengkap evaluasi tata kelola IMF pada tahun 2008, yang secara efektif menjawab banyak pertanyaan yang tepat.

6. Sinergi antara Bank Dunia, IFC dan MIGA: Laporan evaluasi diri menunjukkan bahwa reorganisasi internal IEG baru-baru ini bertujuan untuk memastikan evaluasi yang lebih efektif dan konsisten di tiga cabang anggota Grup Bank Dunia. Hal ini disambut baik, tetapi laporan tersebut tidak menilai bagaimana evaluasi sebelumnya menjawab pertanyaan apakah Bank Dunia, IFC dan MIGA secara efektif memanfaatkan potensi sinergi di antara ketiga organisasi tersebut. baru-baru ini evaluasi Tanggapan Kelompok Bank Dunia terhadap krisis ekonomi global 2008/9 memberikan penilaian paralel terhadap kinerja masing-masing lembaga, tetapi tidak membahas apakah mereka bekerja sama secara efektif dalam memaksimalkan sinergi mereka. Kenyataannya adalah bahwa ketiga organisasi tersebut memiliki budaya institusional yang mengakar kuat dan umumnya berjalan dengan cara mereka sendiri daripada mengoordinasikan kegiatan mereka secara dekat di lapangan. Evaluasi masa depan harus secara eksplisit mempertimbangkan apakah ketiganya bekerja sama secara efektif atau tidak. Sementara Bank Dunia unik dalam cara memisahkan sektor swasta dan menjamin operasinya secara organisasi, organisasi bantuan lainnya juga memiliki masalah kurangnya kerjasama, koordinasi dan sinergi di antara unit-unit yang berbeda di dalam badan tersebut. Oleh karena itu, komentar yang sama juga berlaku untuk pendekatan evaluasi mereka.

Kesimpulan

Evaluasi diri adalah alat yang berharga untuk penilaian kinerja dan IEG harus diberi ucapan selamat karena melaksanakan dan menerbitkan evaluasi semacam itu atas kegiatannya sendiri. Adapun semua evaluasi diri, itu harus dilihat sebagai masukan untuk evaluasi eksternal independen, keputusan yang, untuk saat ini, tampaknya telah ditunda oleh dewan direksi Bank.

Evaluasi diri IEG memiliki banyak kekuatan dan memberikan penilaian positif secara keseluruhan terhadap pekerjaan IEG. Namun, hal itu mencerminkan beberapa keterbatasan analisis yang penting dan kesenjangan tertentu dalam pendekatan dan cakupan, yang harus dipertimbangkan secara eksplisit oleh tinjauan eksternal independen, dan yang harus ditangani oleh manajemen IEG. Karena banyak dari masalah ini mungkin juga berlaku untuk sebagian besar pendekatan evaluasi lain oleh kantor evaluasi lain, pelajaran tersebut memiliki relevansi di luar IEG dan Bank Dunia.

reaksi hillary saat kalah dalam pemilihan

Pelajaran utama meliputi:

  • Evaluasi evaluasi harus fokus tidak hanya pada proses, tetapi juga pada isu-isu substantif yang dihadapi lembaga.
  • Evaluasi efektivitas evaluasi harus mencakup penilaian profesional terhadap kualitas produk evaluasi.
  • Evaluasi evaluasi harus menilai:
    o Seberapa efektif evaluasi dampak digunakan;
    o Bagaimana peningkatan intervensi yang berhasil ditangani;
    o Bagaimana pengalaman lembaga lain yang sebanding dimanfaatkan;
    o Apakah dan bagaimana kebijakan internal, praktik manajemen dan insentif lembaga dinilai secara efektif;
    o Apakah dan bagaimana tata kelola lembaga dievaluasi; dan
    o Apakah dan bagaimana koordinasi internal, kerjasama dan sinergi antar unit dalam organisasi dinilai.

Evaluasi memainkan peran penting dalam akuntabilitas dan pembelajaran organisasi bantuan internasional. Oleh karena itu sangat penting bahwa evaluasi mengatasi masalah yang tepat dan menggunakan teknik yang tepat. Jika pelajaran di atas tercermin dalam praktik evaluasi lembaga bantuan, ini akan mewakili langkah maju yang signifikan dalam kualitas, relevansi, dan kemungkinan dampak evaluasi.