MONITORING DAN EVALUASI
PENDIDIKAN KESEHATAN
MASYARAKAT
OLEH
SITI MASFIAH, SKM, M.KES, M.A
STAF PENGAJAR UNIVERSITAS JENDERAL SOEDIRMAN
2013
OUTLINE
O PENGERTIAN MONITORING DAN EVALUASI
O KOMPONEN MONITORING DAN EVALUASI
O PROSES MONITORING DAN EVALUASI
O INDIKATOR DALAM MONITORING EVALUASI
O DESAIN RISET DALAM MONITORING DAN EVALUASI
O MODEL MONITORING DAN EVALUASI
O METODE MONITORING DAN INTERVENSI
O APLIKASI MONITORING DAN EVALUASI DALAM PROGRAM
PENDIDIKAN KESEHATAN MASYARAKAT
PENGERTIAN MONITORING
DAN EVALUASI
O Monitoring is the routine tracking of key elements
of a program or project and its intended outcomes.
It usually includes information from record
keeping and surveys – both population and clientbased.
O Evaluation is a rigorous, scientifically-based
collection of information about program activities,
characteristics, and outcomes that determine the
merit or worth of a specific program. Evaluation
studies are used to improve programs and inform
decisions about future resources allocations.
(WHO, 2012)
PERBEDAAN MONITORING DAN EVALUASI
Aspek
Monitoring
Evaluasi
Tujuan
Melihat kemajuan dalam
pelaksanaan program yang sedang
berjalan
Memberikan gambaran pada
suatu waktu tertentu megenai
suatu program
Fokus
Akuntabilitas penyampain input
program
Dasar untuk aksi perbaikan
Penilaian keberlanjutan program
Akuntabilitas penggunaan
sumber daya
Pembelajaran tentang hal-hal
yang dapat dilakukan lebih
baik dimasa yang akan datang
Cakupan
1. Apakah pelaksanaan sesuai
dengan rencana?
2. Apakah terdapat penyimpangan?
3. Apakah penyimpangan dapat
dibenarkan?
1.
2.
3.
4.
Waktu
Pelaksanaan
Dilaksanakan terus menerus atau
Umumnya dilaksanakan pada
secara berkala selama pelaksanaan pertengahan atau akhir
program
program
Relevansi
Keberhasilan
Efektifitas biaya
Pembelajaran
Mengapa Perlu Monev
O Review perkembangan/progress
O Identifikasi masalah dalam perencanaan
O
O
O
O
dan/atau implementasi
Membantu mengidentifikasi masalah dan
penyebabnya
Memberikan berbagai kemungkinan solusi
dalam menyelesaikan masalah
Mencerminkan tujuan yang akan dicapai dan
bagaimana mencapainya
Meningkatkan kemungkinan dalam membuat
perubahan yang positif
FOKUS MONITOR DAN
EVALUASI
Efisiensi  Pemanfaatan input sesuai
dengan output yang dihasilkan
2. Efektifitas  apakah suatu kegiatan telah
mencapai tujuan yang ditetapkan
3. Impact  apakah yang telah dilakukan
memberikan perbedaan terhadap
masalah yang ingin diselesaikan.
1.
KOMPONEN EVALUASI
1. Evaluasi Proses
2. Evaluasi Outcome
3. Evaluasi Impact
INPUT
PROSES
OUTPUT
OUTCOME
IMPACT
EVALUASI PROSES
O Mengevaluasi proses pelaksanaan program.
O Beberapa hal yang diukur :
O Apakah program sampai pada sasaran yg
telah ditentukan?
O Apa persepsi partisipan terhadap program
O Apakah program berjalan sesuai dengan
yang direncanakan
O Bagaimana kualitas pelaksanaan program?
Evaluasi Outcome
O Mengukur hasil dari program yang telah
dilakukan.
O Ini dapat berupa hasil langsung, jangka
pendek (Direct effect, intermediate effect).
O Contoh :
O Langsung : mengukur jumlah sasaran yang
mendapat edukasi dan informasi.
O Jangka pendek : pelaksanaan service yang
sesuai prosedur, perubahan perilaku.
Impact Evaluation
O Mengukur perbedaan ketika dilaksanakan
program dan ketika tidak dilaksanakan
program.
O Mengukur efek jangka panjang (long term
effect)
O Menjawab seberapa besar perubahan yang
pada populasi terjadi karena pelaksanaan
program.
O Desain penelitian yang teliti dan lebih
kompleks diperlukan dalam evaluasi ini.
INDIKATOR DALAM
MONITORING EVALUASI
O Indikator : variabel yang
mengindikasi/memberi petunjuk tentang
suatu keadaan tertentu, sehingga dapat
digunkan untuk mengukur perubahan
(Green, 1992).
O Core Indicator : Indikator yang disarankan
untuk dipakai secara national.
O Indikator dapat berupa kualitatif indikator
maupun kuantitatif indikator.
INDIKATOR DALAM
MONITORING EVALUASI
Illustrative program monitoring indicators
O Number of outreach events carried out (e.g. workshops conducted,
O
O
O
O
O
O
O
O
O
support group meetings held, drama or street theatre shows )
Number of products distributed (e.g. condoms, lubricant)
Number of stakeholders participating in activities
Number of staff trained (e.g. in outreach, in counselling for
serodiscordant couples, STI treatment)
Number of information contacts (e.g. calls to a hotline, hits on a website,
pamphlets distributed)
Number of services provided (e.g. HIV tests conducted, methadone
doses provided)
Number of project sites (e.g. STI clinics, drug treatment centres, drop-in
centres)
Number of clients contacted (e.g. through outreach, at drop-in centres,
etc.)
Number of clients receiving services (e.g. IDUs in drug treatment, FSWs
screened for STIs)
Number of clients referred to services (e.g. HIV counselling and testing,
HIV treatment services, psycho-social support services)
Basic Program Reporting Considerations
O Key characteristics of individual clients reached by
O
O
O
O
O
O
O
O
program activities (sex, age, target population group,
location, etc)
Types of services delivered
Frequency of services delivered (each visit)
Materials distributed (i.e., brochures, condoms, drugs, or
bandages)
Who delivered services
Training log for staff (topics/curricula, dates, etc.)
Supervision / quality assurance visits for oversight
monitoring (checklists)
Needs assessment (diagnostic) of client; reassess client
needs over time
Financial tracking & expenditures
PROSES MONITORING DAN EVALUASI
• Yakni apa yang akan dimonitor dan dievaluasi
What
How
• Yakni metode dan instrumen yang akan digunakan
dalam mengumpulkan insformasi dan membangun
indikator
Who
• Yakni pihak yang akan melakukan kegiatan monitoring
dan evaluasi, baik itu internal maupun eksternal,
institusi yang akan dilibatkan, dan sebagainya
PROSES MONITORING DAN
EVALUASI
Menetapkan apa yang akan dievaluasi/monitor
1.
O
O
O
Identifikasi program/kegiatan/objek yang akan
dievaluasi
Jelaskan uraian program/kegiatan/objek evaluasi
Tentukan fokus yang menjadi perhatian s.d
informasinya
Menyusun rencana evaluasi
2.
O
O
O
O
O
Menyusun pertanyaan evaluasi
Menetapkan informasi yang diperlukan
Menentukan kreiteria evaluasi
Menentukan bagaimana, dimana, kapan, dari siapa
informasi didapat
Mengidentifikasi hambatan pelaksanaan evaluasi
PROSES MONITORING DAN
EVALUASI
3.
Pengumpulan data
O
O
O
4.
Analisis dan presentasi data
O
O
5.
Identifikasi infrmasi
Instrumen
Pilot test untuk menguji informasi
Metode analisis dan presentasi data
Kesimpulan
Pengambilan keputusan
O
O
Pilihan rekomendasi
Pertanyaan-pertanyaan tersebut adalah (Ojha,
1998):
SUMBER DATA
O Laporan program
O Survey masyarakat/populasi,
O Survey fasilitas
O sero-survey
O Penelitian terkait
Tipe Evaluator
1.
Evaluator Internal
O
2.
Evaluator Eksternal
O
O
3.
Menyatu dengan obyek yang dievaluasi
Punya kredibilitas yang lebih tinggi dan keahlian yang
lebih spesifik
Tidak terikat dengan keputusan2 administratif dan
keuangan
Evaluator Partisipatif
O
O
Wakil dari pemerintah dan stakeholder (termasuk
penerima manfaat) bekerjasama dalam merancang
dan melaksanakan evaluasi.
Metode partisipatif memungkinkan digunakan dalam
evaluasi internal dan eksternal.
Evaluasi Internal dan Eksternal
Evaluator
Evaluator
internal
Kelebihan
-
Evaluator
Eksternal
-
Kekurangan
Evaluator cukup mengenal
dengan lingkungan yang
dievaluasi
Beberapa responden lebih
mudah digali informasinya oleh
orang dalam daripada orang luar
Biaya lebih rendah dibanding
eksternal
-
Evaluasi dapat lebih objektif
Evaluator memiliki kemampuan
dan ketrampilan lebih dalam
bidang evaluasi
Beberapa responden lebih
mudah digali informasinya oleh
orang luar
Menggunakan evaluasi eksternal
dapat memberikan kredibilitas
lebih terhadap hasil temuan
-
-
-
Objektifitas tim evaluasi thd
hasil evaluasi mungkin
dapat dipengaruhi berbagai
kepentingan
Tim evaluasi mungkin
kurang terlatih atau
memiliki kemampuan
dalam bidang evaluasi
Evaluasi ekstenal dapat
memakan biaya yang besar.
Evaluator eksternal
mungkin salah mengerti
keinginan kita terhadap apa
yang ingin dievaluasi
Kode Etik Pendidikan Kesehatan
O respect for human dignity and rights
O respect for individual and family independence
O client full consent
O confidentiality
O nondiscrimination or stigmatization
O equity in access, coverage and service delivery
O respect for cultural values and cultural diversity
O refraining from conflict of interest, particularly
commercial interest
O integrity and good personal conduct.
(WHO, 2012)
DESAIN RISET DALAM M&E
O Experimental
O Quasi-Experimental
O Survei
O Etnographic
O Historikal
O Deskriptif
O Study Case
O Studi Korelasi
O Action Research (participatory Monitoring and
evaluation)
Isaac, S., Michael, W., 1981, Chapman & Hall, 1991)
Experimental
O Experimental method is the design which
gives the evaluator the greatest degree of
control over outside influences.
O Metode experimental yang sederhana
menggunakan 1 group intervensi
(experimen) dan 1 group yang tidak di
berikan intervensi.
O Penentuan group dilakukan/dipilih secara
acak/random.
Contoh M&E PKM dengan
Experimental
O Evaluasi efektifitas pendidikan kesehatan
berbasis sekolah untuk peningkatan
aktivitas olah raga siswa (USA)
O Sekolah dipilih secara acak untuk menjadi
kelompok intervensi dan kelompok yang
tidak mendapat intervensi (control).
Group
Experiment
Post test
treatment
New fitness and health
program
Amount of exercise
taken
Control
Usual PE dan sport lesson only
Amount of exercise
taken
Quasi-Experimental
O Eksperimen yang dilakukan tanpa randomisasi, tetapi
menggunakan kelompok kontrol
O Non Randomized Pretest-Posttest Control Group Design
O Desain ekperimen yang dilakukan dengan pretes dan post
test, dan mempunyai kelompok kontrol dan eksperimen
yang ditentukan dengan cara non random
O Non R
O1
X
O2
Non R
O3
O4
Contoh M&E PKM
Quasi-Experimental
O Monitoring dan Evaluasi Implementasi
Program COMBI ( Communication for
Behavioral Impact) dalam pencegahan
kasus Flu burung di Jawa Tengah
COMBI
O Gambaran Program :
O COMBI : didanai oleh WHO, Kemenkes, FAO
O Tujuan umum : menurunkan angka kematian
dan kesakitan akibat flu burung di jawa
tengah
O Tujuan khusus:
O Setiap orang yang memiliki demam / sakit
tenggorokan / gejala mirip flu harus pergi
pelayanan kesehatan dalam waktu 24 jam
O Setiap unggas yang mati mendadak harus
dilaporkan ke pihak terkait
COMBI
O 5 Strategi COMBI:
1.
2.
3.
4.
5.
advokasi sosial
Mobilisasi sosial / masyarakat
Iklan dan promosi masiv (radio spot, koran,
majalah)
Personal selling (komunikasi interpersonal);
school ambassador
Membangun pusat pelayanan promosi
kesehatan
Evaluasi dan Metode yang digunakan
O Evaluasi Proses
O Kuantitatif : Media Tracking Survey, Card Clinic
Survey
O Kualitatif : FGD, wawancara mendalam
O Evaluasi impact
O Baseline and Enline Study dengan Non Randomized
Pretest-Posttest Control Group Design.
1.
2.
3.
4.
District reported avian Influenza cases in Human and
poultry (1 district)
District reported avian Influenza cases only in Human
(1 district)
District reported avian Influenza cases only in poultry
( 1 district)
District with no cases of avian influenza both in
human and poultry (1 district)
O Intervensi : kabupaten di jawa tengah, kontrol
kabupaten di yogjakarta
The Plan of schedule and activities of M & E Avian Influenza COMBI program
Des ‘11
July’12
Jan ‘12
Agustus’12
- - - - - - - - - - - - - - - - ------------------F--------------------M-----------------A---------------M-----------------J---------------------------------- - - - - - - - - - - - - - - - End line data:
Baseline data:
a. Quantitativ
e survey:
1. Popula
tion
b. Interview
(Impact
data)BSBH,
HICDARM)
c. FGD
(Impact
Data)
Media Tracking Survey
(1times/district):
- Target : Population
- Goal : measure media
exposure intensity
- Start on June and
continues by following
time
Qualitative study (1 times)
1. (FGD, Interview)
- Target : Student
ambassadors, Health
officer, community leader
- Goal: process data
2. In-depth Interview
- Target: population (10ps;
people who get exposure
from the media)
- Goal: impact and process
data
-
-
Clinic survey
(6times):
Using Card, 3 key
questions
Per month
collecting data to
know the trend.
a. Quantitativ
e survey:
1. Popula
tion
b. Interview
(Impact
data)
c. FGD
(Impact
Data)
Indikator yang digunakan
No
Element
Description
Indicator
1.
Output



Immediate response
Percentage person who has fever or Influenza
to Avian Influenza
Likes Illness (ILI) who immediately response to
symptoms in Human
go to health facilities within 24 hour.
Immediate report

when having sudden
Percentage person who has sudden dead and sick
chicken report to the officers
dead and sick chicken
2.
Process
Build capacity of Avian
-
Influenza COMBI
Total number of health officer trained in COMBI
program
program in central java
Advocacy and public
-
relation
Total number of governor staff and other
institutions staff involved in COMBI advocacy
meeting
-
Proportion of governor staff and other
institutions staff who support the COMBI
program
Indikator yang digunakan
Process
Community mobilization
-
Total number of community leader involved and
socialized in COMBI program
-
Total number of local resources (local
organizations) involved in COMBI program
Advertising
-
Total number (times) of press conference
conducted to support COMBI program
-
Total number of press release spread to inform
about COMBI program
-
Total number (times) of radio call in conducted
to support COMBI program
-
Total number (times) of TV call in conducted to
support COMBI program
-
Total number (times) of radio spot conducted to
support COMBI program
-
Total number of people exposed by media and
disseminate to other people
Indikator yang digunakan
Process
Personal Selling
- Total number of students ambassador involved
in COMBI program
- Total number of population exposed by the
student ambassadors and disseminate to other
people
Point of service
-
promotion
Total number of poster design produce to
support COMBI program
-
Total number of poster design spread to support
COMBI program
3.
Input
Resources
- Total number of people exposed by poster, etc
Total number of PHO involved in COMBI program
Action Research (participatory
Monitoring and evaluation)
O UDWDP Monitoring Project
(Uttraranchal Decentralizad Watersheed
Development Project)
METODE MONITORING
DAN INTERVENSI
O Wawancara
O Wawancara mendalam
O Focus Group Discussion
O Observasi
O Angket
O Telaah data (Desk Review)
M & E dalam Pendidikan
Kesehatan Masyarakat
O Monitoring dan evaluasi EHCP
(Essensial Health Care Program)
TUGAS
O Analisis Pendidikan Kesehatan Masyarakat
pada Program Penanggulangan Penyakit di
Indonesia
O Penyakit : Penyakit Menular & Penyakit
Tidak Menular
Susunan
1.
Pendahuluan
a. Perkembangan Penyakit X di Indonesia
b. Sejarah Penaggulangan Penyakit X di
Indonesia
2.
Pendidikan Kesehatan Masyarakat pada Program
Penanggulangan Penyakit X di Indonesia
Susunan
3. Evaluasi PKM (Y) pada Program
Penanggulangan Penyakit X di Indonesia
Evaluasi Proses
b. Evaluasi Outcome
c. Evaluasi Impact
a.
4. Kesimpulan
•
•
Lakukan Analisis dengan
melihat tujuan program,
indikator keberhasilan dan
asumsi-asumsinya
Posisikan penulis sebagai
evaluator external
Presentasi
O Waktu presentasi : 20 menit (Presentasi dan
tanya jawab)
O Jadwal Presentasi : Minggu 13 penyakit
menular, minggu 14 penyakit non menular
O Paper dikumpulkan h-2 presentasi
TERIMAKASIH