PENGEMBANGAN INSTRUMEN ASESMEN PERFORMANS KARYA SENI LUKIS ANAK SEKOLAH DASAR Dr. Tri Hartiti Retnowati UNIVERSITAS NEGERI YOGYAKARTA e-mail: tri_hartiti@yahoo.com (Makalah Hasil penelitian) ABSTRACT This study aim at developing an assessment specification for children’s painting in elementary schools by developing a valid and reliable assessment instrument to measure the performance of children’s painting. The development of this assessment instrument was intended to guide the painting teachers in elementary schools in carrying out assessment objectively. This study is a development research which uses quantitative and qualitative approaches. The development process was carried out in five phases, covering initial study, defining, designing, developing, and dissemination phases. The subjects of this study were elementary schools’ teachers and pupils in the first grade to third grades and painting teachers in Muhammadiyah Sapen Yogyakarta elementary school, MIN (Islamic State Elementary School) Tempel, and Langen Sari Yogyakarta elementary school. The construct of the instrument consisting of instrument for process, product, self, and group assessment, was developed based on the suggestion of art education experts, children’s art painting experts, evaluation experts, and painting experts. The reliability coefficient of the assessment instrument was computed based on generalizeability theory developed by Crick and Brennan consisting of G (generalized study) and D (decision study) theories with the variance of person, rater, item, person rater interaction, and error components using Genova computer package program, and interrater Cohen’s Kappa fomula. The validity evidence is obtained through three focus group discussions and one seminar. The average of cofficients genova is 0.71 and the average of Cohen’s Cappa is 0.73, this value are higher than the minimum criteria, 0.70. Keyword: Children’s painting, reliability , generalizeability theory, G (generalized study), and D (decision study). 1 PENGEMBANGAN INSTRUMEN ASESMEN PERFORMANS KARYA SENI LUKIS ANAK SEKOLAH DASAR BAB I A.Pendahuluan 1. Latar Belakang Masalah Pendidikan seni bertujuan mengembangkan kedewasaan diri anak didik yang utuh dan seimbang dengan cara memberikan perlakuan yang dapat merangsang kepekaan estetik dan kreativitas peserta didik. Dengan demikian untuk mencapai tujuan tersebut diperlukan pengembangan estetik melalui pendidikan seni. Dalam Peraturan Pemerintah No 19 tahun 2005 (PP Nomor 19, 2005) tentang standar nasional pendidikan, masalah kepekaan estetik memperoleh penekanan dalam pengembangan kemampuan peserta didik melalui kelompok mata pelajaran estetika. Pada peraturan ini, kelompok mata pelajaran estetika yang harus dipelajari peserta didik mempunyai arah pengembangan untuk meningkatkan: (1) sensitivitas, (2) kemampuan mengekspresikan, dan (3) kemampuan mengapresiasi keindahan dan harmoni. Kemampuan mengapresiasi dan mengekspresikan keindahan serta harmoni mencakup apresiasi dan ekspresi, baik dalam kehidupan individual sehingga mampu menikmati dan mensyukuri hidup, maupun dalam kehidupan kemasyarakatan sehingga mampu menciptakan kebersamaan yang harmonis (BSNP, 2006: 78-79). Kegiatan melukis bagi anak-anak seusia anak sekolah dasar merupakan kegiatan naluriah dan menjadi kesenangan anak karena muncul atas desakan perkembangan emosi artistik yang bersifat kodrati. Melukis bagi anak-anak merupakan aktivitas psikologis dalam rangka mengekspresikan gagasan, imajinasi, perasaaan, emosi, dan /atau pandangan anak terhadap sesuatu. Anak melukis adalah menceritakan atau mengungkapkan (mengekspresikan) sesuatu yang ada pada dirinya secara intuitif dan spontan lewat media seni lukis (Soesatyo, 1994: 31). Pada Kurikulum Tingkat Satuan Pendidikan (KTSP), mata pelajaran Seni Budaya dan Keterampilan, disebutkan bahwa mengekspresikan diri melalui karya gambar ekspresif dan mengekspresikan diri melalui gambar imajinatif, dilaksanakan pada kelas satu semester dua, kelas dua semester satu dan semester dua, juga kelas tiga semester dua. Dalam konteks pendidikan, seorang pendidik harus mempunyai pengetahuan dan pemahaman tentang makna karya seni lukis bagi peserta didik. Pengetahuan dan pemahaman ini diperlukan agar pendidik mampu memberikan bimbingan dan menilai 2 hasil belajar karya peserta didik . Hal ini sesuai dengan kompetensi yang dituntut sebagai seorang guru yaitu menyelenggarakan penilaian dan evaluasi proses dan hasil belajar. Penilaian proses antara lain melalui pengamatan terhadap perubahan perilaku dan sikap untuk menilai perkembangan kompetensi peserta didik (PP Nomor 19, 2005). Penelitian ini didasarkan pada asumsi bahwa pemahaman guru-guru terhadap hakekat pendidikan seni terutama pelaksanaan pembelajaran seni lukis sekolah dasar belum mantap sehingga mereka cenderung membimbing secara tidak tepat dan menilai secara subjektif. Karena kurangnya pemahaman tersebut, guru kurang berani dalam menilai karya anak. Dengan demikian masalah subjektivitas menjadi masalah yang tidak dapat dihindari dalam penilaian karya lukis anak. Subjektivitas dalam penilaian karya seni lukis anak pada dasarnya disebabkan oleh kesulitan guru dalam menentukan kriteria penilaian, padahal pelajaran melukis bagi anak-anak adalah pelajaran yang menyenangkan. Untuk memecahkan permasalahan penilaian proses dan produk tersebut perlu digunakan pendekatan penilaian yaitu performance assessment. Subjektivitas dalam penilaian karya seni lukis anak pada dasarnya disebabkan oleh kesulitan guru dalam menentukan kriteria penilaian padahal pelajaran melukis bagi anak-anak adalah pelajaran yang menyenangkan. Hal ini diakui oleh dua puluh orang guru yang dapat ditemui dalam studi awal penelitian ini. 2. Rumusan Masalah Masalah penelitian ini dapat dirumuskan sebagai berikut: 1. Bagaimana spesifikasi instrumen penilaian asesmen performan karya seni lukis anak di sekolah dasar? 2. Bagaimana karakteristik instrumen penilaian asesmen performan karya seni lukis anak yang mencakup validitas, reliabilitas, dan keterpakaian di sekolah dasar? 3. Tujuan Penelitian Tujuan penelitian ini adalah untuk: 1. Mengembangkan spesifikasi instrumen penilaian asesmen performan karya seni lukis anak di sekolah dasar. 2. Menentukan kriteria penilaian asesmen performan karya seni lukis anak di sekolah dasar. 3 4. Ruang Lingkup Penelitian : Asesmen karya seni lukis anak B. Kajian Teori 1. Pengertian Seni Lukis Seni lukis merupakan bagian dari bidang seni rupa murni yang berwujud dua dimensi, sehingga seni lukis merupakan karya yang terlepas dari unsur-unsur kegunaan praktis. Lebih jelas lagi seni lukis merupakan suatu pengucapan pengalaman artistik seseorang yang dicurahkan ke dalam bidang dua dimensi dengan menggunakan garis, warna, bidang, dan tekstur. Karya seni lukis yang juga sering disebut dengan lukisan, umumnya dibuat di atas kain kanvas berpigura dengan bahan cat minyak, cat akrilik, atau bahan lainnya. Objek dan gaya lukisan sangatlah beragam. Karya seni lukis bergaya naturalis (potret) dibuat persis seperti objek aslinya, seperti pemandangan alam, figur manusia, binatang, atau benda lainnya. Karya lukis bergaya ekspresionis (penuh perasaan) memiliki objek benda atau figur yang dibuat dengan garis dan warna yang bernuansa emosi pelukisnya. Lukisan bergaya abstrak berasal dari khayalan kreatif senimannya, bentuknya tidak nyata, tersamar, bahkan kurang dimengerti oleh orang awam, tetapi mengandung berbagai alternatif rupa yang baru (Sachari, 2004: 10). Dalam pembuatan sebuah karya seni lukis, ada beberapa hal yang perlu diperhatikan, yaitu elemen seni lukis (garis, bidang, ruang, tekstur, warna, dan kaidahkaidah komposisi. 2. Seni Lukis bagi Anak Usia Sekolah Dasar a. Seni Lukis sebagai Cerminan Isi Jiwa Mencermati lukisan anak dan cara mereka menggambarkan lingkungannya, dapat memberikan suatu pandangan tingkah laku dan apresiasi pertumbuhan dan perkembangan bervariasi yang dialami anak. Dengan lukisan anak dapat dibaca jiwa dan kehidupan anak-anak yang bersifat polos. Goresannya spontan dan bebas: miring kesana kemari. Penggunaan warna sesuai dengan suasana hatinya, sangat berani: merah kuning, biru, hitam dan seterusnya. Apa yang dituangkan dalam tema lukisannya adalah apa yang dilihatnya sesuai dengan lingkungan hidup yang nyata dan khayalnya, sesuai dengan “kacamata” anak. Dalam proses melukis, anak tidak ada rasa takut. Kegiatan seni di samping penting bagi perkembangan kognitif juga memberikan rangsangan bagi pertumbuhan persepsi, emosional, social, dam krativitas anak. Dengan kegiatan ini perlu diketahui 4 apa yang dapat dikembangkan pada diri anak secara maksimal, karena lukisan anak itu sendiri mencerminkan segi kejiwaan anak. Peran pendidikan seni yang multi dimensional pada dasarnya dapat mengembangkan kemampuan dasar manusia, seperti fisik, perceptual, intelektual, emosional, social, kreativitas, dan estetik (Lowenfeld, 1982) Demikian juga pada multiple intelegences Gardner’s yang membagi karakteristik kecerdasan menjadi sembilan jalur yaitu: verbal/linguistic, interpersonal, visual/spasial, logical/mathematical, naturalist, kecerdasan spiritual, yang dapat diterapkan pada lukisan anak-anak. Dalam kegiatan melukis, akan terlihat keterlibatan segi kejiwaan anak sehingga mencerminkan kondisi kejiwaan anak. b. Ciri Seni Lukis Anak Anak berbuat dan berkarya atas dasar daya nalar anak. Mereka mengungkapkan pikiran dan perasaan dalam ujud karya seni rupa atau lukisan tanpa terbatas pada apa yang terlihat dengan mata kepala saja, melainkan lebih pada apa yang mereka mengerti, pikirkan atau khayalkan. Perkembangan menggambar anak menurut Ricci (1960: 302307): The child starts drawing with an “interlacing network of lines” and then moves on to simple representational foms which become more detailed with age. He recognized in these simple forms that the child draws a description of the subject according to his knowledge of that subject and not according to its visual appearance. Dengan demikian anak menggambar mulai yang paling sederhana yaitu dengan garis-garis dan berkembang menjadi bentuk-bentuk yang representasional dan detail sesuai dengan perkembangan usia sesuai dengan pengetahuannya sendiri bukan menurut penampakan visual. Banyak sedikitnya unsur pada lukisan sangat tergantung pada keasyikan pemikiran dan fantasinya, lebih banyak yang akan mereka ceritakan maka lebih banyak pula bentuk yang akan dimunculkannya. Dengan penalaran anak wajar dan spontan maka hasilnya tampak sungguh naif. Ungkapan pribadinya muncul melalui bentukbentuk dengan makna simbolik tertentu, intuitif, dan lebih dekat pada sifat bermain. Selanjutnya, sesuai pendapat para ahli (Lansing, 1976: 138-139), perkembangan gambar anak pada dasarnya dapat disederhanakan menjadi tiga tahap pokok: (1) tahap coreng-moreng (umur dua sampai empat tahun), (2) tahap figurative 5 (umur tiga sampai dua belas tahun), dan (3) tahap keputusan artistic (umur dua belas tahun ke atas). c. Seni Lukis sebagai indikator gambar ekspresi dalam KTSP Dalam kurikulum KTSP, mata pelajaran Seni Budaya dan Keterampilan adalah nama dari kelompok mata pelajaran estetika yang dilaksanakan pada tingkat sekolah dasar. Dalam Peraturan Pemerintah Nomor 19 (Peraturan Pemerintah, 2005) disebutkan tujuan mata pelajaran Seni Budaya dan Ketrampilan adalah untuk meningkatkan sensitifitas, kemampuan mengekspresikan dan kemampuan mengapresiasi keindahan dan harmoni. Dalam mata pelajaran tersebut, dua kegiatan yang saling terkait satu sama lain yaitu apresiasi dan kreasi, termasuk di dalamnya yang bersifat rekreatif (performance). Kegiatan apresiasi, dimaksudkan melatih perkembangan kepekaan rasa estetik peserta didik. Peserta didik berperan sebagai pengamat yang menghayati gejala keindahan yang ada dalam karya seni kemudian menanggapinya. Dalam hal ini tentunya keterlibatan intelektual dan pengalaman estetik peserta didik sangat berperan. Kegiatan kreasi mempunyai makna menciptakan karya seni yang baru, sedangkan rekreasi menampilkan/menggelar karya seni. Pada kegiatan ini peserta didik secara aktif menghasilkan suatu karya seni (lukisan, ilustrasi, relief, dan sebagainya)). Dalam hal ini keterlibatan intelektual peserta didik sangat dominan. Misalnya dalam pembuatan karya seni lukis dikenal adanya aspek bentuk yang diubah menjadi struktur. Hal ini memerlukan kerja intelektual. Jacques Maritain dalam Sumardjo (2000: 51) menyebutkan adanya ekspresi intelektual yang diperlukan untuk mengubah bentuk menjadi struktur. Standar Kompetensi dan Kompetensi Dasar mata pelajaran Seni Budaya dan Kerajinan Sekolah Dasar berdasarkan Kurikulum Tingkat Satuan Pendidikan 2006 yang meliputi kegiatan apresiasi dan kreasi. Pada kompetensi dasar disebutkan bahwa mengekspresikan diri melalui karya gambar ekspresif dan mengekspresikan diri melalui gambar imajinatif, dilaksanakan pada kelas satu semester dua, kelas dua semester satu dan semester dua, juga kelas tiga semester dua. 3. Karakteristik Penilaian dalam Pendidikan Seni 6 Penilaian seni lukis anak meliputi penilaian proses dan penilaian hasil atau produk. Dengan demikian untuk memecahkan permasalahan penilaian proses dan hasil karya peserta didik tersebut perlu digunakan pendekatan penilaian yaitu performance assessment. Dengan melakukan kegiatan asesmen dapat diketahui perubahan yang terjadi pada anak didik. Sedangkan penilaian kinerja (performance assessment) menurut Berk sebagai berikut: performance assessment is the process of gathering data by systematic observation for making decisions about an individual (Berk, 1986: ix). Ada lima unsurunsur kunci dalam definisi yang dikemukakan oleh Berk, yaitu: 1. Performance assessment is a process, not a test or any single measurement device. 2. The focus of this process is data gathering, using a variety of instruments and strategies. 3. The data are collected by means of systematic observation. 4. The data are integrated for the purpose of making specific decisions. 5. The subject of the decision making is the individual, usually an employee or a student, not a program or product reflecting a group’s activity. (Berk, 1986: ix). Selanjutnya Berk mengatakan bahwa dalam Performance assessment selalu terkait dengan adanya rubrik penilaian yang merupakan bagian dari Performance assessment: Subsumed under the rubric Performance assessment are a host of other related terms that are often used synonymously with it. Melengkapi pendapat tersebut, Zainul (2005: 4) menyatakan bahwa asesmen kinerja secara sederhana didefinisikan sebagai penilaian terhadap proses perolehan, penerapan, pengetahuan dan ketrampilan, melalui proses pembelajaran yang menunjukkan kemampuan peserta didik dalam proses dan produk. a. Penilaian Proses Karya Seni Lukis Tujuan penilaian proses karya adalah untuk mengamati kompetensi peserta didik dalam berkreasi membuat karya seni lukis. Menurut Conrad (1964: 271) the processes of evaluation help to build guides and to define and clarity the purposes and accomplishments of the educational processes.In art education, the evaluation prosesses are natural parts of art activity.Karena proses penilaian membangun bimbingan terhadap peserta didik dan memperjelas tujuan dan pemenuhan dalam proses pembelajaran, maka penilain proses sangat diperlukan apalagi proses penilaian merupakan bagian yang alami dari aktivitas seni. Sesungguhnya kemampuan-kemampuan peserta didik yang dikembangkan dalam pendidikan seni rupa lebih banyak dalam bentuk penampilan yang sulit diukur dengan tes, yaitu terutama penampilan-penampilan peserta didik dalam aspek afektif 7 dan psikomotorik. Dengan instrumen teknik non tes akan diperoleh data akurat dengan tidak kehilangan aktivitas yang dilakukan oleh peserta didik. Non tes digunakan tatkala pengertian evaluasi tidak sekedar identik dengan testing tetapi mempunyai pengertian yang lebih luas yaitu suatu proses penentuan nilai-nilai fenomena-fenomena yang secara edukasional relevan (Eisner, 1972: 204). b. Penilaian produk karya seni lukis Pada prinsipnya tujuan penilaian produk seni lukis adalah untuk melihat kompetensi peserta didik dalam membuat karya cipta seni lukis. Dalam hal ini pendidik memfokuskan perhatiannya pada hasil karya lukis yang diciptakan oleh peserta didik yang tentunya tidak terlepas dari proses penciptaannya. Oleh karena itu kegiatan penilaian memerlukan kriteria. Conrad (1964: 271) menjelaskan bahwa: Evaluation criteria are not rigid. New criteria must be formulated for each group of children because children are constantly growing and changing in their thinking, their abilities, and their knowledges. The processes of evaluation help to build guides and to define and clarity the purposes and accomplishments of educational processes. Dengan demikian penetapan kriteria harus disesuaikan dengan perkembangan usia anak dan kriteria tidak bersifat kaku. Kriteria untuk melakukan penilaian produk karya seni lukis cukup sulit karena adanya keragaman cara pandang terhadap karya seni. Salah satunya pendapat Aspin dalam Ross (1982: 66) yang menyatakan bahwa: Work of art is correctly described as “unique particulars”, but the description prompts the question: how can something which is unique generate criteria for evaluating other unique objects? Sifat unik ini mempunyai sifat satu-satunya dan hanya berlaku untuk karya tersebut sehingga sulit menerapkan kriteria yang sama untuk menilai karya yang lain. Perdebatan-perdebatan yang sering terjadi karena perbedaan pemahaman, meminjam dari penilaian kritik, Pepper (1973: 451) berpendapat bahwa bisa saja perbedaan yang terjadi disebabkan oleh pandangan kontekstual yang tidak sama, karena masing-masing kepentingan tidak ada titik temu. Disini penilaian dapat dilihat sebagai suatu proses intersubjektif, dan setiap proses intersubjektif selalu mendatangkan konflik. Namun demikian, Heyfron (1986: 56) berpendapat bahwa: … that the arts are not fundamentally different from other subjects in the curriculum (e.g. science) and that a high degree of consensus about criteria appropriate for judging art work is not only conceptually consistent with the 8 notion of art, but also practicably desirable. It contends that judgements about the merits of art work can be justified with reference to publicly agreed criteria. Hal ini menunjukkan bahwa penilaian dari suatu pekerjaan seni tidak hanya konsisten secara konseptual tetapi diperlukan juga praktisnya. Baik buruknya pekerjaan seni dibenarkan dengan adanya referensi dari kriteria-kriteria yang disetujui oleh khalayak umum. Lebih jauh lagi dalam dokumen APU (“Aesthetic Development”, 1983: 5) menyebutkan bahwa: What matters most in the arts as in science, is that judgements and interpretations should be informed with considerable consensus about the criteria to be applied when determining quality. Dengan demikian pada waktu menentukan kualitas karya diperlukan kriteria-kriteria yang merupakan konsensus dan sudah dipertimbangkan terlebih dahulu. 4. Validitas dan Reliabilitas Instrumen Pengukuran Validitas dan reliabilitas merupakan hal utama yang harus dipenuhi untuk menentukan kualitas suatu instrumen penilaian. a. Validitas Validitas instrumen dapat dimaknai sebagai ketepatan dalam memberikan interpretasi terhadap hasil pengukurannya. Sesungguhnyalah persoalan validitas instrumen berhubungan dengan pertanyaan, apakah suatu instrumen mampu menggambarkan ciri-ciri, sifat-sifat, atau aspek apa saja yang akan diukur, sesuai dengan keadaan yang sebenarnya. Relevans dan accuracy, adalah dua makna yang terkandung dalam konsep validitas. Relevans menunjuk pada kemampuan instrumen untuk memerankan fungsi untuk apa instrumen dimaksudkan. Sedangkan accuracy menunjuk pada ketepatan instrumen mengidentifikasi aspek-aspek yang akan diukur secara tepat, menggambarkan keadaan yang sebenarnya. Secara umum terdapat tiga macam validitas, yaitu validitas konstruk (construct validity), validitas isi (content validity), dan validitas criteria (criterion-related validity). (Kerlinger, 2000: 686; Babbie, 2004: 144-145). Validitas konstruk menunjuk pada sejauh mana instrumen yang disusun mampu menghasilkan butir-butir pertanyaan yang dilandasi oleh konsep teoritik tertentu. Validitas konstruk disusun berdasarkan pada konsep teori yang sudah mapan dan pertimbangan-pertimbangan yang rasional. Untuk memantapkan validitas konstruk dibutuhkan expert judgment yaitu masukan, 9 pertimbangan, dan kritik dari para ahli terkait. Validitas isi berhubungan dengan kemampuan instrumen untuk menggambarkan secara tepat domain prilaku yang diukur. Ada dua makna dalam validitas isi yaitu, validitas butir dan validitas sampling. Validitas isi berhubungan dengan pertanyaan seberapa jauh butir-butir instrumen mencerminkan keseluruhan isi dari aspek yang hendak diukur. Langkah selanjutnya pada validitas isi adalah menjabarkan dalam aspek yang terperinci selanjutnya didiskripsikan indikatorindilkatornya. Selanjutnya dimintakan pertimbangan kolega atau ahli yang berkompeten melalui forum diskusi antar ahli (focus group discasion), untuk memperoleh masukan, saran, kritik, dan evaluasi guna menyempurnakan instrumen yang disusun. Berdasarkan uraian di atas, dapat ditarik suatu pengertian bahwa untuk pengembangan afektif dapat digunakan semua jenis validitas atau salah satu jenis validitas. Pada penelitian ini digunakan validitas isi dan validitaas konstruk. b. Reliabilitas Reliabilitas instrumen menunjukkan tingkat kestabilan, konsestensi, keajegan, dan atau kehandalan instrumen untuk menggambarkan gejala seperti apa adanya. Secara konsep instrument yang reliabel adalah apabila digunakan terhadap subjek yang sama akan menunjukkan hasil yang sama, walaupun dalam waktu dan kondisi yang berbeda. Salah satu pendekatan dasar untuk mengukur reliabilitas adalah stabilitas. Stabilitas diperoleh dengan mengkorelasikan skor siswa dari dua kali pelaksanaan tes, menggunakan korelasi intraklas (interclass correlation). Penggunaan korelasi intraklas dimaksudkan untuk memberikan indeks mengukur kesamaan pasangan skor dalam hubungannya dengan variabilitas total dari seluruh skor (Fernandes, 1984:35). Cara lain untuk menilai reliabilitas adalah dengan menggunakan teknik intereter yaitu, dua peneliti menggunakan alat ukur yang sama untuk mengukur kemampuan seseorang kemudian hasil pengukuran tersebut dikorelasikan. 10 C. Metode penelitian 1. Model Pengembangan Penelitian ini merupakan penelitian pengembangan yang menggunakan pendekatan kuantitatif dan kualitatif. Penelitian pengembangan digunakan untuk menghasilkan instrumen yang baku dalam menilai karya lukis anak. Pendekatan ini digunakan, karena pengembangan instrumen penilaian seni lukis anak harus dimulai dengan membangun konstruk yang diukur. Konstruk instrumen penilaian ini merupakan “tingkat meteran” (yard stick) karya seni lukis anak. Instrumen penilaian seni lukis anak, sesuai dengan Standard for educational and psychological testing (1999) harus memiliki bukti validitas interpretasi hasil pengukuran. Konsep validitas bersifat “unity concept” yang dibangun dari teori yang melandasi konsep pengembangan, instrumen, dan bukti empirik . Bukti validitas harus memiliki validitas interpretasi hasil pengukurannya. Bukti validitas interpretasi hasil pengukuran instrumen penilaian karya seni lukis anak memerlukan data kualitatif dan kuantitatif. Data kualitatif yang diperlukan merupakan landasan teoritis bangunan konstruk instrumen, yang pengumpulannya dimulai sejak awal pengembangan konstruk, melalui berbagai penelusuran dan diskusi pakar seni lukis dan pendidikan sen lukis, termasuk praktisi seni lukis dan guru seni lukis di sekolah dasar. Data kuantitatif yang berupa hasil penilaian pendidik terhadap karya lukis anak diperlukan untuk memperoleh informasi tentang besarnya koefisien keandalan hasil ukur instrumen. Kriteria pengembangan konstruk instrumen mencakup aspek proses dan hasil karya lukis anak. Setiap aspek diurai menjadi sejumlah indikator. Setelah indikator disusun menjadi item yang dirakit menjadi instrumen utuh. Instrumen diujicobakan kepada sejumlah pendidik agar dapat diketahui keterpakaiannya dan diestimasi koefisien reliabilitas hasil ukurnya. Sesuai dengan tujuannya, penelitian ini menggunakan modifikasi model Semmel & Semmel dengan model Plomp, yaitu dimulainya dengan tahap preliminary investigation yang dikemukakan oleh Plomp dan research & development menurut Semmel (1974:5). Tahapan pengembangannya meliputi: define, design, develop, dan dissemination atau yang dikenal dengan 4D. Pada tahap define, kegiatan yang dilakukan adalah merumuskan definisi konstruk, dalam hal ini adalah kriteria karya lukis anak, dan mengkaji konsep instrumen 11 karya lukis anak berdasarkan teori dan hasil penelitian yang relevan. Kegiatan yang dilakukan tahap design adalah telaah konstruk instrumen oleh para pakar dan guru sekolah dasar seni budaya (seni lukis). Tahap develop, kegiatan yang dilakukan adalah mengembangkan indikator, deskripsi, kriteria, dan penyusunan item instrumen. Terakhir, tahap dissemination, kegiatan yang dilakukan adalah uji coba instrumen terhadap guru sekolah dasar. Pengujian konstruk instrumen dilakukan melalui pendapat para pakar bidang seni lukis, pakar bidang penilaian pendidikan, dan para praktisi lapangan. Pertemuan dengan kelompok yang berbeda dilakukan tiga kali untuk memperoleh masukan yang lebih banyak sehingga diperoleh hasil yang dapat diandalkan. Secara rinci model pengembangan instrumen disajikan pada Gambar berikut ini Research & Develepment Model Identifikasi kebutuhan alat penilaian seni lukis Elaborasi kebutuhan alat penilaian seni lukis yang relevan P.INVEST DEFINE Merumuskan definisi konstruk instrumen Mengkaji konsep instrumen karya lukis anak berdasarkan teori DESIGN N Penentuan konstruk instrumen Telaah konstruk oleh pakar Mendesain konstruk instrumen Pengembangan indikator Penyusunan item instrumen Telaah item instrumen Perbaikan instrumen Uji coba instrumen Analisis instrumen Pembakuan instrumen FGD Sosialisasi instrumen karya lukis anak DEVELOPE DISSEMINATE Model Pengembangan Instrumen Penilaian Seni Lukis Anak 12 2. Subjek Penelitian Subjek penelitian adalah peserta didik yang terdiri dari tiga sekolah, Sekolah Dasar Muhammadiyah Sapen, Sekolah Dasar Negeri Langensari , dan Sekolah Dasar MIN Tempel, masing-masing kelas, diambil 20 siswa. Dengan demikian secara keseluruhan jumlah peserta didik ada 180 yang dijadikan subjek penelitian. Ketiga sekolah tersebut tersebar pada kota Yogyakarta dan kabupaten Sleman, dengan asumsi bahwa kedua kabupaten/kota tersebut dapat mewakili/representatif DIY. Dari ketiga sekolah tersebut dipilih kelas satu, dua, dan tiga sebagai subjek ujicoba karena pada KTSP untuk tingkat Sekolah Dasar dalam mata pelajaran Seni Budaya dan Keterampilan seni lukis hanya dilaksanakan pada kelas satu, dua, dan tiga. Penentuan tiga sekolah tersebut didasarkan pada pertimbangan sekolah yang melaksanakan pembelajaran seni sesuai dengan KTSP dengan didukung tenaga pendidik yang memiliki latar belakang pendidikan seni rupa. 3. Teknik Analisis Data Penentuan koefisien keandalan instrumen penilaian dilakukan dengan menggunakan paket program komputer Genova berdasarkan teori generalizeability yang dikembangkan oleh Crick dan Brennan pada tahun 1983 yang disebut dengan A Generalized Analysis of Variance System. Pada teori ini ada G (generalized study) dan D (decision study). Pada G-study dilakukan estimasi sejumlah varians komponen. Banyaknya komponen ditentukan oleh model yang digunakan. Hasil dari G-study digunakan pada D-study. Menurut Brennan (1983: 3), D-study menekankan estimasi, penggunaan, dan interpretasi dari varians komponen untuk membuat keputusan, dengan prosedur pengukuran yang baik. Penelitian ini menggunakan GENOVA yang komponen variansnya adalah person, rater, item, interaksi person dan rater, dan kesalahan. G study-nya menggunakan rancangan bersarang (nested design) dan D-study-nya juga menggunakan rancangan bersarang (nested design). Penelitian ini menggunakan satu facet p x(i: r) Gstudy yang bersarang untuk mengestimasi varians komponen, varians kesalahan, generalizeability dan koefiesien phi untuk one-facet, nested, i: r D-study. Varians komponen yang berbaur pada rancangan bersarang (p, r:i,e) adalah jumlah varians komponen dalam G-study bersarang yang dapat ditulis sebagai berikut. 13 p2 ,r:i ,e p2 r2:i ,e Keterangan: p = person, r = guru/rater, i = item, r:i = rater bersarang pada item, e = kesalahan Setelah varians komponen diperoleh, termasuk varians kesalahan, maka dapat diestimasi varians sebenarnya (true variance). Selanjutnya dapat diestimasi besarnya indek keandalan hasil pengukuran, yaitu rasio varians sebenarnya terhadap varians keseluruhan komponen. Estimasi varians setiap komponen dan keandalan hasil pengukuran dengan instrumen besarnya indeks yang dikembangkan peneliti menggunakan paket program GENOVA. Rancangan yang digunakan untuk G-study adalah px(i:r), yaitu item bersarang pada rater, penilai dalam menilai hasil karya lukis anak berinteraksi dengan anak yang bersarang pada item. Cara penilai (rater) dalam menilai karya lukis anak (p) tergantung pada pendapat penilai terhadap item yang dinilai, sehingga dikatakan rater bersarang pada item. Rancangan px(r:i) ini berdasarkan analisis varians efek random memiliki efek utama: p, r, r:i dan efek interaksinya adalah pi, pr bersarang pada i. Jadi ada varians person, varians rater, dan varians penilai bersarang pada i untuk efek utama, sedang untuk efek interaksinya adalah varians person item, varians rater yang bersarang pada item. Besarnya varians r bersarang pada i dapat ditulis sebagai berikut. σ²(r : i) = σ²(r, ri)= σ²(r) + σ²(ri). Besarnya koefisien keandalan instrumen penilaian adalah: σ²(p) Eρ² = —————— σ²(p) + σ²(δ) Eρ² adalah nilai harapan koefisien keandalan instrumen, σ²(p) adalah varians person (peserta didik), σ²(δ) adalah varians kesalahan. 14 Varians kesalahan terdiri atas varians rater, varians item, dan varians interaksi rater item. Besarnya varians ini diestimasi dengan menggunakan teknik analisis varians rancangan efek random. Untuk melihat reliabilitas dari kriteria instrumen penilaian seni lukis anak hasil uji coba, digunakan analisis koefisien interrater. Koefisien interrater adalah salah satu sarana untuk melihat tingkat konsistensi atau keajegan antar rater dalam memberikan rating terhadap unjuk kerja karya seni lukis siswa. Untuk keperluan ini, digunakan koefisien Cohen’s Kappa. 15 D. Hasil Penelitian dan Pembahasan 1. Bentuk Instrumen yang Dihasilkan Berdasarkan langkah-langkah tahapan pengembangan di atas, penelitian ini diawali dengan survey kebutuhan guru mengenai pentingnya instrumen merupakan kriteria sebagai pedoman penilain seni lukis anak sekolah dasar di DIY, diperoleh hasil survey sebagai berikut: Hasil analisis kebutuhan yang melibatkan 20 orang guru Sekolah Dasar di DIY tentang pelaksanaan penilaian seni lukis di sekolah, menunjukkan perlunya kriteria sebagai pedoman menilai karya seni lukis anak. Hal ini ditunjukkan jawaban pertanyaan yang diajukan kepada guru-guru tentang penilaian karya seni lukis anak. Hasilnya menyatakan 40% merasakan adanya kesulitan untuk menilai karya lukis anak karena belum ada pedoman kriteria untuk menilai seni lukis anak Kemudian 35% guru mengungkapkan faktor-faktor yang dinilai berasal dari siswa, misalnya kelengkapan peralatan dan bahan yang dibawa siswa, dan keseriusan siswa. Selanjutnya 20% guru mengungkapkan tidak memahami seni, dan 5% guru mengungkapkan tidak ada kesulitan. Hal ini menunjukkan bahwa pembelajaran dan penilaian pendidikan seni lukis sungguh memprihatinkan. Pendidik yang memiliki pemahaman dan pengetahuan tentang seni lukis sangat sedikit (hanya 5%) yaitu mereka yang berlatar belakang pendidikan seni, sehingga kualitas pembelajaran dan penilaian seni lukis masih sangat rendah. Kenyataan ini merupakan suatu gambaran tentang pembelajaran dan penilaian seni lukis yang terjadi selama ini, sehingga memerlukan perhatian yang serius dari semua pihak yang terkait langsung maupun tidak langsung dengan pendidikan seni lukis. Berdasarkan uraian hasil studi awal di atas, dapat ditarik kesimpulan bahwa instrumen penilaian seni lukis anak perlu dikembangkan untuk mempermudah guru dalam melakukan penilaian yang lebih objektif. Penyimpulan ini didasarkan pada perbedaan karakteristik pembelajaran seni yang dilakukan oleh setiap guru. Adanya perbedaan ini, dikhawatirkan akan memicu terjadinya penilaian yang cenderung subjektif. Untuk mengatasi kesulitan tersebut, semua guru menyarankan perlunya instrumen penilaian yang praktis untuk mempermudah penilaian yang dilakukan guru. Langkah selanjutnya adalah tahap pendefinisian, yaitu membuat definisi konstruk instrumen dan kajian atas konsep instrumen karya lukis anak yang dijabarkan dari kajian teori. Definisi konstruk instrumen karya seni lukis anak dijabarkan menurut 16 indikator, deskripsi, kriteria dan rubrik penentuan skor. Pendefinisian ini pada dasarnya dihasilkan dari pendalaman literatur tentang seni dan strategi pendidikannya untuk menetapkan konstruk instrumen pendidikan seni lukis anak. Setelah itu dilakukan proses telaah dengan memanfaatkan validasi ahli untuk menperoleh kesepakatan dalam menentukan konstruk penilaian. Hasil validasi ahli digunakan sebagai dasar untuk merancang konstruk instrumen secara utuh. Kemudian dilanjutkan dengan FGD sebanyak tiga kali yang menghadirkan pakar pendidikan, pakar seni lukis anak,guiru seni lukis di SD untuk menetapkan indikator, deskripsi, kriteria, dan rubrik penentuan skor. Diperoleh hasil bahwa dimensi penilaian proses adalah penilaian yang ditunjukkan untuk mengamati kompetensi peserta didik dalam berkreasi membuat karya seni lukis, sedangkan dimensi penilaian produk adalah penilaian yang ditunjukkan untuk melihat kompetensi peserta didik dalam membuat karya cipta seni lukis. Selanjutnya hasil FGD sebagai tindak lanjut diadakan seminar, hasil dari seminar merupakan instrumen uji coba penilaian karya seni lukis anak berupa lembar penilaian proses dan produk sebagai berikut: 17 2. Analisis Data Instrumen Uji coba a. Data Uji Coba Bagian ini mendeskripsikan tentang hasil uji coba penggunaan instrumen penilaian yang diujicobakan kepada tiga orang guru sebagai rater atau penilai terhadap penilaian karya seni lukis. Komponen-komponen yang digunakan sebagai acuan untuk melakukan rating oleh para rater telah diperoleh dari hasil pengembangan pada tahap sebelumnya dan dikenal dengan produk tentatif instrumen penilaian karya seni lukis. Instrumen penilaian ini terdiri atas tiga komponen utama yakni penilaian proses, penilaian produk, dan pada pengguna di lapangan. Hasil ujicoba instrumen ini disajikan pada bagian analisis data. Kegiatan uji coba ini dipaparkan data hasil uji coba pada keempat kawasan tersebut. Data uji coba terdiri dari 2 (dua) komponen yaitu (1) data uji coba komponen penilaian proses, (2) data uji coba komponen penilaian produk. Hasil analisis G study digunakan untuk mengetahui penilaian yang dikembangkan serta koefisien reliabilitas alat estimasi komponen variansi kesalahan yang diakibatkan oleh berbagai sumber variansi, dalam pengembangan ini yakni sumber variansi murid (P), penilai (R) dan item kriteria penilaian (I). Setelah koefisien G dapat diketahui, maka pada tahapan analisis lanjut (analisis D study) akan didapatkan informasi tentang keputusan seberapa jauh penggunaan instrumen yang telah diuji memiliki keberlakuan pada faset yang lebih luas terutama menyangkut kesamaan kondisi pengukuran, dan dapat diterimanya kondisi faset tersebut bagi rater atau penilai yang lain. b. Hasil Analisis Genova Untuk Estimasi Komponen Variansi 1). Analisis Estimasi Komponen Varians Komponen Penilaian Proses Rangkuman analisis G study dari data uji coba komponen penilaian proses dapat disajikan sebagaimana pada Tabel 9. Hasil rangkuman analisis G study untuk penilaian proses di kelas 1, kelas 2 dan di kelas 3 menunjukkan bahwa estimasi variance true skor yang terbesar dari faset yang berkaitan dengan objek pengukuran (universe of admissible observations) di kelas 1 adalah sumber variansi kesalahan pengukuran komponen item yang nested pada penilai (I:R) dengan proporsi 86,27% dari seluruh komponen varian harapan. Hal yang sama untuk di kelas 2 dan kelas 3, dan 18 Tabel 1. Estimasi Komponen Variansi Siswa, Penilai, Kriteria Penilaian dari Uji Kelompok Siswa ( n 180 ) untuk Penilaian Proses Sumber Variansi Kelas JK1 JK2 db KR 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 6004,76 193,3 59 3,28 413296,33 7823,63 59 132,60 381079,14 7701,29 59 130,53 5874,04 62,59 2 31,29 Penilai (R) 631942,66 226469,95 2 113235,00 581347,72 207969,86 2 103984,90 8728,20 2854,16 18 158,56 I:R 836923,95 204981,29 18 11387,85 771345,40 189997,68 18 10555,43 PR (Interaksi Murid 6092,29 24,94 118 0,21 dan Penilai) 644940,43 5174,14 118 43,85 594179,71 5130,71 118 43,48 PI:R ( Interaksi 9244,00 297,56 1062 0,28 Murid dan Item 868049,00 18127,28 1062 17,07 Nested pada Penilai) 800302,00 16124,60 1062 15,18 35943,29 3432,55 1259 193,62 Total 3395152,40 457402,15 1259 124816,40 31282540,00 426924,14 1259 114729,60 Catatan: JK1 = sums of squares for mean scores; JK2 = sums of squares for score effects. Murid (P) Varian 0,14 4,23 4,15 0,00 242,43 222,38 2,64 189,51 175,67 0,00 3,83 4,04 0,28 17,07 15,18 3,06 457,07 421,42 % Total Varian 4,58 0,93 0,98 0,00 53,04 52,77 86,27 41,46 41,69 0,00 0,84 0,96 9,15 3,73 3,60 100,00 100,00 100,00 yang terbesar adalah sumber variansi penilai (R) dengan proporsi masing-masing 53,04% dan 52,77%. Kondisi yang demikian berarti bahwa faset yang berkaitan dengan objek pengukuran untuk penilaian proses, yang dominan mempengaruhi variansi kesalahan pengukuran adalah item yang bersarang pada penilai (I:R) dan untuk uji coba di kelas 2 dan di kelas 3 adalah penilai (R). Sumber variansi item yang bersarang pada penilai (I:R) merupakan komponen varian yang paling dominan; hal ini diduga karena guru yang menjadi rater atau penilai baru mengenal model dan konstruk alat penilaian yang dikembangkan. Selain itu penggunaan alat penilaian yang dikembangkan ini merupakan cara baru yang berbeda dengan cara-cara konvensional sebagaimana yang lazim digunakan oleh para guru sebelum cara penilaian ini dikenalkan. Pada uji coba di kelas 2 dan di kelas 3, kondisi semacam itu telah bergeser yakni bukan lagi komponen varians item yang bersarang pada penilai (I:R) yang dominan sebagai penentu varians kesalahan pengukuran melainkan penilai atau rater. Hal ini dapat dipahami karena faktor pemahaman dan latihan atau pengalaman guru sangat dituntut untuk bisa melakukan penilaian yang benar sesuai konstruk yang dikandung oleh alat penilaian yang dikembangkan. 19 Sumber variansi komponen yang lain yakni murid (P), interaksi murid dengan penilai (PR), interaksi murid dan item nested pada penilai (PI:R) proporsinya tampak lebih kecil terhadap seluruh komponen variansi hasil penilaian proses kualitas karya seni lukis dibanding proporsi komponen varians penilai (R) dan kriteria penilaian yang nested pada penilai (I:R). Hasil uji coba ini menunjukkan bahwa pada penerapan alat penilaian karya seni lukis untuk komponen proses, peranan penilai (R) merupakan sumber variansi kesalahan pengukuran terbesar. Latihan dan pengalaman bagi penilai dalam menggunakan alat penilaian untuk menilai kualitas karya seni lukis merupakan cara untuk mengurangi kesalahan pengukuran dan untuk meningkatkan tingkat konsistensi dan keajegan hasil penilaian. 2). Analisis Estimasi Komponen Varian Komponen Penilaian Produk Rangkuman analisis G study dari data uji coba komponen penilaian produk dapat disajikan sebagaimana pada Tabel 2. Tabel 2. Estimasi Komponen Variansi Siswa, Penilai, Kriteria Penilaian dari Uji Kelompok Siswa ( n 180 ) untuk Penilaian Produk Sumber Variansi Murid (P) Penilai (R) I:R PR (Interaksi Murid dan Penilai) PI:R ( Interaksi Murid dan Item Nested pada Penilai) Total Kelas JK1 JK2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 118655,00 121393,00 113876,89 207726,25 213078,27 199841,26 241766,02 251512,65 234248,77 219396,33 222531,67 209554,00 262591,00 275197,00 255520,00 1050134,60 1083712,60 1013040,90 6421,25 4733,80 5104,86 95492,50 96419,07 91069,23 34039,77 38434,38 34407,51 5248,83 4719,60 4607,89 9154,90 14230,96 11558,49 150357,25 158537,81 146747,98 db 59 59 59 2 2 2 6 6 6 118 118 118 354 354 354 539 539 539 KR 108,83 80,23 86,52 47746,25 48209,54 45534,61 5673,29 6405,73 5734,59 44,48 40,00 39,05 25,86 40,20 32,65 53598,71 54775,70 51427,42 Varian 7,15 4,45 5,27 233,64 232,24 221,08 94,12 106,09 95,03 6,21 0,00 2,13 25,86 40,20 32,65 366,98 382,98 356,16 % Total Varian 1,95 1,16 1,48 63,67 60,64 62,07 25,65 27,70 26,68 1,69 0,00 0,60 7,05 10,50 9,17 100,00 100,00 100,00 Catatan: JK1 = sums of squares for mean scores; JK2 = sums of squares for score effects. Hasil rangkuman analisis G study untuk penilaian produk di kelas 1, kelas 2 dan di kelas 3 menunjukkan bahwa estimasi varian true skor yang terbesar dari faset yang berkaitan dengan objek pengukuran (universe of admissible observations) adalah sumber variansi 20 kesalahan pengukuran komponen penilai (R) dengan proporsi komponen varians di kelas 1 sebesar 63,67%; di kelas 2 sebesar 60,64%, dan di kelas 3 sebesar 62,07%. Kemudian berikutnya adalah sumber varians kesalahan untuk komponen item yang bersarang pada penilai (I:R) dengan proporsi komponen varians di kelas 1 sebesar 25,65%, di kelas 2 sebesar 27,70%, dan di kelas 3 sebesar 26,68%. Hasil analisis di atas menunjukkan bahwa faset yang berkaitan dengan objek pengukuran untuk penilaian produk, faset yang dominan sebagai variansi kesalahan pengukuran adalah penilai (R) dan item yang bersarang pada penilai (I:R). Sumber variansi yang lain tidak begitu besar proporsinya sebagai komponen varians untuk penilaian produk. Sumber variansi komponen yang lain yakni murid (P), interaksi murid dengan penilai (PR), interaksi murid dan item bersarang pada penilai (PI:R) proporsinya tampak lebih kecil terhadap variansi hasil penilaian proses kualitas karya seni lukis dibanding pengaruh kedua sumber variansi penilai (R) dan kriteria penilaian yang bersarang pada penilai (I:R). Berdasarkan analisis ini penerapan alat penilaian karya seni lukis untuk komponen produk, peranan penilai (R) tetap merupakan sumber varians kesalahan pengukuran yang terbesar seperti halnya pada penilaian proses. Untuk itu masih dibutuhkan juga latihan dan pengalaman bagi penilai dalam menggunakan instrumen penilaian produk untuk menilai kualitas karya seni lukis siswa agar dapat meningkatkan tingkat konsistensi dan keajegan hasil penilaian serta tingkat kesepakatan pemahaman terhadap konstruk sasaran penilaian karya seni lukis untuk komponen produk di antara para penilai. Hasil analisis komponen varians untuk penilaian proses, produk, di atas memberi petunjuk bahwa pengembangan alat penilaian kualitas karya seni lukis sudah menunjukkan indikasi kebermaknaan untuk digunakan sebagai sarana melakukan observasi. Untuk mengetahui apakah hasil pengembangan tersebut telah memenuhi standar minimal, dipakai persyaratan minimal koefisien G Sebesar 0,70 (Nunnaly, 1978: 245, Linn,1989:106) agar memenuhi syarat bagi penggunaan pada faset yang lebih luas. Untuk maksud tersebut dilakukan analisis lanjut terhadap hasil Genova (koefisien G) dan analisis tingkat perubahan koefisien G pada level analisis hasil D study. Hasil Analisis dipaparkan pada uraian berikut. 21 3). Analisis Data Hasil G Study (Koefisien G) Hasil G study untuk mengetahui tingkat kebermaknaan penggunaan alat penilaian kualitas karya seni lukis dari uji coba di lapangan dapat dirangkum pada Tabel 3. Koefisien G dari komponen-komponen penilaian kualitas karya seni lukis hasil uji coba menunjukkan bahwa secara keseluruhan pengembangan model instrumen penilaian kualitas karya seni lukis dapat diterima untuk digunakan melakukan penilaian pada faset yang lebih luas atau dengan kata lain telah memenuhi untuk kepentingan faset pengukuran yang berkaitan dengan objek pengukuran (universe of admissible observations) pada kualitas karya seni lukis anak yakni ditunjukkan oleh indeks koefisien G sebesar 0,71. Tabel 3. Rangkuman Hasil G Study dan Koefisien G Pada Berbagai Komponen dan Berbagai Faset Terapan Uji Coba Komponen 1. Proses 2. Produk Sasaran Uji (Faset) Kelas 1 Kelas 2 Kelas 3 Kelas 1 Kelas 2 Kelas 3 Jumlah Item Koefisien G 7 7 7 3 3 3 0,91* 0,67* 0,67* 0,76* 0,50 0,62 Keterangan (Linn ≥ 0,70) >persyaratan <persyaratan <persyaratan >persyaratan <persyaratan <persyaratan Rerata Koefisien G 0,75* 0,63 *) memenuhi syarat menurut kriteria standard minimal Linn, 0,70. Jika dilihat dari karakteristik faset uji coba untuk semua komponen, maka terapan model penilaian pada faset di kelas 1 sudah memberikan bukti bahwa model yang dikembangkan dapat digunakan untuk penilaian pada faset yang lebih luas, tetapi jika memperhatikan koefisien G pada terapan faset di kelas 2 dan di kelas 3, maka model yang dikembangkan masih memerlukan penyempurnaan dalam hal administrasi penyelenggaraan yakni harus meningkatkan keterampilan guru sebagai penilai atau rater agar ada peningkatan pemahaman, keterampilan dan pengalaman agar diperoleh hasil pengukuran yang konsisten. Jika ditilik pada rerata komponen penilaian pada masing-masing kelompok ternyata untuk komponen penilaian proses telah memenuhi syarat untuk digunakan pada faset yang lebih luas, sedangkan untuk komponen penilaian produk masih memerlukan upaya penyempurnaan. Berdasarkan elaborasi sumber variansi komponen variansi 22 kesalahan pengukuran sebagaimana telah dibahas di atas, maka tindakan untuk melatih guru agar berpengalaman dalam menggunakan alat penilaian ini merupakan salah satu cara untuk meningkatkan kebermaknaan penggunaan model ini pada faset yang lebih luas. c. Analisis Data Hasil D Study Tujuan analisis D study adalah untuk menjawab pertanyaan rancangan D study yang mana harus dipilih dan seberapa banyak butir komponen penilaian harus dicakup sebagai sarana mengukur dan menilai kualitas karya lukis sehingga dapat menunjukkan kebermaknaan untuk faset yang lebih luas. Dengan mencermati setiap tahap rancangan D study pada komposisi besar sampel tertentu maka akan dapat diperoleh informasi koefisien G dan juga diperoleh informasi berapa kenaikan indeks kebermaknaan pada koefisien G setelah satu butir komponen penilaian dilibatkan untuk mengukur atau menilai. Untuk menjawab pertanyaan ini dan tujuan tersirat didalamnya analisis pada setiap hasil D study dapat digunakan. Uraian berikut memaparkan hasil-hasil analisis D study ini. 1) D Study untuk Penilaian Proses Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian proses berturut-turut dapat disajikan pada Tabel 14 sampai dengan Tabel 16. Tabel 4 Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 1 dan Tingkat Perubahannya D STUDY DESIGN NO $P INF. SAMPLE SIZE R INF I INF. GENERALIZABILITY COEF. PHI 001-001 001-002 001-003 001-004 001-005 001-006 001-007 60 60 60 60 60 60 60 3 3 3 3 3 3 3 1 2 3 4 5 6 7 0,60437 0,75341 0,82088 0,85936 0,88424 0,90163 0,91448 0,12791 0,22681 0,30556 0,36976 0,42308 0,46809 0,50659 Selisih Koefisien Genova 0,15 0,07 0,04 0,02 0,02 0,01 Tabel 4 berturut-turut memberi gambaran tentang perubahan koefisien Generalizability untuk berbagai komposisi ukuran sampel P, R, dan I. Untuk komponen penilaian proses di kelas 1 jika komposisinya hanya menggunakan satu indikator (D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1) maka tingkat atau 23 koefisien kesepahaman dan kesepakatan (reliabilitas dalam koefisien G) sebesar 0,60, Artinya penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 60%. Jika penilai menggunakan dua indikator (rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni indikator 1 dan 2 (dapat dilihat pada Tabel 6), maka tingkat atau koefisien kesepahaman dan kesepakatan sebesar 0,75; demikian seterusnya untuk rancangan 001-003 didperoleh kaoefisien sebesar 0,82. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebi h luas, yaitu 0,70, penilai cukup Tabel 5 Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 2 dan Tingkat Perubahannya D STUDY DESIGN NO $P INF. SAMPLE SIZE R INF I INF. COEF. GENERALIZABILITY PHI 001-001 001-002 001-003 001-004 001-005 001-006 001-007 60 60 60 60 60 60 60 3 3 3 3 3 3 3 1 2 3 4 5 6 7 0,37765 0,50637 0,57128 0,61040 0,63655 0,65527 0,66933 0,02724 0,03500 0,03868 0,04082 0,04223 0,04322 0,04396 Selisih Koefisien Genova 0,13 0,06 0,04 0,03 0,02 0,01 Tabel 5 memberi gambaran bahwa penilai dalam menggunakan komponen menggunakan indikator 1 dan 2 saja. Tetapi jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan, dalam konteks ini jika 7 (tujuh) indikator digunakan maka akan dicapai koefisien kesepahaman dan kesepakatan sebesar 91,45%. Penilaian proses hanya dengan satu indikator (D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1) memiliki tingkat kesepahaman dan kesepakatan (reliabilitas dalam koefisien G) sebesar 0,38. Artinya penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 38%. Jika penilai menggunakan dua indikator (D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni indikator 1 dan 2 memiliki tingkat kesepahaman dan kesepakatan sebesar 0,51. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk mencapai tingkat kesepahaman dan kesepakatan 24 yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, minimal 0,70, penilai harus menggunakan indikator 1, 2, 3, 4 dan 5 sekaligus. Jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka Tabel 6 Estimasi Koefisien Generalizability pada Penilaian Proses Kelas 3 dan Tingkat Perubahannya D STUDY DESIGN NO $P INF. SAMPLE SIZE R INF I INF. COEF. GENERALIZABILITY PHI 001-001 001-002 001-003 001-004 001-005 001-006 001-007 60 60 60 60 60 60 60 3 3 3 3 3 3 3 1 2 3 4 5 6 7 0,39277 0,51665 0,57735 0,61338 0,63724 0,65421 0,66689 0,02894 0,03720 0,04111 0,04339 0,04489 0,04594 0,04673 Selisih Koefisien Genova 0,12 0,06 0,04 0,02 0,02 0,01 jumlah indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan .Pada Tabel 6 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian proses di kelas 3 jika hanya dengan satu indikator (D study design nomor 001001 dengan P = 60, R = 3 dan I = 1) memiliki tingkat kesepahaman dan kesepakatan (reliabilitas dalam koefisien G) sebesar 0,39. Jika penilai menggunakan dua indikator (rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52; begitu seterusnya untuk design 001-003 didapatkan kaoefisien sebesar 0,58. Berdasarkan kenyataan ini maka dapat dikatakan bahwa untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan indikator 1 sampai dengan 6 secara simultan. Jika ingin meningkatkan tingkat kesepahaman dan kesepakatan yang lebih tinggi maka penggunaan indikator penilaian harus ditambah, jumlahnya tergantung pada kondisi faset yang bersangkutan, dalam konteks ini jika 7 (tujuh) indikator digunakan semua dicapai koefisien kesepahaman dan kesepakatan mencapai 66,69%. 25 2) D Study untuk Penilaian Produk Rangkuman hasil analisis D-Study Genova untuk uji coba penilaian produk berturut-turut dapat disajikan pada Tabel 7 sampai dengan Tabel 9 Tabel 7. Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 1 dan Tingkat Perubahannya D STUDY DESIGN NO 001-001 001-002 001-003 SAMPLE SIZE GENERALIZABILITY $P INF. R INF I INF. COEF. PHI 60 60 60 3 3 3 1 2 3 0,51678 0,68142 0,76238 0,18733 0,31555 0,40882 Selisih Koefisien Genova 0,16 0,08 Tabel 7 memberi gambaran bahwa penilai dalam menggunakan komponen penilaian produk di kelas 1 jika hanya menggunakan satu indikator (D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1) memiliki tingkat kesepahaman dan kesepakatan (reliabilitas dalam koefisien G) sebesar 0,52. Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 52%. Jika penilai menggunakan dua indikator (rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,68; begitu seterusnya untuk rancangan 001-003 didapatkan kaoefisien sebesar 0,76. Menurut kenyataan ini maka dapat dikatakan bahwa untuk penggunaan komponen penilaian produk agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai cukup menggunakan indikator 1 dan 2 saja. Tetapi jika ingin diperoleh tingkat kesepahaman dan kesepakatan yang lebih tinggi maka penggunaan indikator 1 dan 2 bersama sekaligus dengan indikator nomor 3 sangat dianjurkan. Tabel 18 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian produk di kelas 2 hanya dengan satu indikator (D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1) memiliki tingkat kesepahaman dan (reliabilitas dalam koefisien G) sebesar 0,25. 26 kesepakatan Tabel 8 Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 2 dan Tingkat Perubahannya D STUDY DESIGN NO 001-001 001-002 001-003 SAMPLE SIZE GENERALIZABILITY $P INF. R INF I INF. COEF. PHI 60 60 60 3 3 3 1 2 3 0,24922 0,39900 0,49896 0,08359 0,15429 0,21486 Selisih Koefisien Genova 0,15 0,10 Artinya tingkat kesepahaman dan kesepakatan penilai terhadap penggunaan konstruk instrumen penilaian yang dipakai sebesar 25%. Jika penilai menggunakan dua indikator (rancangan D study nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,40 begitu seterusnya untuk rancangan 001-003 didapatkan kaoefisien sebesar 0,50, Kenyataan ini menunjukkan bahwa untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan semua indikator yang ada dan dianjurkan untuk menambah indikator lain yang sejenis untuk melengkapi jabaran konstruk yang ada sehingga Tabel 9. Estimasi Koefisien Generalizability pada Penilaian Produk Kelas 3 dan Tingkat Perubahannya D STUDY DESIGN NO $P INF. SAMPLE SIZE R INF I INF. COEF. GENERALIZABILITY PHI 001-001 001-002 001-003 60 60 60 3 3 3 1 2 3 0,35483 0,52380 0,62263 0,12330 0,21953 0,29672 Selisih Koefisien Genova 0,17 0,10 dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi. Penambahan indikator sejenis yang relevan untuk meningkatkan kebermaknaan penilaian produk di kelas 2 memerlukan telaah lanjut tersendiri.Tabel 9 memberi gambaran bahwa jika penilai dalam menggunakan komponen penilaian produk di kelas 3 hanya dengan satu indikator (D study design nomor 001-001 dengan P = 60, R = 3 dan I = 1) memiliki tingkat kesepahaman dan kesepakatan (reliabilitas dalam koefisien G) sebesar 0,35. Artinya 35% penilai memiliki tingkat kesepahaman dan kesepakatan terhadap penggunaan konstruk instrumen penilaian yang dipakai. Jika penilai menggunakan dua indikator (D study design nomor 001-002, dengan P = 60, R = 3 dan I = 2) yakni 27 indikator 1 dan 2, memiliki tingkat kesepahaman dan kesepakatan sebesar 0,52 begitu seterusnya untuk design 001-003 didapatkan koefisien sebesar 0,62. Untuk penggunaan komponen penilaian agar dicapai kesepahaman dan kesepakatan yang memenuhi tingkat observasi yang dapat diterima untuk faset yang lebih luas, penilai harus menggunakan indikator yang ada dan ditambah lagi indikator lain untuk melengkapi jabaran konstruk yang ada sehingga dapat dicapai tingkat kesepahaman dan kesepakatan yang lebih tinggi. Secara umum hasil analisis D study telah memberi petunjuk dan alternatif penggunaan alat penilaian kepada pengguna instrumen penilaian kualitas karya seni lukis untuk mempertimbangkan penggunaan indikator-indikator penilaian yang relevan dengan sasaran yang dinilai dan mempertimbangkan tingkat reliabilitas kebermaknaan hasil penilaian. Berdasarkan analisis yang telah dilakukan dapat diketahui bahwa ada beberapa rancangan dari hasil D study yang mereferensikan perlunya penambahan indikator untuk komponen penilaian tertentu yaitu untuk komponen-komponen penilaian produk untuk sasaran penilaian kelompok tertentu. d. Data Uji Coba Koefisien Interrater Konfirmasi data hasil uji coba dari hasil Anava, berikut ini disajikan hasil analisis koefisien interrater. Koefisien interrater merupakan salah satu sarana untuk melihat tingkat konsistensi atau keajegan antar penilai dalam memberikan rating terhadap unjuk kerja karya seni lukis siswa. Untuk keperluan ini, peneliti menggunakan koefisien Cohen’s Kappa. 1) Koefisien Interrater Pada Penilaian Proses Ada 3 (tiga) orang rater (UD, ST, DI) yang memberikan rating pada penilaian proses instrumen pendidikan seni lukis anak untuk kelas 1, kelas 2, dan kelas 3. Pada penilaian proses ini, ada 7 (tujuh) item yang menjadi objek penilaian. Rangkuman hasil perhitungan konsistensi dan kesepakatan tiga rater tersebut disajikan pada Tabel 10 untuk kelas 1, Tabel 11 untuk kelas 2, dan Tabel 12 untuk kelas 3. Tabel 10 memberi gambaran bahwa koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang dirating tersebut, yaitu 0,75. Kemudian antara ST dengan DI sebesar 0,71 , dan antara UD dengan DI sebesar 0,73. Tingkat konsistensi 28 dan kesepakatan penilai secara keseluruhan dalam menilai proses kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,73. Tabel 10 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Proses Kelas 1 Penilai UD DI 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 0,72 2 3 ST 4 5 6 7 1 2 3 UD 4 5 6 7 0,72 0,84 0,81 0,78 0,78 0,63 0,75 0,74 0,68 0,77 0,81 0,71 0,70 0,67 0,68 0,65 0,70 0,79 0,68 0,82 Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 73% . Nilai koefisien tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas. Tabel 11 di bawah ini, memberi gambaran bahwa koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang dirating tersebut, yaitu 0,67. Kemudian antara ST dengan DI sebesar 0,70, dan antara UD dengan DI sebesar 0,64. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan dalam menilai proses kelas 2 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,67. Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 67%. Nilai koefisien tersebut mendekati kriteria minimal yang digunakan, yaitu 0,70 (Nunally, 1978:245 Linn, 1989:106), sehingga instrumen tersebut mendekati syarat koefisien reliabilitas. 29 Tabel 11 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Proses Kelas 2 Penilai ST UD DI 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 0,61 2 3 4 5 6 7 1 2 3 UD 4 5 6 7 0,64 0,81 0,77 0,69 0,6 0,57 0,66 0,64 0,9 0,56 0,66 0,7 0,67 0,63 0,65 0,55 0,75 0,73 0,61 tersebut mendekati 0,65 kriteria minimal yang digunakan, yaitu 0,70 (Nunally, 1978:245 Linn, 1989:106), sehingga instrumen tersebut mendekati syarat koefisien reliabilitas. Tabel 12 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Proses Kelas 3 Penilai ST UD DI 1 2 3 4 5 6 7 1 2 3 4 5 6 7 1 0,63 2 3 4 5 6 7 1 2 3 UD 4 5 6 7 0,69 0,81 0,76 0,68 0,85 0,73 0,67 0,75 0,68 0,46 0,70 0,76 0,62 0,74 0,56 0,71 0,59 0,62 0,57 0,71 Tabel 12 memberi gambaran bahwa koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketujuh item yang dirating tersebut, yaitu 0,74. Kemudian antara ST dengan DI sebesar 0,63, dan antara UD dengan DI sebesar 0,68. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan dalam menila proses kelas 1 dapat diketahui dengan mengambil rata-rata 30 koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,73. Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 73%. Nilai koefisien tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas. 2) Koefisien Interrater Pada Penilaian Produk Ada 3 (tiga) orang rater (UD, ST, DI) yang memberikan rating pada penilaian proses instrumen pendidikan seni lukis anak untuk kelas 1, kelas 2, dan kelas 3. Pada penilaian produk ini, ada 3 (tiga) item yang menjadi objek penilaian. Rangkuman hasil perhitungan konsistensi dan kesepakatan tiga rater tersebut disajikan pada Tabel 13 untuk kelas 1, Tabel 30 untuk kelas 2, dan Tabel 31 untuk kelas 3. Tabel 13 memberi gambaran bahwa koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating tersebut, yaitu 0,88. Kemudian antara ST dengan DI sebesar 0,88, dan antara UD dengan DI sebesar 0,88. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan dalam menilai produk kelas 1 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,88. Tabel 13 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Produk Kelas 1 Penilai ST 1 1 UD 2 2 1 2 3 3 1 2 3 0,85 0,92 3 DI UD 0,88 0,85 0,85 0,92 0,92 0,88 Nilai tersebut memberi gambaran bahwa 0,88 ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 88%. Nilai koefisien 31 tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas. Pada Tabel 14 menunjukkan koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating tersebut, yaitu 0,96. Kemudian antara ST dengan DI sebesar 0,97, dan antara UD dengan DI sebesar 0,97. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan dalam menilai produk kelas 2 dapat diketahui dengan mengambil rata-rata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,97. Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman terhadap konstruk penilaian sebesar 97%. Nilai koefisien tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas. Tabel 14 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Produk Kelas 2 Penilai ST 1 1 UD 2 2 1 3 1 2 3 0,98 0,98 3 DI UD 0,93 0,98 2 3 0,95 0,98 0,98 0,95 0,98 Tabel 15 memberi gambaran bahwa koefisien (kappa) antara ST dengan UD diperoleh dengan mengambil rata-rata koefisien kappa ketiga item yang dirating tersebut, yaitu 0,94. Kemudian antara ST dengan DI sebesar 0,93, dan antara UD dengan DI sebesar 0,89. Tingkat konsistensi dan kesepakatan penilai secara keseluruhan dalam menilai produk kelas 3 dapat diketahui dengan mengambil ratarata koefisien kappa tiga pasangan tersebut, yaitu sebesar 0,92. Nilai tersebut memberi gambaran bahwa ketiga penilai tersebut memiliki persepsi dan pemahaman yang sama terhadap kostruk penilaian sebesar 92%. Nilai koefisien tersebut lebih besar dari kriteria minimal yang digunakan, yaitu 0,70, sehingga instrumen tersebut memenuhi syarat koefisien reliabilitas. 32 Tabel 15 Rangkuman Hasil Perhitungan Reliabilitas Antar Penilai Pada Penilaian Produk Kelas 3 Penilai ST 1 1 UD 2 2 1 2 3 0,95 3 DI 3 0,95 2 1 UD 0,93 0,98 0,93 0,93 3 0,93 0,90 0,82 3. Revisi Produk Instrumen Bagian revisi produk dalam pengembangan instrumen penilaian seni lukis dalam penelitian ini mengikuti revisi produk dalam setiap tahap pengembangan. Tahap revisi dalam setiap tahap pengembangan berkaitan dengan revisi indikator, deskripsi, kriteria dan rubrik, dan pedoman penggunaan instrumen penilaian seni lukis pada tahap focus group discussion (FGD) dan seminar. 4. Kajian Produk Penelitian Hasil analisis tingkat kesepahaman dan kesepakatan rater (reliabilitas interrater) dengan menggunakan koefisien Genova dan koefisien Cohen Kappa menunjukkan bahwa instrumen penilaian seni lukis telah memenuhi syarat/kriteria minimal reliabilitas yang digunakan. Namun demikian, perbandingan kedua pendekatan tersebut disajikan berikut. a. Penilaian Proses Penilaian proses instrumen penilaian seni lukis dilakukan oleh 3 (tiga) orang rater terhadap 60 orang siswa dengan 7 (tujuh) indikator instrumen. Berdasarkan hasil penelitian yang telah dibahas pada bagian sebelumnya, analisis kesepakatan dan kesepahaman rater terhadap konstruk instrumen digunakan dua pendekatan yaitu pendekatan Genova dan pendekatan Cohen Kappa. Rangkuman perbandingan koefisien kedua pendekatan tersebut disajikan pada Tabel 16 33 Tabel 16 Perbandingan koefisien Genova dan Kappa pada Penilaian Proses Koefisien Koefisien Genova Kappa Kelas 1 0,91 0,73 0,18 Kelas 2 0,67 0,67 0,00 Kelas 3 0,67 0,73 0,04 Kelas Selisih Tabel 16 memberi gambaran bahwa koefesien Genova untuk kelas 1 pada penilaian proses lebih tinggi dibandingkan dengan koefisien kappa. Dalam kaitan dengan ini, estimasi dengan Genova lebih memberikan hasil kesepakatan dan kesepahaman rater yang lebih kuat dibandingkan dengan koefisien kappa. Oleh karena itu, peneliti menganjurkan untuk menggunakan koefisien Genova sebagai dasar dalam menentukan relibilitas antar rater, Koefisien Genova untuk Kelas 2 sama dengan koefisien kappa. Hal ini memberi gambaran bahwa kedua pendekatan yang digunakan memberikan hasil yang sama. Walaupun demikian, pendekatan Genova lebih lengkap karena melibatkan tiga dimensi sementara pendekatan kappa hanya dua dimensi. Jadi varians kesalahan dengan metode Genova lebih diperhitungkan dalam analisis, sementara metode Cohen kappa tidak diperhatikan. Dengan demikian, peneliti menganjurkan untuk menggunakan koefisien Genova sebagai dasar dalam menentukan/menetapkan relibilitas antar penilai, Sama dengan kasus kelas 2, koefisien Genova untuk kelas 3 lebih rendah dibandingkan dengan koefisien kappa. Dalam kasus ini, peneliti masih menganjurkan untuk menggunakan koefisien Genova dibandingkan dengan koefisien kappa, Hal tersebut disebabkan karena sumber varians kesalahan pada analisis koefisien kappa belum diperhatikan sehingga memberikan hasil yang lebih tinggi. Jika varians kesalahan diperhatikan maka kemungkinan akan memberikan hasil yang kurang lebih sama dengan yang diperoleh melalui koefisien Genova. 4. Penilaian Produk Penilaian produk instrumen penilaian seni lukis dilakukan oleh 3 (tiga) orang rater terhadap 60 orang siswa dengan 3 (tiga) indikator instrumen. Berdasarkan hasil penelitian yang telah dibahas pada bagian sebelumnya, analisis kesepakatan dan 34 kesepahaman rater terhadap konstruk instrumen digunakan dua pendekatan yaitu pendekatan Genova dan pendekatan Cohen Kappa. Rangkuman perbandingan koefisien kedua pendekatan tersebut disajikan pada Tabel 17. Tabel 17 Perbadingan koefisien Genova dan Kappa pada Penilaian Produk Koefisien Koefisien Genova Kappa Kelas 1 0,76 0,88 0,12 Kelas 2 0,49 0,97 0,48 Kelas 3 0,62 0,92 0,30 Kelas Selisih Tabel 17 memberi gambaran bahwa koefesien Genova untuk kelas 1, kelas 2, dan kelas 3 pada penilaian produk lebih rendah dibandingkan dengan koefisien kappa. Dalam kaitan dengan ini, estimasi dengan Genova lebih memberikan hasil kesepakatan dan kesepahaman rater yang lebih kuat dibandingkan dengan koefisien kappa. Oleh karena itu, peneliti menganjurkan untuk menggunakan koefisien Genova sebagai dasar dalam menentukan relibilitas antar rater. Pendekatan Genova lebih lengkap karena melibatkan tiga dimensi, sementara pendekatan kappa hanya dua dimensi. Jadi varians kesalahan dengan metode Genova lebih diperhitungkan dalam analisis, sementara metode Cohen kappa tidak diperhatikan, Sumber varians kesalahan pada analisis koefisien kappa belum diperhatikan sehingga memberikan hasil yang lebih tinggi. Jika varians kesalahan diperhatikan maka kemungkinan akan memberikan hasil yang kurang lebih sama dengan yang diperoleh melalui koefisien Genova. Dengan demikian, peneliti menganjurkan untuk menggunakan koefisien menentukan/menetapkan relibilitas antar penilai. 35 Genova sebagai dasar dalam D. Simpulan dan Saran. 1. Simpulan Tentang Produk Berdasarkan hasil penelitian dan pembahasan yang dijelaskan pada BAB IV, dapat disusun kesimpulan sebagai berikut. a. Spesifikasi instrumen penilaian hasil belajar karya seni lukis anak di SD berbentuk lembar pengamatan yang di dalamnya terdiri atas indikator, deskripsi, dan rubrik (kriteria). Pengguna instrumen ini adalah pendidik sebagai rater. Komponen yang menjadi objek penilaian meliputi proses, produk, penilaian diri, dan penilaian kelompok. Komponen proses terdiri atas 7 (tujuh) item, komponen produk 3 (tiga) item, komponen penilaian diri 5 (lima) item, dan komponen penilaian kelompok 5 (lima) item. b. Karakteristik instrumen penilaian hasil belajar karya seni lukis anak yang mencakup validitas, reliabilitas, dan keterpakaian di SD telah teruji. Validitas telah teruji melalui proses focus group discussion sebanyak 3 kali dan seminar sekali. Reliabilitas telah teruji melalui teknik generalizeability theory (Teori G) dan interrater Cohen’s Kappa. Koefisien Genova untuk instrumen ini sebesar 0,71 dan koefisien interrater 0,73 telah memenuhi kriteria minimal yang dipersyaratkan yaitu 0,70. c. Persyaratan yang harus dipenuhi pendidik SD agar kompeten menggunakan instrumen penilaian hasil belajar karya seni lukis anak di SD meliputi latar belakang pendidikan yang relevan, memiliki pengalaman dalam bidang seni lukis, memahami pedoman penilaian hasil belajar karya seni lukis anak, dan responsip terhadap pembaharuan dan perubahan. 2. Keterbatasan Penelitian Penelitian ini memiliki beberapa keterbatasan baik dari segi metode maupun aplikasi. a. Pengembangan instrumen hanya sampai pada tahap pengembangan dan belum sampai pada tahap diseminasi agar instrumen hasil pengembangan dapat digunakan secara lebih luas. b. Instrumen hasil pengembangan belum teruji secara empirik sehingga masih diperlukan satu tahap lagi untuk menguji keefektifan instrumen. 36 3. Saran Pemanfaatan Saran yng diajukan berdasarkan hasil penelitian ini adalah sebagai berikut. a. Untuk sekolah hendaknya mengadakan pelatihan penggunaan instrumen penilaian seni lukis anak bagi guru mata pelajaran seni budaya dan keterampilan di sekolah dasar, agar guru dapat memberikan penilaian secara objektif hasil seni lukis anak. b. Untuk mengetahui lebih dalam tentang latar belakang penciptaan karya seni lukis anak agar penilaian lebih objektif maka guru hendaknya membiasakan anak untuk menilai karya lukis sendiri dan karya temannya. c. Bagi mahasiswa pendidikan seni rupa di Lembaga Pendidikan Tenaga Kependidikan (LPTK) agar lulusannya mampu melakukan penilaian karya seni lukis anak dengan baik, maka penilaian seni lukis anak hendaknya menjadi salah satu kompetensi dasar yang harus dikuasai. 4. Diseminasi, dan Pengembangan Produk Lebih Lanjut a. Desiminasi pedoman penilaian karya lukis anak dapat dilakukan melalui musyawarah guru mata pelajaran seni budaya di sekolah dasar. b. Sekolah-Sekolah Dasar yang tidak memiliki guru khusus seni budaya dapat memberdayakan dosen pendidikan seni rupa di LPTK sebagai pendamping. c. Instrumen yang telah dikembangkan ini divalidasi kembali dengan menggunakan sekolah yang berbeda agar diperoleh produk yang lebih baik. 37 Asmawi, Zainul. (2005). Alternative assessment . Jakarta: Universitas Terbuka. Berk, Ronald. A. (1986). Performance assessment: London: The John Hopkins Press Ltd. Brennan. Robert L. (1983). Element of generalizability theory. Iowa City: ACT Publication. BSNP. (2006). Standar nasional pendidikan. (Jakarta): BSNP. Conrad, George. (1964). The process of art education in the elementary school. Amerika: Prentice Hall.Inc. Eisner, Elliot W. (1997). Educating artistic vision. Reston, VA:NAEA. Fernandes, H.J.X. (1984). Testing and measurement. Jakarta: National Education Planning, Evaluation, and Curiculum Development. Malcom Ross. (1986). Assessment in art education a necessary discipline oer a loss of happiness? New York: Pergamon Press. Fernandes, H.J.X. (1984). Testing and measurement. Jakarta: National Education Planning, Evaluation, and Curiculum Development. Kellogg, Rhoda and Scott O’Dell. (1967). The psychology of chidren’s art. California: CRM INC. Lansing, K.M. (1976). Art, artist and art education. New York: Mcgraw-Hill. Lowenfeld, Viktor. & Britain, W. Lambert (1982). Creative and mental growth, New York: Macmillan Publishing Co., Inc. Ricci, Corrado. “L’art de bambini. Leipzig, 1960. Pedagogical Sem.3 (1906);302-307. Soesatyo, (1994). Apresiasi seni lukis anak-anak. Yogyakarta: Sanggar Melati Suci Soesatyo, (1994). Sanggar melati suci (1979-1994): Yogyakarta: Aquarius Offset. Stephen C. Pepper, (1973) “Contextualistic criticism”.Reinhart and Winston, Inc: New York. Thiagarajan, S., Semmel, D. S & Semmel, M. I. (1974). Instructional development for training teachers of exceptional children: A sourcebook. Minneapolis Indiana University. Victor, Heyfron . (1986). “Objectivity and assessment in art” in assessment in arts education. Pergamon Press: Toronto. 38 39