Analisis Butir Soal

Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal. Analisis pada umumnya dilakukan melalui dua cara, yaitu analisis kualitatif (qualitative control) dan analisis kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis (logical validity) yang dilakukan sebelum soal digunakan. Gunanya untuk melihat berfungsi tidaknya sebuah soal. Analisis soal secara kuantitatif sering pula dinamakan sebagai validitas empiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal setelah soal itu diujicobakan kepada sampel yang representatif.

Salah satu tujuan dilakukannya analisis adalah untuk meningkatkan kualitas soal, yaitu apakah suatu soal (1) dapat diterima karena telah didukung oleh data statistic yang memadai, (2) diperbaiki, karena terbukti terdapat beberapa kelemahan, atau bahkan (3) tidak digunakan sama sekali karena terbukti secara empiris tidak berfungsi sama sekali.

Analisis Kualitatif. Yaitu berupa penelaahan yang dimaksudkan untuk menganalisis soal ditinjau dari segi teknis, isi, dan editorial. Analisis secara teknis dimaksudkan sebagai penelaahan soal berdasarkan prinsip-prinsip pengukuran dan format penulisan soal. Analisis secara isi dimaksudkan sebagai penelaahan khusus yang berkaitan dengan kelayakan pengetahuan yang ditanyakan. Analisis secara editorial dimaksudkan sebagai penelaahan yang khususnya berkaitan dengan keseluruhan format dan keajegan editorial dari soal yang satu ke soal yang lainnya.

Analisis kualitatif lainnya dapat juga dikategorikan dari segi materi, konstruksi, dan bahasa. Analisis materi dimaksudkan sebagai penelaahan yang berkaitan dengan substansi keilmuan yang ditanyakan dalam soal serta tingkat kemampuan yang sesuai dengan soal. Analisis konstruksi dimaksudkan sebagai penelaahan yang umumnya berkaitan dengan teknik penulisan soal. Analisis bahasa dimaksudkan sebagai penelaahan soal yang berkaitan dengan penggunaan bahasa Indonesia yang baik dan benar menurut EYD.

Analisis Kuantitatif. Digunakan untuk mengetahui sejauh mana soal dapat membedakan antara peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta tes yang kemampuannya rendah (melalui analisis statistik).

Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal dengan benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban dari subyek-subyek yang dites.

Tingkat Kesukaran. Ada beberapa alasan untuk menyatakan tingkat kesukaran soal. Bisa saja tingkat kesukaran soal ditentukan oleh kedalaman soal, kompleksitas, atau hal-hal lain yang berkaitan dengan kemampuan yang diukur oleh soal. Namun demikian, ketika kita mengkaji lebih mendalam terhadap tingkat kesukaran soal, akan sulit menentukan mengapa sebuah soal lebih sukar dibandingkan dengan soal yang lain.

Secara umum, menurut teori klasik, tingkat kesukaran dapat dinyatakan melalui beberapa cara diantaranya (1) proporsi menjawab benar, (2) skala kesukaran linear, (3) indeks Davis, dan (4) skala bivariat. Proporsi jawaban benar (p), yaitu jumlah peserta tes yang menjawab benar pada butir soal yang dianalisis dibandingkan dengan jumlah peserta tes seluruhnya merupakan tingkat kesukaran yang paling umum digunakan.

Intinya, bermutu atau tidaknya butir-butir item tes hasil belajar pertama-tama dapat diketahui dari derajat kesukaran atau taraf kesukaran yang dimiliki oleh masing-masing butir item tersebut. Butir-butir item tes hasil belajar dapat dinyatakan sebagai butir-butir item yang baik, apabila butir-butir item tersebut tidak terlalu sukar dan tidak pula terlalu mudah dengan kata lain derajat kesukaran item itu adalah sedang atau cukup. Angka yang dapat memberikan petunjuk mengenai tingkat kesulitan item itu dikenal dengan istilah difficulty index (angka indeks kesukaran item), yang dalam dunia evaluasi hasil belajar umumnya dilambangkan dengan huruf P, yaitu singkatan dari kata proportion (proporsi = proporsa).

Kategori Tingkat Kesukaran

Nilai p	Kategori
P < 0.3	Sukar
0.3 ≤ p ≤ 0.7	Sedang
P > 0.7	Mudah

 Tindak Lanjut Hasil Analisis

Interpretasi Item	Tindak Lanjut
Sukar	1.        butir item dibuang atau didrop dan tidak dikeluarkan lagi dalam tes-tes hasil belajar yang akan datang 2.        diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir item yang bersangkutan sulit dijawab oleh testee, apakah kalimat soalnya kurang jelas, apakah petunjuk cara mengerjakan soalnya sulit dipahami, ataukah dalam soal tersebut terdapat istilah-istilah yang tidak jelas, dsb. Setelah dilakukan perbaikan, butir-butir item tersebut dikeluarkan lagi dalam tes hasil belajar yang akan datang. 3.        butir-butir yang terlalu sulit dapat digunakan kembali dalam tes (terutama tes seleksi) yang sifatnya sangat ketat.
Sedang	Butir item ini dapat dikeluarkan lagi dalam tes-tes hasil belajar pada waktu-waktu yang akan datang
Mudah	1.        butir item dibuang atau didrop dan tidak dikeluarkan lagi dalam tes-tes hasil belajar yang akan datang 2.        diteliti ulang, dilacak, dan ditelusuri sehingga dapat diketahui faktor yang menyebabkan butir item yang bersangkutan sulit dijawab oleh testee, apakah kalimat soalnya kurang jelas, apakah petunjuk cara mengerjakan solnya sulit dipahami, ataukah dalam soal tersebut terdapat istilah-istilah yang tidak jelas, dsb. Setelah dilakukan perbaikan, butir-butir item tersebut dikeluarkan lagi dalam tes hasil belajar yang akan datang. 3.        butir-butir yang terlalu sulit dapat digunakan kembali dalam tes (terutama tes seleksi) yang sifatnya longgar.

Daya Pembeda. Salah satu tujuan analisis kuantitatif soal adalah untuk menentukan dapat tidaknya suatu soal membedakan kelompok dalam aspek yang diukur sesuai dengan perbedaan yang ada dalam kelompok itu. Indeks yang digunakan dalam membedakan antara peserta tes yang berkemampuan rendah adalah indeks daya pembeda                           (item discrimination). Indeks daya pembeda soal-soal yang ditetapkan dari selisih proporsi yang menjawab dari masing-masing kelompok. Indeks ini menunjukkan kesesuaian antara fungsi soal dengan fungsi tes secara keseluruhan. Dengan demikian validitas soal ini sama dengan daya pembeda soal yaitu daya dalam membedakan antara peserta tes yang berkemampuan tinggi dengan peserta tes yang berkemampuan rendah.

Angka yang menunjukkan besarnya daya pembeda berkisar antara           -1 sampai dengan +1. Tanda negatif menunjukkan bahwa peserta tes yang kemampuannya rendah dapat menjawab benar sedangkan peserta tes yang kemampuannya tinggi menjawab salah. Dengan demikian soal indeks daya pembedanya negatif menunjukkan terbaliknya kualitas peserta.

Indeks diskriminasi item umumnya diberi lambang dengan huruf D (singkatan dari discriminatory power).

Indeks     Dsikriminasi Item (D)	Klasifikasi	Interpretasi
< 0,20	Poor	Butir item yang bersangkutan daya pembedanya lemah sekali (jelek), dianggap tidak memiliki daya pembeda yang baik
0,20 – 0,40	Satisfactory	Butir item yang bersangkutan telah memiliki daya pembeda yang cukup (sedang)
0,40 – 0,70	Good	Butir item yang bersangkutan telah memiliki daya pembeda yang baik
0,70 – 1,00	Excellent	Butir item yang bersangkutan  telah memiliki daya pembeda yang baik sekali
Bertanda negatif (-)	-	Butir item yang bersangkutan daya pembedanya negative sekali (jelek sekali)

Fungsi Distraktor. Pada saat membicarakan tes objektif bentuk multiple choice item tersebut untuk setiap butir item yang dikeluarkan dalam tes hasil belajar telah dilengkapi dengan beberapa kemungkinan jawab, atau yang sering dikenal dengan istilah option atau alternatif.

Option atau alternatif itu jumlahnya berkisar antara 3 sampai dengan 5 buah, dan dari kemungkinan-kemungkinan jawaban yang terpasang pada setiap butir item itu, salah satu diantaranya adalah merupakan jawaban betul (kunci jawaban), sedangkan sisanya adalah merupakan jawaban salah. Jawaban-jawaban salah itulah yang biasa dikenal dengan istilah distractor (pengecoh).

Menganalisis fungsi distraktor sering dikenal dengan istilah lain, yaitu : menganalisis pola penyebaran jawaban item. Adapun yang dimaksud dengan pola penyebaran jawaban item adalah suatu pola yang dapat menggambarkan bagaimana testee menentukan pilihan jawabnya terhadap kemungkinan-kemungkinan jawab yang telah dipasangkan pada setiap butir item.

Suatu kemungkinan dapat terjadi, yaitu bahwa dari keseluruhan alternatif yang dipasang pada butir item tertentu, sama sekali tidak dipilih oleh testee. Dengan kata lain, testee menyatakan “blangko”. Pernyataan blangko ini sering dikenal dengan istilah omiet dan biasa diberi lambang dengan huruf O.

Distraktor dinyatakan telah dapat menjalankan fungsinya dengan baik apabila distraktor tersebut sekurang-kurangnya sudah dipilih oleh 5 % dari seluruh peserta tes.

Sebagai tindak lanjut atas hasil penganalisaan terhadap fungsi distraktor tersebut maka distraktor yang sudah dapat menjalankan fungsinya dengan baik dapat dipakai lagi pada tes-tes yang akan datang, sedangkan distraktor yang belum dapat berfungsi dengan baik sebaiknya diperbaiki atau diganti dengan distraktor yang lain.

Reliabilitas. Keajegan dan ketidakajegan skor tes merupakan fokus  dari pengkajian tentang reliabilitas. Berikut adalah faktor yang mempengaruhi perolehan skor peserta didik (Thorndike) yang berakibat pada ketidakajegan terhadap skor.

 Faktor yang Mempengaruhi Reliabilitas Skor

1	Karakteristik umum yang permanen peserta tes a.       kemampuan yang dimiliki peserta didik dalam menghadapi tes b.      kemampuan umum dan teknik yang digunakan ketika mengambil tes c.       kemampuan umum untuk memahami petunjuk tes
2	Karakteristik khusus yang permanent peserta tes a.       kemampuan peserta didik yang berkaitan dengan atribut yang diukur dalam sebuah tes b.      pengetahuan dan kemampuan khusus yang berkaitan dengan soal c.       keajegan respon peserta didik terhadap pilihan jawaban (misalnya mereka cenderung memberi jawaban A dari 4 alternatif yang disediakan atau cenderung memilih B dari soal benar salah yang disajikan) Khusus yang berkaitan dengan soal a.       pengetahuan khusus yang berkaitan dengan fakta atau konsep khusus b.      pengetahuan dan kemampuan khusus yang berkaitan dengan soal
3	Karakteristik umum yang temporer seperti : a.       kesehatan b.      kelelahan c.       motivasi d.      gangguan emosi e.       kemampuan umum dan teknik yang digunakan ketika mengambil tes f.        pemahaman mekanisme tes g.       faktor panas, cahaya, ventilasi, dan lain sebagainya
4	Karakteristik khusus yang temporer seperti : Khusus yang berkaitan dengan tes secara keseluruhan a.       pemahaman terhadap petunjuk tes b.      trik atau teknik-teknik mengatasi tes c.       pengalaman/latihan menghadapi tes terlebih lagi dalam tes psikomotor d.      kebiasaan menghadapi sebuah tes Khusus yang berkaitan dengan soal a.       fluktuasi ingatan yang dimiliki peserta didik b.      hal-hal yang berkaitan dengan perhatian dan keakuratan
5	Faktor penyelenggaraan a.       waktu, bebas dari gangguan, dan petunjuk yang jelas b.      pengawasan c.       penskoran
6	Faktor yang tidak pernah diperhitungkan a.       keberuntungan karena faktor menebak b.      mengingat soal yang telah dilihatnya

 

*disarikan dari berbagai sumber