Published on September 9, 2024 by Bilson Simamora | Last Updated on September 9, 2024 by Bilson Simamora
Content validity adalah sebuah penilaian apakah sebuah instrumen telah mencakup semua aspek-aspek sebuah konstruk. Langkah ini diperlukan pada saat peneliti ingin mengembangkan instrumen baru atau mengadaptasi instrumen yang sudah ada.
Misalkan kita ingin mengukur loyalitas konsumen dan membuat instrumen berdasarkan teori yang kita gunakan. Pertanyaannya pertama, apakah variabel pengamatan yang digunakan sudah mencakup semua aspek yang diperlukan? Pertanyaan kedua, apakah variabel-variabel pengamatan perlu?
Content validity tidak terpenuhi apabila, pertama, alat ukur tidak dikembangkan berdasarkan teori yang sesuai dengan konteks penelitian. Kedua, item-item pertanyaan tidak mencakup semua aspek yang dijelaskan dalam teori. Ketiga, sebagian atau semua item pertanyaan tidak relevan, tidak jelas, atau tidak penting (Rodriguez et al. 2017).
Tahap Pertama: Mengembangkan Instrumen Pengukuran
Bukti content validity sangat diperlukan apabila peneliti ingin mengembangkan instrumen pengukuran baru. Teori memang diperlukan untuk tujuan itu. Namun, dalam pengembangan instrumen baru, seringkali peneliti mengembangkan sebuah konsep atau dimensinya ke dalam sejumlah besar item pertanyaan yang kemudian direduksi menjadi sejumlah lebih kecil item pertanyaan.
Misalnya, untuk pengembangan instrumen Patient-Centered Communication, Zamanzadeh et al. (2015) membuat 188 pertanyaan, yang setelah melalui analisis validitas konten, direduksi menjadi 39 pertanyaan.
Tahap Kedua: Meminta Penilaian Para Ahli
Hasil penilaian para ahli dapat diolah menggunakan content validity ratio (CVR) dan content validity index (CVI).
Content Validity Ratio
Berdasarkan Aaker (1991), seorang peneliti ingin mengembangkan instrumen pengukuran loyalitas terhadap wedding organizer X. Dia menghasilkan 10 variabel pengamatan, lalu meminta penilaian para ahli apakah variabel-variabel pengamatan tersebut diperlukan (essential) (Tabel 6.1). Pilihan yang disediakan adalah tidak diperlukan (not necessary), bermanfaat tetapi tidak dibutuhkan (useful but not essential) dan dibutuhkan (essential) (Lawshe, 1975; Rodrigues et al., 2017; Zamanzadeh et al., 2015), seperti ditampilkan pada Tabel 6.1. Misalkan hasil penilaian para ahli adalah seperti pada Tabel 6.2. Jumlah ahli yang dimintai penilaian adalah 12 orang.
Tabel 6.1. Contoh Kuesioner
Tabel 6.2. Contoh Hasil
Dari Tabel 6.2 perhatian kita berikan pada skor Ne, yang menunjukkan jumlah ahli yang menilai suatu item dibutuhkan. Berdasarkan nilai Ne, kita dapat menghitung Content Validity Ratio (CVR) sebagai berikut:
di mana, Ne adalah jumlah ahli yang menilai suatu item dibutuhkan dan N adalah jumlah semua ahli yang dimintai pendapat. Nilai CVR akan selalu berkisar antara -1 sampai 1. Nilai minimal CVR yang diterima tergantung pada jumlah panelis (Lawshe, 1975), seperti ditampilkan pada Tabel 6.3.
Tabel 6.3. Tabel Lawshe
Perhitungan untuk item pertama adalah: CVR=(10- 12/2)/(12/2)=(10-6)/6=4/6=0.67. CVR item-item lain dihitung dengan cara yang sama. Selanjutnya nilai CVR dibandingkan dengan standar yang diberikan oleh Lawshe (1975) di atas. Untuk jumlah panelis sebanyak 12 orang, maka nilai minimum CVR adalah 0.56. Karena itu, variabel pengamatan yang memenuhi bukti validitas konten adalah nomor 1, 4, 6, 9, dan 10.
Content Validity Index
Content validity index (CVI) dapat digunakan untuk memeriksa relevansi, kejelasan, dan kepentingan item-item pertanyaan menurut para ahli (Rodriquez et al. 2017), seperti pada Tabel 6.2. Kejelasan di sini maksudnya adalah kejelasan setiap item pertanyaan. Pada face validity dipertanyakan juga aspek kejelasan, namun sifatnya bukan per item, tetapi instrumen secara keseluruhan.
CVI dapat dipakai untuk memeriksa validitas dari sisi relevansi, kejelasan dan kepentingan suatu item. Informasi paling penting adalah indeks relevansi, yang berkaitan dengan apakah sebuah item mengukur konsep (konstruk) yang mau diukur.
Aspek kejelasan memeriksa apakah sebuah item mampu mengukur variabel yang mau diukur ataukah berpotensi menimbulkan missing data (karena tidak dijawab) dan bias atau penyimpangan jawaban. CVI berbasis aspek kepentingan sebenarnya dapat menghasilkan kesimpulan sama dengan CVI berbasis relevansi. Item yang penting juga relevan dan aspek yang tidak penting berarti tidak relevan. Namun, aspek CVI dapat mendeteksi item pertanyaan yang tidak penting (tidak relevan) mengukur konstruk, tetapi mengandung informasi bermanfaat, yang memperkaya hasil penelitian.
Tabel 6.4.
Untuk melakukan pengujian validitas konten berdasarkan relevansi, data asli harus dikelompokkan bersifat dikotomi. Pada Tabel 6.1 ada empat pilihan jawaban untuk setiap pertanyaan. Keempat pilihan tersebut harus dikelompokkan menjadi dua kelompok, yaitu „setuju‟ dan „tidak setuju‟ (Taherdoost, 2016).
Pilihan tidak relevan dan agak relevan, kita kategorikan
„tidak setuju‟, sedangkan pilihan „cukup relevan‟ dan „relevan‟ dikategorikan menjadi „setuju‟. Nilai content validity index item (I- CVI) diperoleh melalui persamaan:
I-CVI=ni/N
di mana, ni=jumlah panelis yang menjawab item ke-i relevan dan N=jumlah panelis. Nilai CVI berkisar antara 0 – 1. Bila I-CVI > 0.79, item adalah relevan. Bila nilainya antara 0.70 sampai 0.79, maka item perlu direvisi. Bila I-CVI di bawah 0.70 berarti item dikeluarkan.
Pada level instrumen, kita juga bisa memperoleh hasil scale- level content validity index (S-CVI). Ada dua sadar yang digunakan, yaitu persetujuan umum di antara para ahli [universal agreement among experts (S-CVI/UA)] dan rata-rata CVI (S-CVI/Ave).
S-CVI/UA=Sum of UA scores/number of items
S-CVI/Ave=Sum of proportion relevant rating/number of experts
Apabila S-CVI/UA ≥ 0.8 dan a S-CVI/Ave ≥ 0.9 maka instrumen memiliki validitas konten yang baik.
Rodrigues et al. (2017) menyatakan bahwa perhitungan nilai I-CVI belum memperhitungkan bias ke atas (inflasi). Untuk mengoreksinya, diperlukan nilai Kappa, yang dihitung dengan rumus:
K= (I-CVI-PC)/(1-PC)
di mana, K=nilai Kappa, CVIi=CVI item ke-i. Pc adalah nilai yang diperoleh dengan rumus: Pc = [N!/A!(N-A)!]*0.5N. Nilai Kappa di atas 0.74 tergolong sangat baik (excellent), antara 0.60 sampai 0.74 adalah baik (good), pada kisaran 0.40 sampai 0.59 cukup baik, dan di bawah 0.40 buruk.
Dalam contoh berikut, instrumen yang digunakan adalah seperti pada Tabel 6.4. Peneliti mendatangi 12 ahli (expert) dan meminta mereka mengisi kuesioner. Hasil dan nilai-nilai I-CVI, Kappa, S-CVI/Ave dan S-SCVI/UA disajikan pada Tabel 6.5.
Tabel 6.5.
Dari Tabel 6.5. berdasarkan nilai I-CVI dan Kappa terdapat lima item yang valid. Empat di antaranya dapat digunakan langsung (no. 1, 4, 9 dan 10), satu harus direvisi terlebih dahulu (no. 6). Lima item (no. 2, 3, 5, 7 dan 8) harus dikeluarkan dari instrumen karena tidak valid. Mungkin di antara kelima item ini ada tidak bermanfaat atau bermanfaat namun bukan bagian dari instrumen (bermanfaat tetapi tidak penting). Untuk itu, perlu dilakukan CVI berbasis tingkat kepentingan.
Revisi pada item yang valid tetapi perlu direvisi dilakukan untuk memperjelas apa sesungguhnya yang mau diukur, bukan kejelasan dari sisi kualitas bahasa, yang dinilai dalam CVI berbasis kejelasan.
Item pertanyaan: “Saya akan membela wedding organizer X apabila ada menjelek-jelekkannya,” perlu direvisi karena mengandung pertanyaan, yaitu: (1) apa yang dimaksud membela? (2) apa yang dimaksud menjelek-jelekkan? Apabila direvisi menjadi seperti berikut ini maksud pertanyaan menjadi jelas:
“Apabila diperlukan dan ada kesempatan menyampaikannya, saya akan membagikan informasi yang benar untuk melawan informasi menyesatkan tentang wedding organizing X.”
Interpretasi SCI/Ave dan SCI/UA
Nilai SCI/Ave dan SCI/UA memberikan kesimpulan tentang content validity seluruh item sekaligus. Seperti disampaikan sebelumnya, apabila S-CVI/UA ≥ 0.8 dan a S-CVI/Ave ≥ 0.9, maka instrumen memiliki validitas konten yang baik. Pada contoh di atas (Tabel 6.5) terlihat bahwa S-CVI/Ave=0.55 dan SCI/UA=0.36. Nilai SCI/Ave diperoleh dengan mencari nilai rata-rata I-CVI semua item pertanyaan, yaitu: (1.00 + 0.08 + … + 1.00)/11=0.55. S-CVI/UA diperoleh dengan menghitung proporsi item-item yang nilainya
1.00 (4 item) dengan yang nilainya kurang dari 1.00 (7 item) atau 4/10=0.40.
Nilai S-CVI/Ave dan S-CVI/UA menunjukkan bahwa validitas konten instrumen buruk dan perlu diperbaiki, yaitu dengan mengeluarkan item-item pertanyaan yang tidak valid. Hasilnya disajikan pada Tabel 6.6. Terlihat bahwa instrumen pengukuran konstruk loyalitas wedding organizer X berdasarkan nilai S-CVI/Ave dan S-CVI/UA telah memiliki validitas yang baik.
Tabel 6.6.
CVI Berbasis Kejelasan dan Kepentingan
Pendekatan ini menggunakan cara yang sama saja dengan CVI berbasis relevansi yang telah dicontohkan, hanya pertanyaannya diarahkan untuk meminta penilaian ahli tentang kejelasan (clarity) dan tingkat kepentingan (importance) setiap item. Namun, CVI berbasis kejelasan (clarity) dan kepentingan (importance) tidak dimaksudkan untuk memutuskan apakah item-item pertanyaan yang diuji atau tidak. Aspek kejelasan menyatakan apakah item pertanyaan dapat dimengerti, sedangkan aspek kepentingan menyatakan apakah suatu item penting atau tidak penting namun bermanfaat. Indeks ini diperlukan untuk mendeteksi item pertanyaan yang berisikan informasi bermanfaat bagi penelitian, yang mungkin dikeluarkan dalam CVI berbasis relevansi. Idealnya item yang “penting‟ juga “relevan‟. Kalau hasil CVI berbeda dari harapan ini, berarti ada yang salah dalam proses pengumpulan data.
Formulir Hasil Verifikasi
Content validity verification harus dilakukan dan dipenuhi sebuah penelitian. Artinya, peneliti harus yakin bahwa item-item pengukuran adalah relevan, jelas, penting dan cukup (tidak terlalu sedikit dan tidak terlalu banyak) untuk mengukur konstruk. Untuk itu, pengembangan instrumen perlu didasarkan pada literatur yang tepat dan cukup.
Analisis CVR dan CVI direkomendasikan, namun tidak diwajibkan (Taherdoost, 2016). Bila dilakukan, maka bagian ini dapat menjadi nilai tambah artikel untuk memasuki jurnal internasional bereputasi. Bahkan, ada juga artikel jurnal internasional bereputasi yang menjadikan content validity merupakan topik penelitiannya (misalnya: Lawshe,1975; Rodrigues et al., 2017).
Tabel 6.7. Contoh Hasil Verifikasi Bukti Validitas Konten
| Komponen | Argumen |
| Konstruk didefinisikan jelas sesuai konteks penelitian | |
| Variabel-variabel penelitian diturunkan dari definisi konstruk | |
| Item-item pertanyaan dirumuskan berdasarkan variabel penelitian | |
| Jumlah item penelitian cukup untuk menggambarkan konstruk (tidak terlalu sedikit atau terlalu banyak) | |
| Item-item penelitian yang digunakan relevan, jelas dan penting | |
| Hasil verifikasi | Bukti validitas konten terpenuhi |
Referensi
- Aaker, D.A. (1991). Managing Brand Equity. New York: The Free Press.
- Lawshe, C.H. (1975). A Quantitative Approach to Content Validity. Personnel Psychology, 28, 563-575. Retrieved October 28, 2022, from https://parsmodir.com/wp-content/uploads/2015/03/law
- Rodrigues, I.B., Adachi, J.D., Beattie, K.A. et al. (2017). Development and Validation of a New Tool To Measure The Facilitators, Barriers and Preferences To Exercise in People with Osteoporosis. BMC Musculoskelet Disord, 18, 540. https://doi.org/10.1186/s12891-017-1914-5
- Taherdoost, H. (2016). Validity and Reliability of the Research Instrument: How to Test The Validation Of A Questionnaire/Survey in A Research. International Journal of Academic Research in Management, 5(3), 28-36.
- Zamanzadeh, V., Ghahramanian, A., Rassouli, M., Abbaszadeh, A., Alavi-Majd, H., & Nikanfar, A. R. (2015). Design and Implementation Content Validity Study: Development of an Instrument for Measuring Patient-Centered Communication. Journal of Caring Sciences, 4(2), 165–178. https://doi.org/10.15171/jcs.2015.017