Seleksi Studi dan Diagram Alir PRISMA pada SLR: Menyaring, Mencatat, dan Melaporkan

Pendahuluan

Seorang mahasiswa melaporkan bahwa pencariannya menghasilkan 838 rekaman, dan hasil akhirnya 30 artikel. Ketika dosen bertanya, “Ke mana perginya 808 sisanya? Berapa yang duplikat? Berapa yang dibuang karena judulnya, berapa karena setelah dibaca lengkap? Apa alasannya?”, jawabannya hanya, “Saya pilih yang relevan, Pak.”

Itu bukan seleksi sistematis. Seleksi sistematis berarti setiap rekaman dapat ditelusuri: dari mana asalnya, kapan dan mengapa ia disingkirkan, atau bagaimana ia sampai masuk ke dalam review. Bukti visualnya adalah diagram alir PRISMA, yang memperlihatkan bagaimana ratusan rekaman menyusut menjadi sejumlah studi akhir.

Artikel ini adalah Part 4 dari seri Belajar Menulis Systematic Literature Review (SLR). Setelah Part 3 menghasilkan sekumpulan rekaman hasil pencarian, kita masuk ke tahap berikutnya: menyeleksinya. Kita membahas penghapusan duplikat, penyaringan judul dan abstrak, penilaian teks lengkap, kesepakatan antar-penilai, dan penyusunan diagram alir PRISMA 2020, lengkap dengan gambar contoh yang bisa Anda unduh.

Catatan penting.
Semua angka, judul, dan keputusan pada artikel ini adalah ilustrasi fiktif untuk pembelajaran, dan sinkron dengan contoh log pencarian di Part 3 (total 838 rekaman).
Informasi tentang alat dan layanan dicek pada 30 September 2026 dan dapat berubah.
Ketentuan kampus tentang jumlah penilai, bentuk pelaporan, dan pedoman yang dipakai selalu menjadi acuan utama.

Setelah membaca artikel ini, Anda diharapkan mampu:

• menjelaskan alur seleksi studi dan istilah rekaman, laporan, dan studi;
• menghapus duplikat dengan cara yang terdokumentasi;
• menyaring judul dan abstrak lalu teks lengkap dengan kriteria yang konsisten;
• menghitung dan menafsirkan kesepakatan antar-penilai (kappa);
• menyusun dan memeriksa diagram alir PRISMA 2020;
• menuliskan proses dan hasil seleksi pada Bab III dan Bab IV.

---

1. Alur Seleksi dan Istilahnya

1.1 Lima tahap

1.2 Rekaman, laporan, dan studi

PRISMA 2020 membedakan tiga istilah yang penting untuk diagram alir (Page dkk., 2021):

Satu studi dapat dipaparkan dalam lebih dari satu laporan (misalnya artikel jurnal dan makalah prosiding dari eksperimen yang sama). Dalam rancangan protokol kita di Part 2, publikasi ganda diperlakukan sebagai duplikat (kriteria EC5), sehingga pada contoh artikel ini jumlah studi dan jumlah laporan yang masuk sama. Bila protokol Anda memilih menggabungkan beberapa laporan menjadi satu studi, jumlah laporan dapat lebih besar daripada jumlah studi, dan PRISMA 2020 menyediakan kotak terpisah untuk keduanya.

---

2. Menyiapkan dan Menghapus Duplikat

2.1 Langkah persiapan

1. Ekspor hasil dari setiap database ke format RIS, BibTeX, atau CSV (lihat Part 3).
2. Impor ke pengelola referensi (misalnya Zotero), satu koleksi per database agar asal rekaman tetap tercatat.
3. Catat jumlah rekaman dari tiap sumber sebelum melakukan apa pun. PRISMA 2020 menyarankan, bila memungkinkan, melaporkan jumlah rekaman per database dan bukan hanya totalnya (PRISMA Statement, n.d.).

2.2 Menghapus duplikat

Rekaman yang sama sering muncul dari beberapa database. Ada beberapa cara menanganinya:

Beberapa prinsip:

• Jangan menghapus permanen. Pindahkan duplikat ke folder tersendiri agar dapat diperiksa ulang.
• Periksa manual pasangan yang diragukan, misalnya artikel dengan judul mirip tetapi tahun atau penulis berbeda (bisa jadi dua laporan yang berbeda).
• Catat jumlah sebelum dan sesudah, karena angka ini masuk ke diagram alir.

Pada contoh kita: 838 rekaman diidentifikasi, 156 duplikat dihapus, sehingga 682 rekaman unik disaring.

2.3 Uji coba (pilot) sebelum menyaring semuanya

Sebelum menyaring ratusan rekaman, uji coba kriteria pada sampel kecil, misalnya 20 sampai 60 rekaman, oleh dua orang. Bandingkan keputusannya, diskusikan perbedaannya, lalu perjelas kriteria yang ambigu. Kitchenham dan Charters (2007) juga menganjurkan uji coba seleksi untuk memperbaiki kriteria sebelum dipakai penuh.

---

3. Penyaringan Judul dan Abstrak

3.1 Prinsip: longgar pada tahap awal

Pada tahap ini Anda memutuskan berdasarkan judul dan abstrak saja. Prinsipnya longgar: bila ragu, sertakan untuk diperiksa pada teks lengkap. Menyingkirkan artikel relevan pada tahap ini adalah kesalahan yang tidak dapat dipulihkan, sedangkan meloloskan artikel yang tidak relevan hanya menambah pekerjaan pada tahap berikutnya. Prinsip ini sejalan dengan orientasi pencarian yang sensitif yang dibahas di Part 3 dan panduan dalam Cochrane Handbook (Lefebvre dkk., 2019).

3.2 Tiga keputusan

Rekaman berkeputusan “Ya” dan “Mungkin” maju ke tahap teks lengkap.

3.3 Contoh keputusan (fiktif)

Dengan kriteria dari Part 2 (media digital, hasil belajar PAI, siswa SD/MI, Indonesia, 2015 sampai 2025):

Pada tahap ini cukup mencatat keputusan. Alasan eksklusi yang rinci dicatat pada tahap teks lengkap (bagian 4).

3.4 Hindari kesalahan umum

• Memutuskan hanya dari judul ketika abstrak ada dan ambigu.
• Mengubah kriteria saat menyaring tanpa mencatatnya (lihat log perubahan protokol di Part 2).
• Membiarkan artikel “kelihatan bagus” lolos padahal tidak memenuhi kriteria, atau sebaliknya membuang yang “kelihatan lemah” padahal memenuhi kriteria.

---

4. Penilaian Teks Lengkap

4.1 Mengambil teks lengkap

Kumpulkan teks lengkap dari semua rekaman yang lolos. Bila sebuah artikel tidak dapat diakses, lakukan upaya wajar: cek akses kampus, cari versi akses terbuka, hubungi penulis, atau minta bantuan pustakawan (lihat artikel tentang mencari jurnal referensi). Bila tetap gagal, catat sebagai laporan yang tidak berhasil diambil pada diagram alir.

4.2 Menerapkan kriteria secara berurutan

Nilai setiap laporan terhadap seluruh kriteria inklusi dan eksklusi dari protokol. Untuk menghindari keputusan yang berbeda-beda, gunakan urutan tetap, dan catat satu alasan utama eksklusi, yaitu kriteria pertama dalam urutan itu yang tidak terpenuhi. Contoh urutan: EC1 (bukan studi empiris), EC2 (subjek), EC3 (media), EC4 (luaran), EC5 (duplikat).

4.3 Formulir seleksi teks lengkap

4.4 Publikasi ganda dan pelaporan alasan

• Publikasi ganda: bila dua laporan berasal dari studi yang sama, tentukan sesuai protokol Anda (misalnya pakai laporan paling lengkap dan catat yang lain sebagai duplikat).
• Studi yang dieksklusi pada teks lengkap: PRISMA 2020 (butir 16b) meminta Anda mengutip studi yang tampak memenuhi kriteria tetapi dieksklusi, beserta alasannya (Page dkk., 2021). Simpan daftar ini untuk lampiran.

---

5. Dua Penilai dan Kesepakatan (Kappa)

5.1 Mengapa dua penilai

Menyeleksi sendirian rawan kesalahan dan bias. Pedoman SLR umumnya menyarankan dua penilai independen, dengan perbedaan diselesaikan lewat diskusi atau penilai ketiga (Kitchenham & Charters, 2007; Lefebvre dkk., 2019). PRISMA 2020 (butir 8) juga meminta Anda melaporkan berapa penilai yang menyaring setiap rekaman dan laporan, apakah mereka bekerja independen, dan bila ada, rincian alat otomatis yang dipakai (Page dkk., 2021).

5.2 Koefisien kappa Cohen

Kesepakatan mentah (persentase keputusan yang sama) dapat menyesatkan karena sebagian kesepakatan terjadi secara kebetulan. Kappa Cohen (Cohen, 1960) mengoreksinya:

κ = (Po − Pe) / (1 − Pe)

Po = proporsi kesepakatan yang teramati
Pe = proporsi kesepakatan yang diharapkan karena kebetulan

Contoh perhitungan (putaran uji coba 1).
Dua penilai menyaring 60 rekaman.

• Po = (12 + 38) / 60 = 0,833 (kesepakatan mentah 83%).
• Pe = (18 × 16 + 42 × 44) / 60² = 2.136 / 3.600 = 0,593.
• κ = (0,833 − 0,593) / (1 − 0,593) = 0,59.

Kesepakatan mentah 83% terdengar tinggi, tetapi κ = 0,59 hanya tergolong sedang.

5.3 Menafsirkan kappa

Patokan yang paling banyak dirujuk berasal dari Landis dan Koch (1977):

McHugh (2012) berpendapat bahwa patokan itu terlalu longgar untuk keputusan yang penting dan mengusulkan tafsir yang lebih ketat, serta mengingatkan bahwa kappa dipengaruhi oleh proporsi kategori. Karena itu, gunakan kappa sebagai alat diagnosis, bukan angka ajaib.

5.4 Contoh: memperbaiki kriteria lalu mengulang

Setelah κ = 0,59, kedua penilai membahas sumber perbedaan: ternyata mereka berbeda tafsir tentang apakah “aplikasi kuis interaktif” termasuk media digital, dan apakah studi tanpa kelompok pembanding memenuhi IC3. Kriteria dijernihkan, lalu dilakukan putaran uji coba 2 pada 60 rekaman lain:

Po = 57 / 60 = 0,950; Pe = (18 × 17 + 42 × 43) / 3.600 = 0,587; κ = 0,88 (hampir sempurna). Langkah “diskusikan, perjelas kriteria, ulangi” inilah yang meningkatkan mutu seleksi.

5.5 Bila Anda mengerjakan sendirian

Mitigasinya:

• Minta pembimbing atau rekan menyeleksi sampel (misalnya 10 sampai 20% rekaman) secara independen, lalu hitung kappa.
• Lakukan penilaian ulang oleh diri sendiri setelah jeda beberapa hari pada sebagian sampel. Ini menunjukkan konsistensi Anda sendiri, tetapi lebih lemah daripada penilai kedua.
• Dokumentasikan alasan setiap keputusan.
• Akui keterbatasan ini pada pembahasan.

---

6. Diagram Alir PRISMA 2020

6.1 Apa yang berubah dari versi sebelumnya

Diagram PRISMA 2009 memiliki empat fase (Identifikasi, Penyaringan, Kelayakan, Termasuk). PRISMA 2020 meringkasnya menjadi tiga fase: Identifikasi, Penyaringan, dan Termasuk, dan menambahkan kotak untuk rekaman yang dihapus sebelum penyaringan, laporan yang tidak berhasil diambil, serta cabang untuk sumber selain database (Page dkk., 2021).

6.2 Kotak-kotak pada diagram

Berdasarkan templat resmi PRISMA 2020 (Page dkk., 2021):

Untuk sumber selain database (situs web, organisasi, penelusuran sitasi, dan sebagainya) tersedia lengan terpisah di sisi kanan, yang bergabung kembali pada kotak “Termasuk”.

6.3 Contoh diagram lengkap

Berikut diagram untuk contoh SLR kita (angka ilustratif dan sinkron dengan log di Part 3):

Gambar 1. Contoh diagram alir PRISMA 2020 (angka fiktif). Ketuk atau klik gambar untuk membukanya dalam ukuran penuh. Unduh: berkas SVG atau berkas PNG.

Karena diagram sulit dibaca pada layar kecil, berikut versi tabelnya:

Alasan eksklusi pada teks lengkap (basis data, n = 45): EC1 (bukan studi empiris) 14; EC2 (subjek bukan siswa SD/MI) 11; EC3 (media bukan digital) 9; EC4 (hanya persepsi, tanpa hasil belajar) 8; EC5 (publikasi ganda) 3. Untuk penelusuran sitasi (n = 12): EC2 sebanyak 5, EC4 sebanyak 4, dan EC5 sebanyak 3. Perhatikan bahwa EC6 (teks lengkap tidak dapat diperoleh) dari Part 2 muncul pada kotak “tidak berhasil diambil” dan bukan pada daftar alasan eksklusi.

6.4 Uji aritmetika: angka harus sinkron

Diagram yang angkanya tidak cocok akan segera menimbulkan pertanyaan. Periksa enam hubungan berikut:

Cabang penelusuran sitasi diperiksa dengan cara yang sama: 19 − 1 = 18; 18 − 12 = 6.

6.5 Alat bantu membuat diagram

• Templat resmi PRISMA 2020 (tersedia dalam beberapa format untuk review baru dan review yang diperbarui) dapat diisi manual (PRISMA Statement, n.d.).
• Paket R dan aplikasi web PRISMA2020 menyediakan cara membuat diagram yang sesuai standar. Alat ini gratis dan bersumber terbuka, dapat menghasilkan diagram statis (PNG, PDF, SVG) maupun interaktif (HTML), dan menyediakan antarmuka klik tanpa perlu menulis kode (Haddaway, Page, Pritchard, & McGuinness, 2022).
• Diagram buatan sendiri (seperti Gambar 1) boleh, asalkan struktur dan angkanya mengikuti standar.

---

7. Memeriksa Artikel yang Sudah Ditarik

Sebelum menetapkan studi akhir, periksa apakah ada artikel yang telah ditarik (retracted). Studi yang ditarik yang tetap masuk dalam review dapat merusak kesimpulan Anda.

• Retraction Watch Database kini dikelola bersama Crossref dan tersedia gratis sejak 2023 (Duke University Medical Center Library, n.d.).
• Pengelola referensi seperti Zotero dan EndNote mengintegrasikan data tersebut sehingga akan memperingatkan Anda bila ada item pada pustaka yang ditarik (Duke University Medical Center Library, n.d.).
• Data penarikan juga dapat keliru pada kasus tertentu, jadi konfirmasikan pada pemberitahuan resmi penerbit sebelum memutuskan.

Bila artikel yang termasuk ternyata ditarik, keluarkan dari sintesis dan laporkan alasannya (misalnya sebagai laporan yang dieksklusi dengan alasan “ditarik”).

---

8. Melaporkan Proses Seleksi

8.1 Butir PRISMA 2020 yang relevan

(Page dkk., 2021.)

8.2 Contoh paragraf metode (Bab III)

“Seleksi studi dilakukan dalam dua tahap. Pada tahap pertama, dua penilai (penulis dan pembimbing) menyaring judul dan abstrak secara independen berdasarkan kriteria inklusi dan eksklusi pada protokol. Rekaman yang diragukan dilanjutkan ke tahap kedua. Pada tahap kedua, teks lengkap dinilai terhadap seluruh kriteria; alasan eksklusi utama dicatat. Perbedaan keputusan diselesaikan melalui diskusi. Sebelum penyaringan penuh, dilakukan dua putaran uji coba masing-masing pada 60 rekaman; kesepakatan meningkat dari κ = 0,59 menjadi κ = 0,88 setelah kriteria diperjelas. Tidak digunakan alat otomatis untuk memutuskan inklusi atau eksklusi.”

8.3 Contoh paragraf hasil (Bab IV)

“Pencarian pada lima sumber menghasilkan 838 rekaman. Setelah 156 duplikat dihapus, 682 rekaman disaring berdasarkan judul dan abstrak, dan 601 dieksklusi. Sebanyak 81 laporan dicari teks lengkapnya, 6 di antaranya tidak berhasil diperoleh, dan 75 dinilai kelayakannya. Sebanyak 45 laporan dieksklusi dengan alasan yang dirinci pada Gambar 1 dan Lampiran C, sehingga 30 laporan memenuhi kriteria. Penelusuran sitasi menambah 6 laporan, sehingga total 36 studi dimasukkan dalam review.”

8.4 Yang sebaiknya dilampirkan

• Formulir seleksi teks lengkap dan daftar studi yang dieksklusi beserta alasannya (butir 16b).
• Log pencarian dan string lengkap (Part 3).
• Buku kode atau catatan keputusan dan hasil uji coba kesepakatan.

---

9. Alat Bantu Seleksi

Hati-hati dengan alat berbasis AI

Sebagian alat menawarkan pengurutan atau penyaringan otomatis berbasis AI. Templat PRISMA 2020 memang menyediakan kotak untuk rekaman yang ditandai tidak layak oleh alat otomatis, dan meminta Anda menyebutkan berapa yang dieksklusi oleh manusia dan berapa oleh alat. Bila Anda memakainya:

• Keputusan inklusi dan eksklusi tetap dibuat manusia. Alat hanya membantu mengurutkan atau menandai.
• Uji dan verifikasi hasilnya pada sampel, karena alat dapat keliru.
• Laporkan penggunaannya (butir 8) dan ikuti ketentuan kampus.
• Perhatikan privasi dan hak cipta data yang Anda unggah.

---

10. Sepuluh Kesalahan yang Paling Sering Terjadi

1. Tidak mencatat jumlah pada tiap tahap, sehingga diagram alir tidak dapat dibuat.
2. Menghapus duplikat secara otomatis tanpa memeriksa, atau menghapus permanen.
3. Menyaring judul dan abstrak dengan terlalu ketat, sehingga studi relevan hilang.
4. Mengubah kriteria di tengah proses tanpa mencatatnya.
5. Tidak melakukan uji coba kriteria sebelum penyaringan penuh.
6. Tidak mencatat alasan eksklusi pada tahap teks lengkap.
7. Hanya menyebut persentase kesepakatan mentah tanpa kappa, atau menganggap kappa sebagai angka ajaib.
8. Angka diagram tidak sinkron (jumlah alasan eksklusi tidak sama dengan jumlah yang dieksklusi).
9. Tidak memeriksa artikel yang telah ditarik.
10. Melaporkan hanya total identifikasi tanpa rincian per database, atau tidak mencantumkan daftar studi yang dieksklusi.

---

11. Latihan

Soal 1. Lengkapi angka yang hilang. Pencarian pada tiga database menghasilkan 420 rekaman. Setelah 85 duplikat dihapus, 290 rekaman dieksklusi pada penyaringan judul dan abstrak. Dari laporan yang dicari, 3 tidak berhasil diambil, dan pada teks lengkap 22 laporan dieksklusi. Hitung: rekaman disaring, laporan dicari, laporan dinilai, dan studi yang masuk.

Soal 2. Dua penilai menyaring 30 rekaman. Keduanya “Ya” pada 5 rekaman dan keduanya “Tidak” pada 20 rekaman. Penilai A “Ya” dan B “Tidak” pada 3 rekaman, sedangkan A “Tidak” dan B “Ya” pada 2 rekaman. Hitung kesepakatan mentah dan kappa, lalu tafsirkan.

Soal 3. Tentukan bagaimana Anda memperlakukan tiga kasus berikut: (a) sebuah artikel memenuhi semua kriteria tetapi teks lengkapnya tidak dapat diperoleh setelah upaya wajar; (b) sebuah artikel adalah tinjauan konseptual tanpa data empiris; (c) artikel jurnal dan makalah prosiding berasal dari eksperimen yang sama.

Jawaban.

1. Rekaman disaring = 420 − 85 = 335. Laporan dicari = 335 − 290 = 45. Laporan dinilai = 45 − 3 = 42. Studi masuk = 42 − 22 = 20.
2. n = 30. Po = (5 + 20) / 30 = 0,833. A “Ya” = 5 + 3 = 8; B “Ya” = 5 + 2 = 7. Pe = (8 × 7 + 22 × 23) / 900 = 562 / 900 = 0,624. κ = (0,833 − 0,624) / (1 − 0,624) = 0,56, tergolong sedang. Kesepakatan mentah 83% terlihat baik, tetapi kesepakatan di luar kebetulan hanya sedang, sehingga kriteria sebaiknya dijernihkan lalu uji coba diulang.
3. (a) Catat sebagai laporan yang tidak berhasil diambil pada diagram alir (bukan sebagai eksklusi karena tidak memenuhi kriteria). (b) Eksklusi dengan alasan EC1 (bukan studi empiris) pada penilaian teks lengkap atau saat penyaringan bila sudah jelas dari abstrak. (c) Perlakukan sesuai protokol: pada protokol kita, laporan kedua dieksklusi sebagai publikasi ganda (EC5) dan laporan paling lengkap yang dipakai. Bila protokol menggabungkan laporan menjadi satu studi, jumlah laporan yang masuk akan lebih besar daripada jumlah studi.

---

Pertanyaan yang Sering Diajukan

Berapa penilai yang dibutuhkan? Pedoman umumnya menyarankan dua penilai independen. Untuk skripsi individual, ikuti ketentuan kampus dan gunakan mitigasi pada bagian 5.5 bila terpaksa sendirian.

Perlukah menghitung kappa? Sangat berguna pada tahap uji coba dan pada sampel seleksi bila ada dua penilai. Bila hanya seorang diri, kappa dapat dihitung terhadap penilaian ulang atau penilai kedua pada sampel.

Bolehkah mengeksklusi hanya dari judul? Boleh bila judul jelas tidak relevan. Bila ada keraguan, baca abstrak, dan bila masih ragu, lanjutkan ke teks lengkap.

Bagaimana melaporkan hasil Google Scholar yang hanya ditinjau sebagian? Laporkan jumlah rekaman yang benar-benar ditinjau (misalnya 100 hasil teratas dari tiap pencarian), sebutkan bahwa pencarian tidak menelusuri seluruh hasil, dan cantumkan sebagai keterbatasan.

Bagaimana bila teks lengkap tidak dapat diakses? Lakukan upaya wajar, lalu catat sebagai laporan yang tidak berhasil diambil. Jumlahnya tampil di diagram alir dan dijelaskan sebagai keterbatasan.

---

Rangkuman

• Seleksi sistematis berarti setiap rekaman dapat ditelusuri dari asal sampai keputusan akhirnya.
• Bedakan rekaman, laporan, dan studi. Catat jumlah pada setiap tahap.
• Hapus duplikat dengan pemeriksaan manual dan tanpa penghapusan permanen. Uji coba kriteria sebelum menyaring penuh.
• Pada judul dan abstrak, bersikaplah longgar. Pada teks lengkap, terapkan kriteria secara berurutan dan catat satu alasan utama eksklusi.
• Gunakan dua penilai dan hitung kappa sebagai alat diagnosis. Kesepakatan mentah dapat menyesatkan.
• Diagram alir PRISMA 2020 memiliki tiga fase, kotak untuk laporan yang tidak berhasil diambil, dan lengan untuk sumber lain. Periksa aritmetikanya.
• Periksa artikel yang ditarik, lalu laporkan proses seleksi (butir 8, 16a, dan 16b) dan lampirkan daftar studi yang dieksklusi.
• Alat bantu, termasuk yang berbasis AI, tidak menggantikan keputusan manusia, dan penggunaannya harus dilaporkan.

Pertanyaan Refleksi

1. Apakah setiap rekaman dalam pencarian Anda dapat ditelusuri dari asal sampai keputusan akhirnya?
2. Apakah kriteria Anda sudah diuji pada sampel oleh dua orang, dan berapa kappa-nya?
3. Apakah angka pada diagram alir Anda lolos enam pemeriksaan aritmetika?
4. Siapa yang dapat memverifikasi keputusan seleksi Anda bila Anda mengerjakan sendirian?

Artikel Lanjutan

Bagian berikutnya, Part 5, membahas penilaian kualitas studi dan ekstraksi data: memilih alat penilaian yang sesuai desain studi, menyusun formulir ekstraksi, dan menyiapkan data untuk sintesis.

Bagian sebelumnya: Part 1: Apa Itu SLR?, Part 2: Pertanyaan Review dan Protokol, dan Part 3: Strategi Pencarian Sistematis.

---

Daftar Pustaka

Bramer, W. M., Giustini, D., de Jonge, G. B., Holland, L., & Bekhuis, T. (2016). De-duplication of database search results for systematic reviews in EndNote. Journal of the Medical Library Association, 104(3), 240–243.

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.

Duke University Medical Center Library. (n.d.). Identifying retracted journal articles. https://mclibrary.duke.edu/news/identifying-retracted-journal-articles

Haddaway, N. R., Page, M. J., Pritchard, C. C., & McGuinness, L. A. (2022). PRISMA2020: An R package and Shiny app for producing PRISMA 2020-compliant flow diagrams, with interactivity for optimised digital transparency and Open Synthesis. Campbell Systematic Reviews, 18(2), Article e1230. https://doi.org/10.1002/cl2.1230

Kitchenham, B., & Charters, S. (2007). Guidelines for performing systematic literature reviews in software engineering (Version 2.3; EBSE Technical Report EBSE-2007-01). Keele University and University of Durham.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.

Lefebvre, C., Glanville, J., Briscoe, S., Featherstone, R., Littlewood, A., Marshall, C., … Wieland, L. S. (2019). Searching for and selecting studies. In J. P. T. Higgins, J. Thomas, J. Chandler, M. Cumpston, T. Li, M. J. Page, & V. A. Welch (Eds.), Cochrane handbook for systematic reviews of interventions (2nd ed.). Wiley-Blackwell.

McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282.

Ouzzani, M., Hammady, H., Fedorowicz, Z., & Elmagarmid, A. (2016). Rayyan: A web and mobile app for systematic reviews. Systematic Reviews, 5, Article 210.

Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., … Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, Article n71. https://doi.org/10.1136/bmj.n71

PRISMA Statement. (n.d.). PRISMA 2020 flow diagram. https://www.prisma-statement.org/prisma-2020-flow-diagram

Catatan: daftar penulis pada beberapa rujukan (Lefebvre dkk., 2019; Page dkk., 2021) dipersingkat; lihat sumber aslinya untuk daftar lengkap. Diagram alir pada Gambar 1 dibuat mengikuti struktur templat PRISMA 2020 dengan angka fiktif. Informasi tentang alat dan layanan diperiksa pada 30 September 2026 dan dapat berubah.