SIMAK: Membuat Game Pembelajaran Berbasis AR (Augmented Reality) dengan Gemini AI

KEMENAG, MIN 4 TEBO - Guru dapat memanfaatkan kecerdasan buatan untuk membuat media pembelajaran interaktif tanpa harus menguasai bahasa pemrograman. Salah satu contohnya adalah game pembelajaran berbasis Augmented Reality (AR) yang memanfaatkan kamera dan deteksi gerakan tangan. Praktiknya dibahas dalam Coaching Clinic PINTAR Kemenag bertajuk “Membuat Game Pembelajaran Berbasis AR (Augmented Reality)” melalui kanal YouTube @pintarkemenag.

Materi disampaikan oleh Nuraini, M.Pd. (Bu Aini), Widyaiswara Pusbangkom SDM Kemenag RI. Dalam sesi tersebut, peserta diperkenalkan pada Google Gemini melalui fitur Canvas, teknologi MediaPipe untuk mendeteksi gerakan tangan, serta ChatGPT sebagai alat bantu penyusunan prompt.

Gemini Canvas digunakan untuk membuat dan menampilkan aplikasi melalui instruksi teks. Sementara itu, MediaPipe berfungsi mengenali titik-titik gerakan tangan melalui kamera komputer atau laptop. Kombinasi teknologi tersebut memungkinkan gerakan tangan digunakan sebagai kendali dalam game pembelajaran.

Berikut tujuh tahapan yang diperkenalkan dalam sesi praktik tersebut.

1. Siapkan Materi dan Perangkat

Tentukan materi pelajaran yang akan dikembangkan menjadi game, seperti Matematika, IPAS, Al-Qur'an Hadis, atau Bahasa Arab. Siapkan pula soal, pilihan jawaban, dan bentuk interaksi yang ingin digunakan.

Perangkat yang diperlukan berupa komputer atau laptop berkamera, koneksi internet, serta akses ke Google Gemini.

2. Buka Gemini Canvas dan Buat Aplikasi Dasar

Gunakan fitur Canvas pada Google Gemini untuk membuat aplikasi sederhana. Berikan instruksi atau prompt agar Gemini menghasilkan aplikasi berbasis HTML dan JavaScript yang dapat mengakses webcam serta mengaktifkan deteksi tangan menggunakan MediaPipe.

3. Aktifkan dan Uji Hand Tracking

Jalankan aplikasi melalui fitur preview. Pastikan kamera dapat mengenali tangan kanan dan kiri serta menampilkan titik-titik pelacak pada bagian tangan.

Pengujian ini diperlukan untuk memastikan fungsi deteksi gerakan berjalan sebelum dikembangkan menjadi kendali permainan.

4. Tambahkan Efek Visual dan Gerakan Interaktif

Setelah deteksi tangan berfungsi, tambahkan instruksi untuk mengembangkan interaksi. Beberapa contoh yang diperagakan meliputi:

- Menghubungkan kedua tangan dengan garis atau efek laser.
- Menggunakan gerakan mencubit (pinch).
- Mengatur fungsi menarik dan memindahkan objek (drag and drop).

Fitur tersebut dapat disesuaikan dengan mekanisme permainan yang akan dibuat.

5. Masukkan Materi dan Atur Mekanisme Game

Masukkan soal dan materi pelajaran ke dalam aplikasi. Selanjutnya, tentukan cara murid berinteraksi dengan permainan, misalnya:

- Memilih jawaban dengan mengarahkan tangan ke opsi yang tersedia.
- Menarik objek ke tempat yang sesuai.
- Memasangkan pertanyaan dengan jawaban.
- Menjawab kuis menggunakan gerakan tangan.

Mekanisme permainan perlu disesuaikan dengan materi dan tujuan pembelajaran.

6. Lakukan Pengujian dan Perbaikan

Jalankan game untuk memeriksa fungsi kamera, respons gerakan, dan tampilan objek. Jika posisi tangan terlihat terbalik karena efek mirror, berikan instruksi kepada Gemini untuk memperbaikinya.

Guru juga dapat menambahkan kendali alternatif menggunakan mouse apabila webcam tidak dapat diakses atau mengalami kendala.

7. Bagikan Game dan Kumpulkan Karya

Setelah aplikasi selesai diuji, bagikan tautan game dari Gemini Canvas agar dapat diakses oleh murid. Hasil pengembangan juga dapat dikirimkan melalui portal Showcase atau Galeri Karya untuk didokumentasikan dan dibagikan bersama peserta lainnya.

Pembuatan game berbasis AR dengan bantuan AI memberikan alternatif bagi guru dalam mengembangkan media pembelajaran interaktif. Meski demikian, pemilihan fitur dan mekanisme permainan tetap perlu mempertimbangkan tujuan pembelajaran, ketersediaan perangkat, serta karakteristik murid.

Catatan: Artikel ini merupakan rangkuman tahapan praktik dalam Coaching Clinic PINTAR Kemenag. Tampilan dan fitur aplikasi dapat berbeda bergantung pada prompt, perangkat, serta pengembangan yang dilakukan.

Sumber video: https://www.youtube.com/live/_y9iVT-YUfs?si=wsyFUeTA0tV45aPp

*Bass