Perkembangan teknologi Internet of Things (IoT) dan computer vision mendorong terciptanya sistem otomasi yang mampu meningkatkan kemandirian pengguna, khususnya penyandang disabilitas dan individu dengan keterbatasan mobilitas. Penelitian ini bertujuan merancang dan mengimplementasikan sistem kendali tirai otomatis berbasis gesture recognition menggunakan modul ESP32-CAM, mikrokontroler ESP32, algoritma Convolutional Neural Network (CNN), serta MediaPipe sebagai teknologi asistif yang memungkinkan pengguna membuka dan menutup tirai tanpa kontak fisik. Sistem bekerja dengan menangkap citra gerakan tangan secara real-time melalui ESP32-CAM, kemudian melakukan deteksi landmark tangan dan klasifikasi gesture sebelum mengirimkan perintah ke ESP32 untuk mengendalikan motor servo sebagai aktuator tirai. Proses pengembangan meliputi analisis kebutuhan, perancangan perangkat keras dan perangkat lunak, implementasi sistem, serta pengujian pada berbagai kondisi pencahayaan dan variasi gesture. Hasil pengujian menunjukkan bahwa sistem mampu mengenali gesture buka dan tutup tirai dengan rata-rata akurasi 93,3% pada pengujian 90 percobaan. Tingkat keberhasilan deteksi terbaik diperoleh pada intensitas cahaya 300–500 lux dengan akurasi mencapai 97%, sehingga sistem dinilai efektif, responsif, dan layak diterapkan sebagai solusi otomasi rumah pintar berbasis teknologi asistif.
References
[1] Damatraseta, F., Novariany, R., & Ridhani, M. A. (2021). Real-time BISINDO Hand Gesture Detection and Recognition with Deep Learning CNN. Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), 5(6), 1128–1134.
[2] Fitriyah. (2024). Rancang Bangun Prototype Sistem Buka Tutup Gorden Berbasis Mikrokontroller Arduino Uno. Jurnal Teknik Elektro dan Komputer.
[3] Ibrary, M. E. L., Dan, O. P., & Ipe, M. E. P. (2022). Hand Gesture Recognition Sebagai Media Interaksi Manusia dan Komputer. Jurnal Ilmiah Teknologi Informasi.
[4] Khairianto, D., & Firdaus, R. (2024). Penerapan Hand Gesture Recognition Sebagai Media Kontrol Presentasi Aplikasi Powerpoint. Jurnal Teknik Informatika.
[5] Nasution, M. F., Nulfatwa, R. I., Maryam, R. N., dkk. (2022). Perancangan Alat Bantu Komunikasi Pasien Stroke Berat Menggunakan Gesture Recognition Terintegrasi Internet of Things. Jurnal Teknik Elektro.
[6] Nasution, M. S., Amin, M., & Fitriani, W. (2023). Smart Sistem IoT Pemberi Pakan Ikan Dengan Menggunakan Metode Time Schedulling Berbasis Mikrokontroller. Jurnal Sistem Informasi dan Teknologi.
[7] Penelitian, M., & Pengertian, D. (2025). Metode Penelitian dan Tahapan Pengembangan Sistem. Jurnal Rekayasa Perangkat Lunak.
[8] Perangin - Angin, A., Ishak, I., & Sitorus Pane, U. F. S. (2022). Implementasi IoT Sistem Pembuka Tirai Otomatis Menggunakan Metode Simplex Via Bot Telegram. Jurnal Ilmu Komputer dan Teknologi Informasi.
[9] Somayasa, D. M. N., Nursalam, M. N., Taslimah, I. I., Nafarudin, Sutiari, D. K., & Abidin, M. Z. (2024). Prototipe Pengontrolan Nyala Dan Padamnya Lampu Berbasis IoT. Jurnal Teknik Elektro.
[10] Tanjaya, K. A., Naufal, M. F., & Arwoko, H. (2023). Pilates Pose Classification Using MediaPipe and Convolutional Neural Networks with Transfer Learning. Jurnal Ilmu Komputer dan Informasi.
[11] Wameed, M., Alkamachi, A. M., & Ercelebi, E. (2023). Tracked Robot Control with Hand Gesture Based on MediaPipe. International Journal of Intelligent Engineering and Systems.