Kohesi: Jurnal Sains dan Teknologi

Articles

Vol. 11 No. 5 (2026): Kohesi: Jurnal Sains dan Teknologi, ISSN 3025-1311

PENGENALAN GESTURE TANGAN BERBASIS MEDIAPIPE HANDS UNTUK KENDALI PERANGKAT INTERNET OF THINGS

Submitted
October 4, 2026
Published
2026-10-04

Abstract

Penelitian ini menyajikan sistem pengenalan gesture tangan berbasis MediaPipe Hands sebagai antarmuka real-time untuk mengendalikan perangkat Internet of Things (IoT). Sistem menggunakan kamera sebagai media masukan, MediaPipe Hands untuk mengekstraksi 21 titik landmark tangan, dan klasifikasi berbasis aturan (rule-based) untuk mengenali empat gesture statis, yaitu Open Palm, Fist, One Finger, dan Two Finger. Setiap hasil klasifikasi divalidasi dengan mekanisme stabilisasi gesture, kemudian dikonversi menjadi perintah dan dikirim melalui protokol Message Queuing Telemetry Transport (MQTT) kepada mikrokontroler ESP32 yang menggerakkan lampu melalui relay dan motor servo sebagai representasi pintu. Penelitian menggunakan pendekatan eksperimental berbasis rekayasa sistem dengan evaluasi pada tingkat keberhasilan pengenalan, nilai confidence, frame rate, waktu respons, serta keberhasilan komunikasi MQTT dan pengendalian perangkat. Hasil pengujian menunjukkan gesture Open Palm dan Fist dikenali dengan tingkat keberhasilan 100%, sedangkan One Finger dan Two Finger sebesar 95,24%, sehingga tingkat keberhasilan keseluruhan mencapai 97,59% dari 83 percobaan. Nilai confidence berada pada rentang 90,67% hingga 99,02%, frame rate sekitar 27,8 FPS, dan waktu respons yang tercatat 9,12-9,31 ms. Seluruh payload MQTT diterima ESP32 dan dieksekusi dengan benar oleh relay maupun motor servo. Hasil tersebut menunjukkan bahwa pendekatan rule-based yang ringan dapat menjadi antarmuka kendali tanpa sentuhan yang praktis bagi perangkat IoT sederhana pada kondisi pengujian yang digunakan.

References

  1. [1] Basri, M., Manurung, A. A., & Hasibuan, A. R. (2024). Internet of Things: Sistem Monitoring Tandon Air Berbasis ESP-8266. Portal Riset dan Inovasi Sistem Perangkat Lunak, 2(1), 35-44. https://doi.org/10.59696/prinsip.v2i1.72
  2. [2] Sari, I. P., Novita, A., Al-Khowarizmi, A.-K., Ramadhani, F., & Satria, A. (2024). Pemanfaatan Internet of Things (IoT) pada Bidang Pertanian Menggunakan Arduino Uno R3. Blend Sains Jurnal Teknik, 2(4), 337-343. https://doi.org/10.56211/blendsains.v2i4.505
  3. [3] Rangkuti, T. H., & Martiano, M. (2025). Design of IoT Based Electrical Parameter Monitoring System using NodeMCU V3 and PZEM-004T V3 Sensor. Tsabit Journal of Computer Science, 2(1), 1-8. https://doi.org/10.56211/tsabit42
  4. [4] Barelvi, A., & Basri, M. (2025). Smart Warning System Prototype DAM. Tsabit Journal of Computer Science, 2(1), 9-16. https://doi.org/10.56211/tsabit35
  5. [5] Sari, I. P., Apdilah, D., & Guntur, S. (2025). Sistem Smart Class Berbasis Internet of Things (IoT). Sudo Jurnal Teknik Informatika, 4(1), 33-39. https://doi.org/10.56211/sudo.v4i1.778
  6. [6] Mubarak, M. A., Fattah, F., & Azis, H. (2025). Prototipe Smart Home Berbasis ESP32 dengan Fitur Keamanan Pintu, Lampu, dan AC Otomatis Berbasis IoT. LINIER: Literatur Informatika dan Komputer, 2(3), 421-437. https://doi.org/10.33096/linier.v2i3.3152
  7. [7] Sen, A., Mishra, T. K., & Dash, R. (2023). Deep learning based hand gesture recognition system and design of a Human-Machine Interface. arXiv preprint. http://arxiv.org/abs/2207.03112
  8. [8] Lee, H., Mandivarapu, J. K., Ogbazghi, N., & Li, Y. (2022). Real-time Interface Control with Motion Gesture Recognition based on Non-contact Capacitive Sensing. arXiv preprint. http://arxiv.org/abs/2201.01755
  9. [9] Khan, A., Sohail, A., Zahoora, U., & Qureshi, A. S. (2020). A survey of the recent architectures of deep convolutional neural networks. Artificial Intelligence Review, 53(8), 5455-5516. https://doi.org/10.1007/s10462-020-09825-6
  10. [10] Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C.-L., & Grundmann, M. (2020). MediaPipe Hands: On-device Real-time Hand Tracking. arXiv preprint. http://arxiv.org/abs/2006.10214
  11. [11] Sung, G., Sokal, K., Uboweja, E., Bazarevsky, V., Baccash, J., Bazavan, E. G., Chang, C.-L., & Grundmann, M. (2021). On-device Real-time Hand Gesture Recognition. arXiv preprint. http://arxiv.org/abs/2111.00038
  12. [12] Uboweja, E., Tian, D., Wang, Q., Kuo, Y.-C., Zou, J., Wang, L., Sung, G., & Grundmann, M. (2023). On-device Real-time Custom Hand Gesture Recognition. arXiv preprint. http://arxiv.org/abs/2309.10858
  13. [13] Nur Budiman, S., Lestanti, S., Marselius Evvandri, S., & Kartika Putri, R. (2022). Pengenalan Gestur Gerakan Jari untuk Mengontrol Volume di Komputer Menggunakan Library OpenCV dan MediaPipe. Antivirus: Jurnal Ilmiah Teknik Informatika, 16(2), 223-232. https://doi.org/10.35457/antivirus.v16i2.2508
  14. [14] Dewangga, S., Subianto, M., & Swastika, W. (2024). Implementation of Hand Gesture Recognition as Smart Home Devices Controller. Journal of Intelligent System and Computation, 6(2), 63-68. https://doi.org/10.52985/insyst.v6i2.372
  15. [15] Yang, C. Y., Lin, Y. N., Wang, S. K., Shen, V. R. L., Tung, Y. C., Shen, F. H. C., & Huang, C. H. (2023). Smart Control of Home Appliances Using Hand Gesture Recognition in an IoT-Enabled System. Applied Artificial Intelligence, 37(1). https://doi.org/10.1080/08839514.2023.2176607
  16. [16] Maruthai, S., S, S., & S, V. (2026). Mediapipe-based keypoint extraction with optimized neural models for offline smart control. ITM Web of Conferences, 82, 01011. https://doi.org/10.1051/itmconf/20268201011
  17. [17] Awaluddin, B. A., Chao, C. T., & Chiou, J. S. (2024). A Hybrid Image Augmentation Technique for User- and Environment-Independent Hand Gesture Recognition Based on Deep Learning. Mathematics, 12(9). https://doi.org/10.3390/math12091393
  18. [18] Mustafa, Z., Nsour, H., & ud din Tahir, S. B. (2023). Hand gesture recognition via deep data optimization and 3D reconstruction. PeerJ Computer Science, 9. https://doi.org/10.7717/PEERJ-CS.1619
  19. [19] Mengash, H. A., Alqadi, B. S., & Marzouk, R. (2025). Enhancing gesture recognition for assisting visually impaired persons using deep learning in an IoT environment-based improved snake optimisation algorithm. Scientific Reports, 15(1). https://doi.org/10.1038/s41598-025-22070-7
  20. [20] Maurya, S. K., Pal, O. P., & Sarvakar, K. (2024). Layered architecture of IoT. In Secure and Intelligent IoT-Enabled Smart Cities (pp. 164-194). IGI Global. https://doi.org/10.4018/979-8-3693-2373-1.ch009

Similar Articles

1-10 of 112

You may also start an advanced similarity search for this article.