RANCANG BANGUN SISTEM CHATBOT CUSTOMER SERVICE BERBASIS RETRIEVAL-AUGMENTED GENERATION PADA PLATFORM TELEGRAM (STUDI KASUS: MOB ENGLISH COURSE PARE KEDIRI)

Abstract

MOB English Course Cabang Kediri masih mengandalkan layanan informasi manual melalui aplikasi pesan instan, sehingga sering terjadi keterlambatan balasan, inkonsistensi informasi, serta keterbatasan layanan di luar jam kerja. Tujuan dari kajian ilmiah ini adalah merancang dan membangun sistem chatbot customer service berbasis Retrieval-Augmented Generation (RAG) yang diintegrasikan dengan workflow automation n8n pada platform Telegram, serta menguji dan mengevaluasi kinerja sistem tersebut. Penelitian dilakukan dengan metode penelitian terapan menggunakan pendekatan pengembangan prototipe, yang terdiri atas tahapan identifikasi kebutuhan, perancangan sistem, pengembangan prototipe, pengujian, evaluasi, dan implementasi. Data dikumpulkan melalui wawancara dengan tujuh narasumber, observasi, dan studi dokumentasi. Sistem yang dibangun mengintegrasikan Telegram Bot API, workflow automation n8n, OpenAI Embedding dan Chat Model, serta Google Sheets sebagai basis pengelolaan knowledge base. Sistem menyediakan empat layanan utama: informasi kursus berbasis RAG, pengecekan jadwal berbasis RAG, pengecekan status pembayaran berbasis direct lookup, dan ujian penempatan (placement test) interaktif bertahap. Hasil pengujian Black Box menunjukkan tingkat keberhasilan fungsionalitas sebesar 95,83% dari 24 skenario pengujian. Pengujian akurasi respons terhadap 25 pertanyaan uji menghasilkan persentase akurasi sebesar 88,0% tanpa disertai hallucination. Evaluasi User Acceptance Testing (UAT) kepada 12 responden menghasilkan persentase kelayakan sebesar 87,00% yang termasuk dalam kategori sangat baik. Sistem chatbot berbasis RAG ini terbukti mampu menyediakan layanan informasi yang responsif, relevan, dan konsisten selama 24 jam untuk mendukung efisiensi operasional customer service pada lembaga kursus.