Ulasan aplikasi menyediakan data tekstual yang kaya untuk memahami evaluasi pengguna terhadap produk digital. Namun, penggunaan rating bintang sebagai proksi label sentimen dapat menghasilkan ketidakselarasan antara skor dan isi teks, sehingga hasil klasifikasi perlu diinterpretasikan secara hati-hati. Penelitian ini mengevaluasi klasifikasi sentimen berbasis rating pada 1.000 ulasan aplikasi Instagram berbahasa Indonesia dengan membandingkan Regresi Logistik, Random Forest, XGBoost, dan LightGBM. Model dilatih menggunakan representasi gabungan TF-IDF n-gram dan fitur leksikal/sintaksis sehingga menghasilkan 5.130 fitur. Interpretabilitas model berbasis pohon dianalisis menggunakan SHAP TreeExplainer untuk mengidentifikasi kontribusi fitur pada tingkat global dan lokal. Pada satu stratified hold-out split 80:20, akurasi model berada pada rentang 49,5–50,5%, sedangkan weighted F1 berada pada rentang 41,5–48,3%. Regresi Logistik memperoleh weighted F1 tertinggi sebesar 48,3%, tetapi hasil ini tidak diperlakukan sebagai bukti keunggulan umum karena evaluasi belum menggunakan repeated atau k-fold cross-validation. Lima fitur dengan mean absolute SHAP terbesar adalah 'kenapa', 'yang', 'bisa', 'bagus', dan 'untuk'. Temuan tersebut menunjukkan bahwa fitur leksikal yang dominan secara frekuensi dapat memengaruhi keputusan model dan bahwa interpretasi SHAP perlu dibaca bersama karakteristik representasi TF-IDF. Kontribusi penelitian terletak pada benchmarking yang transparan dan auditabilitas interpretasi model pada korpus ulasan aplikasi berbahasa Indonesia, sekaligus mendokumentasikan keterbatasan label berbasis rating, ketidakseimbangan kelas, ukuran sampel, dan ketidakstabilan estimasi akibat single split.
References
1. Breiman, L. (2001). Random Forests. Machine learning, 45(1), 5–32. DOI: 10.1023/A:1010933404324.
2. Chen, T., & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 785–794. DOI: 10.1145/2939672.2939785.
3. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423.
4. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T. Y. (2017). LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, 30, 3146–3154.
5. Koto, F., Rahimi, A., Lau, J. H., & Baldwin, T. (2020). IndoLEM and IndoBERT: A benchmark dataset and pre-trained language model for Indonesian NLP. Proceedings of the 28th International Conference on Computational Linguistics, 757–770. DOI: 10.18653/v1/2020.coling-main.66.
6. Liu, B. (2012). Sentiment analysis and opinion mining. Synthesis Lectures on Human Language Technologies, 5(1), 1–167.
7. Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. Advances in Neural Information Processing Systems, 30, 4765–4774.
8. Lundberg, S. M., Erion, G., Chen, H., DeGrave, A., Prutkin, J. M., Nair, B., Katz, R., Himmelfarb, J., Bansal, N., & Lee, S. I. (2020). From local explanations to global understanding with explainable AI for trees. Nature Machine Intelligence, 2(1), 56–67. DOI: 10.1038/s42256-019-0138-9.
9. Pang, B., & Lee, L. (2008). Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1–2), 1–135.
10. Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). "Why should I trust you?": Explaining the predictions of any classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135–1144.