Analisis Performa Chatbot IT Support Berbasis RAG dengan Optimasi Retrieval Bertahap

Abstract

Chatbot berbasis Retrieval-Augmented Generation (RAG) menawarkan solusi untuk mengotomatisasi layanan IT Support dengan mengurangi risiko hallucination melalui grounding jawaban pada knowledge base organisasi. Penelitian ini menganalisis performa chatbot IT Support di Badan Sistem Informasi (BSI) Universitas Islam Indonesia (UII) yang menggunakan arsitektur RAG dengan multi-stage retrieval, hybrid search, cross-encoder reranking, dan Redis caching untuk optimasi latensi. Evaluasi dilakukan pada 10 skenario penggunaan yang mencakup penggunaan Nvivo, VPN eduVPN, Microsoft Office 365, Google Drive, dan layanan TI lainnya. Hasil eksperimen menunjukkan bahwa sistem hybrid search mencapai rata-rata latensi cold query sebesar 8076 ms dengan peningkatan speedup 3,06× pada warm query. Sistem mampu mencapai skor similarity rata-rata 0,628 dan berhasil menolak 80% noise query yang berada di luar domain IT Support. Temuan ini menunjukkan bahwa penggabungan LangGraph router, hybrid retrieval, reranking, dan Redis caching dapat menghasilkan chatbot IT Support yang akurat, efisien, dan robust terhadap query di luar domain.