Retrieval Augmented Generation: Bangun Chatbot yang kaga halusinasi

Masalah utama chatbot internal adalah halu karena model cuma mengandalkan pengetahuan pra-latih. Saya coba pendekatan RAG (Retrieval Augmented Generation): dokumen teknis tim diubah jadi potongan embedding, lalu setiap pertanyaan user saya cari kandidat paragraf terbaik sebelum dilempar ke LLM.

Stack-nya: ingestion dengan pipeline Node.js sederhana yang membaca dokumen markdown, melakukan chunking (maks 500 token) lalu simpan embedding ke Supabase Vector. Saat query datang, service Go memanggil Supabase untuk vektor terdekat, menyusun prompt dengan konteks, baru memanggil OpenAI API.

Tantangan terbesar justru menjaga konten selalu up-to-date. Saya bikin webhook setiap commit ke repo docs otomatis men-trigger pipeline ingestion. Selain itu saya tambahkan guardrail di prompt: instruksi keras supaya bot jawab “nggak tahu” kalau konteks retrieval kosong. Hasilnya akurasi perceived user naik jauh dan feedback internal jadi positif.