Đưa trợ lý LLM vào vận hành: Bài học từ Quantia

Trợ lý LLM dễ demo và khó vận hành. Đây là ba bài học chúng tôi rút ra khi đưa trợ lý hỗ trợ khách hàng vào vận hành cho Quantia.

1. Đo trước khi xây

Trước khi viết pipeline RAG, hãy định nghĩa bộ đánh giá: các cặp câu hỏi–đáp án chuẩn và tiêu chí “đáp án tốt”. Không có nó, bạn không biết mình đang tốt lên hay đi xuống.

2. Guardrail trước khi mở rộng

Hai guardrail không thể thiếu: trích nguồn (mọi câu trả lời kèm link tài liệu) và không bịa (nếu không tìm thấy, nói “tôi không chắc”).

• Trích nguồn cho mọi phản hồi
• Từ chối khéo khi thiếu ngữ cảnh
• Log điểm tin cậy cho mỗi câu

3. Bàn giao người là tính năng

Khi điểm tin cậy thấp, trợ lý nên bàn giao cho người — một cách mượt mà, kèm ngữ cảnh. Đây không phải lỗi mà là thiết kế an toàn.

Hệ thống AI tốt nhất không phải hệ thống không bao giờ sai — mà là hệ thống biết khi nào nên nhường người.