RLHF là gì và vì sao vẫn chưa chặn được hallucination hoàn toàn?

Trong thời đại AI ngày càng phát triển với những mô hình ngôn ngữ lớn như ChatGPT của OpenAI hay Claude của Anthropic, thuật ngữ RLHF (Reinforcement Learning from Human Feedback) ngày càng phổ biến. Đây là một phương pháp huấn luyện nhằm cải thiện chất lượng phản hồi của AI thông qua phản hồi trực tiếp từ con người. Tuy nhiên, một vấn đề lớn vẫn còn tồn tại đó là hiện tượng AI hallucination - khi AI đưa ra thông tin sai lệch nhưng lại rất tự tin. Vậy RLHF là gì, tại sao phương pháp này vẫn chưa thể chặn được hoàn toàn hiện tượng hallucination? Bài viết sẽ cùng bạn phân tích tường tận từng khía cạnh.

1. AI Hallucination là gì? Biểu hiện "tự tin nhưng sai"

AI hallucination là hiện tượng mô hình ngôn ngữ lớn Check out the post right here (LLM) tạo ra nội dung không đúng sự thật hoặc không tồn tại trong dữ liệu huấn luyện, nhưng trình bày một cách rất thuyết phục, làm người dùng khó phát hiện đó là sai lệch. Một ví dụ điển hình là khi bạn hỏi ChatGPT về một sự kiện lịch sử chưa xảy ra hoặc một nghiên cứu y khoa giả tưởng, nó vẫn sẽ đưa ra câu trả lời rõ ràng, chi tiết, dù thực tế không có cơ sở.

Đây là biểu hiện của AI https://bizzmarkblog.com/dung-ai-tra-loi-kien-thuc-chung-co-the-sai-3-20-sao/ “tự tin nhưng sai” - gây rủi ro rất lớn, đặc biệt trong các lĩnh vực cần tính chính xác cao như y tế, pháp lý, tài chính...

Các biểu hiện phổ biến của AI hallucination:

Thông tin sai lệch không có căn cứ thực tế.
Câu trả lời mâu thuẫn hoặc không nhất quán.
Trích dẫn giả hoặc nguồn không tồn tại.
Khả năng sáng tạo nội dung nhưng vượt quá phạm vi kiến thức kiểm chứng được.

2. Cơ chế vận hành của LLM: Dự đoán token, không “biết” sự thật

Hiểu được cơ chế hoạt động của mô hình lớn giúp lý giải vì sao AI dễ mắc hallucination. Các mô hình như ChatGPT hay Claude hoạt động dựa trên nguyên tắc dự đoán token tiếp theo trong chuỗi văn bản dựa trên ngữ cảnh đầu vào.

Yếu tố Giải thích Dự đoán token AI tính xác suất từ tiếp theo dựa trên tập dữ liệu huấn luyện, không phải dựa trên sự “hiểu biết” hay kiến thức xác thực. Không có ý thức LLM không có khả năng phân biệt đúng sai như con người, nên không thể “biết” đó là thông tin thật hay giả. Dữ liệu huấn luyện Nguồn dữ liệu bao gồm văn bản trên Internet, sách, báo,... có thể chứa thông tin sai hay lỗi không chính xác.

Vì vậy, mô hình chỉ tối ưu cho việc tạo ra câu trả lời “đầy đủ logic và hợp ngữ cảnh” mà không thực sự kiểm chứng thông tin, dẫn tới hiện tượng hallucination.

3. RLHF là gì - Cách con người can thiệp để giảm Hallucination

RLHF (Reinforcement Learning from Human Feedback) là kỹ thuật huấn luyện AI sử dụng phản hồi từ con người để điều chỉnh hành vi của mô hình theo hướng chính xác và phù hợp hơn.

Quy trình RLHF thường gồm các bước chính:

Thu thập phản hồi: Người dùng hoặc chuyên gia trực tiếp đánh giá câu trả lời của AI, phân loại câu trả lời đúng sai, ưu tiên hoặc từ chối.
Xây dựng mô hình phần thưởng (Reward model): Sử dụng dữ liệu phản hồi để tạo ra một hàm đánh giá ưu tiên cho mô hình phân phối câu trả lời.
Huấn luyện tăng cường: Mô hình được điều chỉnh dựa trên phần thưởng từ phản hồi người dùng để cải thiện độ chính xác và giảm sai sót.

Các công ty tiên phong như UniTrain đã ứng dụng RLHF để xây dựng hệ thống kiểm soát chất lượng nội dung trong sản xuất báo cáo doanh nghiệp, kết hợp với Human in the Loop giúp xác minh và hiệu chỉnh dữ liệu đầu ra.

OpenAI cũng sử dụng RLHF trong ChatGPT, kết hợp cùng kỹ thuật Prompt engineering để hướng dẫn mô hình trả lời chính xác và hạn chế sai sót.

4. Vì sao RLHF vẫn chưa chặn được hallucination hoàn toàn?

Mặc dù RLHF đem lại nhiều cải thiện nhưng vấn đề hallucination vẫn tồn tại do một số nguyên nhân sâu xa:

4.1. Dữ liệu huấn luyện nhiễu và giới hạn

Dữ liệu huấn luyện đa dạng nhưng không hoàn hảo, có cả sai lệch, thông tin cũ, mâu thuẫn.
Không phải tất cả các trường hợp đều được con người đánh giá trong RLHF, do chi phí và quy mô rất lớn.

4.2. Prompt mơ hồ hoặc không đủ rõ ràng tăng rủi ro hallucination

Kỹ thuật Prompt engineering rất quan trọng để hướng dẫn mô hình hiểu đúng yêu cầu. Tuy nhiên, kiểm tra chéo 2 nguồn khi câu lệnh nhập vào không rõ ràng, thiếu bối cảnh hoặc có tính chất mở rộng, LLM dễ tạo câu trả lời giả tạo dựa trên nội suy.

4.3. Human feedback cũng có giới hạn

Phản hồi con người đôi khi mang tính chủ quan, không hoàn toàn chính xác hoặc không đầy đủ.
Khó để duy trì chất lượng dữ liệu đánh giá khi mở rộng quy mô lớn.

4.4. Mô hình vẫn dựa trên mục tiêu tối đa hóa độ phù hợp ngôn ngữ, không phải xác thực kiến thức

Các LLM như ChatGPT, Claude chỉ được huấn luyện để sinh ra câu trả lời “hợp lý” về mặt ngôn ngữ, chứ không nắm giữ sự thật tích hợp bên trong.

5. Vai trò của AI biết từ chối và Human in the Loop

Để giảm thiểu rủi ro từ hallucination, khái niệm AI biết từ chối đang được chú trọng phát triển. Đây là khả năng mô hình từ chối trả lời hoặc khuyến cáo người dùng về độ tin cậy khi không chắc chắn về thông tin.

Việc áp dụng Human in the Loop - con người giám sát và can thiệp vào quá trình tạo ra kết quả - giúp hệ thống kiểm soát chất lượng, phát hiện và sửa sai hoặc đưa ra phản hồi để huấn luyện lại mô hình.

Ever notice how các công ty như unitrain đã triển khai thành công quy trình này để giảm thiểu rủi ro trong báo cáo doanh nghiệp, trong khi chatgpt và claude cũng phát triển các cơ chế cảnh báo hoặc giới hạn trả lời khi không đủ dữ liệu chắc chắn.

6. Tổng kết

RLHF là gì? Là phương pháp huấn luyện tăng cường dựa trên phản hồi con người, giúp cải thiện chất lượng và độ chính xác của AI.

Mặc dù RLHF giúp giảm bớt hiện tượng hallucination nhưng không thể loại bỏ hoàn toàn do:

Giới hạn và nhiễu trong dữ liệu huấn luyện.
Tính chất dự đoán token ngôn ngữ chứ không “hiểu biết” sự thật.
Prompt đầu vào mơ hồ làm tăng nguy cơ sai lệch.
Phản hồi con người cũng có giới hạn về quy mô và độ chính xác.

Để giảm thiểu hallucination, kỹ thuật Prompt engineering, Human in the Loop và phát triển AI biết từ chối đóng vai trò cực kỳ quan trọng. UniTrain, OpenAI (ChatGPT) và Anthropic (Claude) là những đơn vị tiên phong thực hiện quy trình huấn luyện kết hợp giữa con người và công nghệ để nâng cao độ tin cậy AI.

Nguồn và tham khảo:

OpenAI Research về RLHF
Anthropic Claude AI
UniTrain - Giải pháp AI trong doanh nghiệp