Phương pháp thu thập

• Đánh giá đầu ra: Mọi người đánh giá nội dung do AI tạo ra (tốt/không tốt, hữu ích/có hại, được ưa thích/ít được ưa thích hơn).

• So sánh cặp đôi: Cho hai đầu ra, con người chọn cái nào tốt hơn.

• Chỉnh sửa trực tiếp hoặc gợi ý: Người chú thích hoặc người dùng cải thiện đầu ra của AI (ví dụ: viết lại văn bản hoặc sửa lỗi).

• Phản hồi chuyên môn: Chuyên gia chuyên ngành (ví dụ: luật sư, bác sĩ, giáo viên) xem xét nội dung để kiểm tra độ chính xác trong các lĩnh vực chuyên môn.

• Phản hồi được chuyển thành tín hiệu huấn luyện cho các kỹ thuật như Học tăng cường từ phản hồi con người (RLHF) hoặc Tối ưu trực tiếp theo sở thích (DPO).