# 수집 방법

* **출력물 등급 매기기**: 사람들은 AI가 생성한 콘텐츠를 평가합니다(좋음/나쁨, 유용함/유해함, 선호됨/덜 선호됨).
* **쌍별 비교**: 두 출력을 제시하고 사람이 더 나은 것을 선택합니다.
* **직접 편집 또는 제안**: 주석자나 사용자가 AI의 출력을 개선합니다(예: 텍스트 재작성 또는 오류 수정).
* **전문화된 피드백**: 도메인 전문가(예: 변호사, 의사, 교사)가 전문 분야의 정확성을 검토합니다.
* 피드백은 다음과 같은 기법을 위한 학습 신호로 변환됩니다 **인간 피드백을 이용한 강화학습(RLHF)** 또는 **직접 선호 최적화(DPO)**.

<figure><img src="https://3567744285-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2F4K2TU7ZCXEZ3MXHzOmmd%2Fuploads%2FStluFmgZlKyWL3OWmvRJ%2FScreenshot%202025-10-07%20at%2010.04.19%E2%80%AFPM.png?alt=media&#x26;token=9180194f-1243-42d6-a96b-9731098d071a" alt=""><figcaption></figcaption></figure>
