OpenAI, 인간 선호도로 774M 파라미터 GPT-2 파인튜닝
원제목:Fine-tuning GPT-2 from human preferences
AI 요약
OpenAI가 인간 피드백으로 774M 파라미터 GPT-2를 파인튜닝해 여러 작업에서 외부 주석자의 선호도에 부합하는 성과를 냈다. 요약 작업에는 6만 건의 수동 주석이 사용됐고, 스타일 이어쓰기 등 비교적 간단한 작업에는 5천 건만 필요했다. 주석자들은 요약에서 원문 문장을 통째로 베끼는 것을 선호했고, 이에 모델이 베끼기를 학습했다. OpenAI는 이번 조치가 안전 기술을 '기계와 인간의 대화'라는 범용 작업에 더 가깝게 만들기 위한 것이라고 밝혔다.
핵심 정보
- OpenAI가 인간 피드백으로 774M 파라미터 GPT-2를 파인튜닝해 여러 작업에서 외부 주석자의 선호도에 부합하는 성과를 냈다.
- 요약 작업에는 6만 건의 수동 주석이 사용됐고,스타일 이어쓰기 등 비교적 간단한 작업에는 5천 건만 필요했다.
- 주석자들은 요약에서 원문 문장을 통째로 베끼는 것을 선호했고,이에 모델이 베끼기를 학습했다.
- OpenAI는 이번 조치가 안전 기술을 '기계와 인간의 대화'라는 범용 작업에 더 가깝게 만들기 위한 것이라고 밝혔다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 65
추천 이유
原文给出人类偏好微调 GPT-2 的任务结果与标注成本,并暴露标注偏好与作者意图不一致的问题。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: OpenAI, 인간 선호도로 774M 파라미터 GPT-2 파인튜닝. 2019년 9월 19일. https://new.nat6.net/ko/news/mbl0jky4zuwkwo6nc6declud6/