Search

Fill-Mask

대분류
인공지능/데이터
소분류
Hugging Face
유형
Hugging Face
부유형
Transformer
최종 편집 일시
2024/11/03 14:12
생성 일시
2024/10/22 08:21
14 more properties

Fill-Mask

•
마스크 언어 모델링은 문장의 일부 단어를 마스킹하고 그 마스크를 대체할 단어를 예측하는 작업
•
이러한 모델은 모델이 학습된 언어에 대한 통계적 이해를 얻고자 할 때 유용하다.

도메인 적응

•
마스크 언어 모델에는 레이블이 지정된 데이터가 필요하지 않는다!
•
문장에서 몇 개의 단어를 마스킹하여 훈련하면 모델이 마스킹된 단어를 추측할 수 있다.
•
예를 들어, 마스크드 언어 모델링은 도메인별 문제에 대한 대규모 모델을 훈련하는 데 사용된다.
•
의학 연구 논문에서 정보를 검색하는 것과 같은 도메인별 작업을 해야 하는 경우 해당 논문을 사용하여 마스크드 언어 모델을 훈련할 수 있다.
•
이렇게 학습된 모델은 의학 연구 논문에 사용된 언어를 통계적으로 이해하고 있으며, 미세 조정이라는 과정을 통해 텍스트 분류나 질문 답변과 같은 다양한 작업을 해결하도록 추가 학습하여 의학 연구 논문 정보 추출 시스템을 구축할 수 있다.
도메인별 데이터에 대한 사전 학습을 하면 더 나은 결과를 얻을 수 있다(예시는 이 백서를 참조).
•
마스크 언어 모델을 훈련할 데이터가 없는 경우, 허브의 기존 도메인별 마스크 언어 모델을 사용하여 소규모 작업 데이터 세트에 맞게 미세 조정할 수도 있다.