XLM-R (Cross-lingual Language Model - RoBERTa)은 다국어 트랜스포머 모델로, 여러 언어의 데이터를 학습하여 다양한 언어 간의 자연어 처리 작업을 수행할 수 있습니다.
XLM-R은 mBERT의 후속 모델로, 더 큰 사전 훈련 말뭉치와 개선된 훈련 방법을 사용하여 더 높은 성능을 제공합니다.
XLM-R 등에서 사용되는 SentencePiece 토큰화 등에 대하여 살펴보겠습니다.
'AI & Business (인공지능과 경영) > AI_Hugging Face' 카테고리의 다른 글
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식 ④ NER 작업 위한 텍스트 토큰화 (2) | 2023.11.12 |
|---|---|
| [인공지능 친해지기] Hugging Face (15) 다국어 개체명 인식 ③ 토큰 분류를 위한 사용자 정의 모델링 (0) | 2023.11.03 |
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_① 데이터세트 “XTREME” (0) | 2023.10.12 |
| [인공지능 친해지기] Hugging Face - (14) HF와 Google이 만든 희소식! (0) | 2023.10.05 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (13) Attention 시각화 실습 (0) | 2023.09.26 |