전체 데이터셋을 토크나이징하여 XLM-R 모델에 Fine tuning을 위해 전달할 데이터셋을 토큰화하는 것에 대하여 살펴보겠습니다. 감사합니다.
https://youtu.be/09dfo3BPZ5Y?si=6QWtf0g4GclysdU6
'AI & Business (인공지능과 경영) > AI_Hugging Face' 카테고리의 다른 글
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식 ⑥ Fine Tuning (2) | 2023.11.28 |
|---|---|
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식 ⑤ 성능측정 (0) | 2023.11.21 |
| [인공지능 친해지기] Hugging Face (15) 다국어 개체명 인식 ③ 토큰 분류를 위한 사용자 정의 모델링 (0) | 2023.11.03 |
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_② 다국어트랜스포머와 XLM-R토큰화 (0) | 2023.10.20 |
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_① 데이터세트 “XTREME” (0) | 2023.10.12 |