[인공지능 친해지기] Hugging Face - 트랜스포머 (11) 토큰 & 토큰화 방법

자연어 처리(NLP)에서 "토큰"과 "토큰화"는 중요한 개념입니다. 이들에 대한 간단한 살펴 보겠습니다. 토큰 및 토큰화 1. 토큰(Token): - 토큰은 텍스트를 구성하는 개별 단위를 의미합니다. 토큰은 대체로 단어를 의미하지만, 문장 부호나 다른 문자열도 토큰이 될 수 있습니다. - 예를 들어, 문장 "안녕하세요, 저는 ChatGPT입니다."에서 "안녕하세요,", "저는", "ChatGPT입니다."는 각각 토큰으로 간주될 수 있습니다. 2. 토큰화(Tokenization): - 토큰화는 주어진 텍스트를 토큰으로 분리하는 과정을 의미합니다. - 토큰화는 여러 방법으로 수행될 수 있습니다. 가장 간단한 방법은 공백을 기준으로 텍스트를 분리하는 것입니다. 그러나, 다양한 언어와 문맥에서는 더 복잡한 토큰..

2023.09.17