DataFrame 변환
Hugging Face에서 데이터세트를 그대로 사용해도 되지만 이 데이터세트를 DataFrame으로 바꾸워 사용하면 편리한 부분이 많을 수 있습니다.
DataFrame으로 변환하면 다양하고 더 강력한 기능을 사용할 수 있고 시각화를 위한 기능 사용을 위해서도 pandas와 같은 라이브러리로 전환하는 것이 유용할 수 있습니다.
이를 위해 Hugging Face의 Dataset는 Pandas, Numpy, PyTorch, TensorFlow, JAX 같은 라이브러리와 상호 운용될 수 있도록 설계되었습니다.
변환 방법
변환을 활성화하기 위해 HF Datasets는 데이터 집합의 출력 형식을 변경할 수 있는 set_format() 메서드를 제공합니다.
이렇게 해도 기본 데이터 형식(Arrow Table)은 변경되지 않으며, 필요한 경우 나중에 다른 형식으로 전환할 수 있습니다.
자세한 방법과 실습은 아래 동영상 참조해 주세요.
감사합니다.
'AI & Business (인공지능과 경영) > AI_Hugging Face' 카테고리의 다른 글
| [인공지능 친해지기] Hugging Face - 트랜스포머 (12) 모델 훈련시키기 (0) | 2023.09.21 |
|---|---|
| [인공지능 친해지기] Hugging Face - 트랜스포머 (11) 토큰 & 토큰화 방법 (0) | 2023.09.17 |
| [인공지능 친해지기] Hugging Face - (9) AI Comic Factory 사용 ① 멋진 만화가 뚝딱! (0) | 2023.09.08 |
| [인공지능 친해지기] Hugging Face - (8) Hugging Face Datasets 사용해보기 ② Loading a Dataset (0) | 2023.09.07 |
| [인공지능 친해지기] Hugging Face (7) Hugging Face Datasets 사용해보기 ① (0) | 2023.09.02 |