AI & Business (인공지능과 경영)/AI_Hugging Face

[인공지능 친해지기] Hugging Face - (8) Hugging Face Datasets 사용해보기 ② Loading a Dataset

꿈공장장100 2023. 9. 7. 18:05

이번에는 Hugging Face의 Datasets을 이용함에 있어 다양한 Dataset을 Loading하는 방법에 어떤 것이 있는지 알아보았습니다. 관련 싸이트를 참고하시고 향후 개별 사례 등을 통하여 실제 사용 사례나 특이한 부분이 있으면 또 살펴보겠습니다. 감사합니다.

 

유튜브 자료

https://youtu.be/bUpx3BoY1to

 

 

참고
https://huggingface.co/docs/datasets/v2.14.4/loading

 

Load

Your data can be stored in various places; they can be on your local machine’s disk, in a Github repository, and in in-memory data structures like Python dictionaries and Pandas DataFrames. Wherever a dataset is stored, 🤗 Datasets can help you load it

huggingface.co

 

실습코드

HF Transformer - (4) 데이터 세트 사용 실습 (공유) ② Loading a Dataset.ipynb
0.66MB