[인공지능 쉽게 하기] (1) 트랜스포머 - 텍스트분류(감성분석) & 개체명 인식(NER)

 트랜스포머(Transformer)

Hugging Face를 통하여 트랜스포머에 대하여 알아 보겠습니다.

 

🤗 트랜스포머
PyTorch, TensorFlow 및 JAX를 위한 최신 머신 러닝임

트랜스포머는 사전 학습된 최신 모델을 쉽게 다운로드하고 학습할 수 있는 API와 도구를 제공합니다. 사전 학습된 모델을 사용하면 컴퓨팅 비용과 탄소를 줄이고 모델을 처음부터 학습하는 데 필요한 시간과 리소스를 절약할 수 있습니다.

이러한 모델은 다음과 같은 다양한 양식의 일반적인 작업을 지원합니다:

 

(1) 📝 자연어 처리: 텍스트 분류, 명명된 엔티티 인식, 질문 답변, 언어 모델링, 요약, 번역, 객관식, 텍스트 생성.
(2) 🖼️ 컴퓨터 비전: 이미지 분류, 물체 감지 및 분할.
(3) 🗣️ 오디오: 자동 음성 인식 및 오디오 분류.
(4)🐙멀티모달: 테이블 질문 답변, 광학 문자 인식, 스캔 문서에서 정보 추출, 비디오 분류, 시각적 질문 답변.

🤗 트랜스포머는 파이토치, 텐서플로우, JAX 간의 프레임워크 상호 운용성을 지원합니다. 이를 통해 모델의 각 단계에서 다른 프레임워크를 유연하게 사용할 수 있으며, 한 프레임워크에서 세 줄의 코드로 모델을 학습하고 다른 프레임워크에서 추론을 위해 로드할 수 있습니다. 또한 프로덕션 환경에 배포하기 위해 모델을 ONNX 및 TorchScript와 같은 형식으로 내보낼 수도 있습니다. 

 지원 모델 (supported models)

2023.7월말 현재 215여개 모델을 지원함

(예시)

Supported models

1. ALBERT (from Google Research and the Toyota Technological Institute at Chicago) released with the paper ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, by Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut.
2. ALIGN (from Google Research) released with the paper Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision by Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yunhsuan Sung, Zhen Li, Tom Duerig.
3. AltCLIP (from BAAI) released with the paper AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities by Chen, Zhongzhi and Liu, Guang and Zhang, Bo-Wen and Ye, Fulong and Yang, Qinghong and Wu, Ledell.
4. Audio Spectrogram Transformer (from MIT) released with the paper AST: Audio Spectrogram Transformer by Yuan Gong, Yu-An Chung, James Glass.
5. Autoformer (from Tsinghua University) released with the paper Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting by Haixu Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long.

https://huggingface.co/docs/transformers/index

🤗 Transformers

 

실습: 텍스트분류(Text classification, 감성분석) 및 개체명 인식(Named entity recognition, NER)

 

♣ 유튜브 참조

 

https://youtu.be/HwTaVeRzy5M

 

 

 

 

기타 참고 싸이트
https://github.com/nlp-with-transformers/notebooks

GitHub - nlp-with-transformers/notebooks: Jupyter notebooks for the Natural Language Processing with Transformers book