[인공지능 친해지기] Hugging Face (4) 놀이동산 소개!!!

 

 개요

 

최근의 대부분 인공지능 연구나 프로젝트에는 딥러닝이 이용되고 있습니다. 이러한 딥러닝을 프로그램이나 모델을 구현하여 실행하는 것은 상당히 복잡한 부분이 있다. 그런데  다행히 텐서플로우, 파이토치 등의 라이브러리를 사용하면 딥러닝 분석을 보다 쉽게 수행할 수 있습니다.

그런데 여전히 딥러닝 모델을 구축하려면 상당한 비용과 시간이 모두 필요합니다. 특히 최근의 LLM 등은 개인이나 왠만한 기업이 처음부터 구축하는 것이 사실상 거의 불가능할 정도입니다.

이러한 경우, 어떤 작업 수행을 위한 모델을 개발하는 경우 기존에 다른 기업이나 사람이 개발하고 학습시킨 모델을 재사용할 수 있다면 딥러닝 등 인공지능 모델에 대한 접근이 좀 더 수월해질 수 있습니다. 이와 같이 기존에 개발하여 학습시킨 모델을 재사용할 수 있는 기술을 전이학습(transfer learning)이라고 합니다.

전이 학습(TL)은 한 작업에서 학습한 지식을 관련 작업의 성능을 높이기 위해 재사용하는 머신 러닝(ML)의 기법입니다. 예를 들어 이미지 분류의 경우, 자동차 인식을 학습하면서 얻은 지식을 트럭을 인식할 때 적용할 수 있습니다. 이전에 학습한 작업의 정보를 새로운 작업에 재사용/전사하면 학습 효율을 크게 향상시킬 수 있습니다. Transfer learning (TL) is a technique in machine learning (ML) in which knowledge learned from a task is re-used in order to boost performance on a related task. For example, for image classification, knowledge gained while learning to recognize cars could be applied when trying to recognize trucks. This topic is related to the psychological literature on transfer of learning, although practical ties between the two fields are limited. Reusing/transferring information from previously learned tasks to new tasks has the potential to significantly improve learning efficiency. * 위키피디아

 

 문제점 인식 및 표준화 

모델을 사용함에 있어 전이 학습을 이용하는 경우 문제점이 발생하였습니다. 전이학습을 수월하게 이용하기 위해서는 제공된 모델 코드 등의 표준화가 되어 있으면 수월합니다. 그런데 그러한 표준화가 이루어지지 않은 경우에는 제공된 모델을 수정하는데 상당한 시간이 소요되는 문제가 있었습니다.

이러한 문제점을 인식하고 허깅페이스는 표준화된 인터페이스를 제공하기위하여 허깅페이스 라이브러리 등을 개발하였다. 그리고 새로운 문제에 모델을 적용하는 코드와 각종 도구를 제공합니다. 

 

※ 허깅페이스를 통하여 기존에는 모델을 훈련하고 테스트하는데 걸리는 시간이 상당히 단축되었고 수월해졌음

 

 Hugging Face란?

- 허깅페이스는 머신러닝 기술을 제공하는 오픈소스 및 플랫폼 제공업체입니다. 허깅 페이스는 2016년에 설립되었으며 뉴욕에 본사를 두고 있습니다.

 

- 허깅 페이스는 텍스트 분류, 감정 분석 등과 같은 NLP 작업(Natural Language Processing)을 위해 사전 학습된 언어 모델, 그리고 image, 오디오 등 다양한 모델을 제공하고 있습니다.

 

Hugging Face 장점

- (전이학습 가능) 가장 좋은 점은 모델을 처음부터 훈련할 필요가 없다는 것입니다. 사전 학습된 모델을 로드하고 Hugging Face를 사용하여 특정 작업에 맞게 미세 조정하기만 하면 됩니다. Hugging Face를 사용하면NLP작업 등을 쉽게 처리할 수 있습니다. 

- (사용편의성) 허깅 페이스가 인기 있는 또 다른 이유는 사용 편의성입니다. 간단하고 사용자 친화적인 인터페이스가 있습니다. 단 몇 줄의 코드로 사용이 가능합니다. (제 이전 간단한 예제를 보셔도 3-4줄 정도의 간단한 코드로 사용이 가능합니다) 따라서 NLP 등을 빠르게 시작할 수 있습니다.

- (강한 커뮤니티) 적극적인 Hugging Face 커뮤니티가 있어 지속적으로 발전하고 있습니다. 커뮤니티는 사전 학습된 모델을 공유함으로써 라이브러리의 성장에도 기여하고 있습니다. 

★ 무엇보다 좋은 점: "남녀노소 누구나" 복잡한 딥러닝 모델 구축이나 데이터 처리 등을 몰라도 쉽게 여러 인공지능 모델을 편하게 사용해 볼 수 있습니다.

 

 Hugging Face 생태계 살펴보기

유튜브 영상을 통해 Hugging Face 세계를 여행(Transformers library, Model, Datasets 등)해 보겠습니다.

 

https://youtu.be/rcd9821QQuI

 

https://huggingface.co/

Hugging Face – The AI community building the future.