긴 동영상도 그 안의 내용 뿐만 아니라 분위기 등까지 순식간에 파악할 수 있는 길이 열리고 있습니다. 3단계의 압축 기법으로 긴 영상을 중요한 정보만으로 효율적 처리하고, 메모리 사용을 줄이면서 동영상에 대한 분석 및 검색 등을 더욱 빠르고 효율적으로 할 수 있는 길이 현실화되고 있습니다.
기업 뿐만 아니라 이는 개인들에게도 업무나 실생활에서 더욱 편리해진 환경을 제공할 수 있을 것으로 보입니다. 감사합니다.
#longvu #ks경영인공지능연구소 #attention #multimodalai #huggingface #temporalreduction #spatialtokencompression
안녕하세요! 데이터 과학과 머신러닝에 종사하는 여러분에게 흥미로운 소식을 전하려 합니다. 최근 Hugging Face의 데이터셋 페이지에 몇 가지 중요한 기능이 추가되었는데, 이 업데이트로 여러분의 프로젝트에 적합한 데이터셋을 찾는 일이 한결 쉬워질 것입니다. 감사합니다.
Florence-2는 Microsoft팀이 개발한 다양한 비전 작업을 처리할 수 있는 강력한 통합 비전 기반 모델입니다. 이를 통해 이미지 캡션 생성, 객체 탐지, 그라운딩, 세분화 등의 작업을 모두 단일 모델로 처리할 수 있습니다. 이에 대하여 알아보고 관련 모델을 여러분과 같이 경험에 보겠습니다. 감사합니다.
https://youtu.be/zuQOkXQRRD4?si=VOIQxGYDOH1yzMx6
| [Hugging Face 여행] 🗂️ 데이터셋 찾기 변신! 🚀더욱 편리해진 Hugging Face 사용 (24-7) (0) | 2024.07.07 |
|---|---|
| [Hugging Face 여행] 🚀 인터넷 없이 내 노트북에 작동하는 AI 챗봇 5분 완성 🌟 Llama cpp와 Gradio 활용 🦙⚡️ (0) | 2024.06.28 |
| [Hugging Face 여행] 이미지를 3D 입체로 (Image-to-3D 모델 경험 2024.6) (0) | 2024.06.19 |
| [인공지능 친해지기] Hugging Face (24) AI로 오디오 분류해보기-Wav2Vec2 사용 (0) | 2024.05.23 |
| [인공지능 친해지기] Hugging Face - (23) Fine-tune a pretrained model (0) | 2024.04.28 |
| [Hugging Face 여행] 이미지를 3D 입체로 (Image-to-3D 모델 경험 2024.6) (0) | 2024.06.19 |
|---|---|
| [인공지능 친해지기] Hugging Face (24) AI로 오디오 분류해보기-Wav2Vec2 사용 (0) | 2024.05.23 |
| [인공지능 친해지기] Hugging Face - (22) 데이터 전처리 종합(자연어, 오디오, 이미지, 멀티모달) (0) | 2024.04.20 |
| [인공지능 친해지기] Hugging Face - (21) UDOP 활용한 비지니스 문서 처리 혁신_Layout Analysis (2) | 2024.03.29 |
| [인공지능 친해지기] Hugging Face - (20) AutoClass! 누구나 쉽게 AI모델을 사용하게 해주는 마법 (0) | 2024.03.22 |
이번에는 Hugging Face에서 각종 자연어처리, 오디오, 이미지, 멀티모델 모델에서 데이터를 사용함에 있어 데이터 전처리를 하는 방법에 대하여 종합적으로 살펴보고자 합니다.
감사합니다.
Hugging Face에 대하여 여러분들과 계속 여행하고 있습니다. 기존 동영상에서도 그렇고 향후 살펴보게 될 주제에서도 허깅페이스를 통해 인공지능 모델을 쉽게 쓸 수 있는 것은 이것을 가능하게 해 준 여러 고마운 기능이 있기 때문입니다.
그 중에 대표적인 것이 바로 AutoClass라는 도구입니다. 이를 통해 우리는 복잡한 인공지능모델을 쉽게 불러다가 쓸 수 있습니다.
이러한 AutoClass에 대하여 같이 살펴보도록 하겠습니다.
감사합니다.
https://youtu.be/dR_CHLcjrVc?si=yMA0BAHZHH0JmLN7
Hugging FaceTransformers 라이브러리는 사용자가 특정 목적에 맞춰 기존의 사전 훈련된 모델을 쉽게 수정하고 확장할 수 있도록 지원합니다. 이를 통해 사용자는새로운 모델을 처음부터 전부 구현하지 않고도, 기존 모델의 구조와 가중치를 활용하여 필요한 목표를 달성할 수 있는 맞춤형 모델을 효율적으로 만들 수 있습니다.
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식 ⑤ 성능측정 (0) | 2023.11.21 |
|---|---|
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식 ④ NER 작업 위한 텍스트 토큰화 (2) | 2023.11.12 |
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_② 다국어트랜스포머와 XLM-R토큰화 (0) | 2023.10.20 |
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_① 데이터세트 “XTREME” (0) | 2023.10.12 |
| [인공지능 친해지기] Hugging Face - (14) HF와 Google이 만든 희소식! (0) | 2023.10.05 |
| [인공지능 친해지기] Hugging Face (15) 다국어 개체명 인식 ③ 토큰 분류를 위한 사용자 정의 모델링 (0) | 2023.11.03 |
|---|---|
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_② 다국어트랜스포머와 XLM-R토큰화 (0) | 2023.10.20 |
| [인공지능 친해지기] Hugging Face - (14) HF와 Google이 만든 희소식! (0) | 2023.10.05 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (13) Attention 시각화 실습 (0) | 2023.09.26 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (12) 모델 훈련시키기 (0) | 2023.09.21 |
(고비용과 높은 사양의 메모리 필요) SDXL(Stable Diffusion XL)은 고품질의 사실적인 콘텐츠 생성을 가능하게 하는 제너레이티브 AI 모델임. 그러나 이 모델을 사용하려면 높은 계산 비용과 메모리 요구 사항에 대응해야 함. SDXL은 이전 버전보다 UNet 컴포넌트가 약 3배 더 크며, 이로 인해 프로덕션 환경에서의 배포가 어려웠음
- (또 하나의 변화) 2023.10.3일 Google은 Hugging Face Diffusion team의 도움을 받아 Hugging Face Spaces에 초고속 SDXL 추론앱을 출시하였음
- (허깅페이스와 구글 공동 작업으로 해결) 허깅 페이스 디퓨저(Hugging Face Diffusers)는 이제 클라우드 TPU와 JAX를 사용하여 SDXL을 지원함으로써 이러한 문제를 해결하였음.
- Google Cloud TPU는 대규모 AI 모델, 특히 SDXL과 같은 생성형 AI 모델의 학습과 추론에 최적화된 맞춤형 AI 가속기임. 최근에 소개된 Cloud TPU v5e는 TPU v4에 비해 절반 가량의 비용으로 높은 성능을 제공, 더 많은 조직이 AI 모델을 효율적으로 학습하고 배포할 수 있게 돕고 있다고 함
- (직접 체험 가능) 디퓨저의 JAX 통합은 XLA를 통해 TPU에서 SDXL을 효율적으로 실행하는 방법을 제공하며, 사용자들은 제공된 Hugging Face와 Google이 제공한 데모를 통해 이를 직접 체험할 수 있음.
- (시사점) 이러한 혁신은 SDXL과 같은 대형 AI 모델을 더 넓은 범위에서 활용할 수 있는 기회가 생기고 있음을 말해줌.
특히, 일반 비전문가 소비자에게는 더욱 반가운 소식일 수 있음.
[참고] Transformer & Diffusers
| 구분 | Hugging Face Transformer | Hugging Face Diffusers |
| 목적과 사용처 | 자연어 처리(NLP) 작업에 주로 사용됨 | 제너레이티브 모델, 특히 이미지 생성 모델에 중점 |
| 주요 기능 | - 다양한 사전 훈련된 NLP 모델 제공 - 텍스트 분류, 문장 생성, 번역, 요약 등 NLP 작업 지원 |
- 고성능의 비용 효율적인 추론 지원 - 대형 이미지 생성 모델을 프로덕션 환경에 배포 지원 |
| 호환 프레임워크 | PyTorch와 TensorFlow | JAX |
| 적용 분야 | - 텍스트 분류 - 문장 생성 - 번역 - 요약 등 |
- 고해상도 이미지 생성 - 제너레이티브 AI 모델의 추론 |
- (Hugging Face또 하나의 변화) 2023.10.3일 Google은 Hugging Face Diffusion team의 도움을 받아 Hugging Face Spaces에 초고속 SDXL 추론앱을 출시하였음
(1) Hugging Face Spaces - Stable Diffusion XL on TPU v5e
(2) 데모 Application (실습 가능)
https://huggingface.co/spaces/google/sdxl
Stable Diffusion XL on TPUv5e - a Hugging Face Space by google
huggingface.co
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_② 다국어트랜스포머와 XLM-R토큰화 (0) | 2023.10.20 |
|---|---|
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_① 데이터세트 “XTREME” (0) | 2023.10.12 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (13) Attention 시각화 실습 (0) | 2023.09.26 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (12) 모델 훈련시키기 (0) | 2023.09.21 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (11) 토큰 & 토큰화 방법 (0) | 2023.09.17 |
트랜스포머에서의 Attention 시각화: BERT를 활용한 실습
1. 트랜스포머와 Attention
트랜스포머는 자연어 처리 분야에서 중요한 아키텍처입니다. 그리고 그 핵심은 'Attention' 메커니즘입니다.
Attention은 입력 데이터의 중요한 부분에 '주의'를 기울이게 하는 방법으로, 문장의 다양한 구문적 및 의미적 관계를 동시에 학습할 수 있게 해줍니다.
2. Attention 시각화의 중요성
Attention 메커니즘의 작동 방식을 직관적으로 이해하는 것은 복잡할 수 있습니다. 따라서, 시각화 도구를 사용하여 모델이 어떤 부분에 주의를 기울이는지 직관적으로 파악하는 것이 필요합니다.
3. BERT와 bertviz
BERT는 트랜스포머 아키텍처를 기반으로 한 모델로, 다양한 NLP 작업에서 뛰어난 성능을 보여주고 있습니다.
bertviz는 BERT의 Attention 메커니즘을 시각화하기 위한 도구로, BERT 모델이 주어진 입력에 대해 어떻게 '주의'를 기울이는지 시각적으로 확인할 수 있게 해줍니다.
4. 실습: Hugging Face의 Transformer와 bertviz 연동하여 Attention 시각화
Hugging Face의 Transformer 라이브러리는 BERT와 같은 다양한 모델을 쉽게 사용할 수 있게 해줍니다. 그리고 bertviz와 함께 사용하면, 다음과 같은 단계로 Attention을 시각화할 수 있습니다:
| [인공지능 친해지기] Hugging Face - (15) 다국어 개체명 인식_① 데이터세트 “XTREME” (0) | 2023.10.12 |
|---|---|
| [인공지능 친해지기] Hugging Face - (14) HF와 Google이 만든 희소식! (0) | 2023.10.05 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (12) 모델 훈련시키기 (0) | 2023.09.21 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (11) 토큰 & 토큰화 방법 (0) | 2023.09.17 |
| [인공지능 친해지기] Hugging Face - 트랜스포머 (10) 데이터프레임 변환하기 (0) | 2023.09.14 |
