Dream Factory

유튜브 https://youtu.be/glhfZTWfjxE 기존 문제점 (고비용과 높은 사양의 메모리 필요) SDXL(Stable Diffusion XL)은 고품질의 사실적인 콘텐츠 생성을 가능하게 하는 제너레이티브 AI 모델임. 그러나 이 모델을 사용하려면 높은 계산 비용과 메모리 요구 사항에 대응해야 함. SDXL은 이전 버전보다 UNet 컴포넌트가 약 3배 더 크며, 이로 인해 프로덕션 환경에서의 배포가 어려웠음 문제점 해결 - (또 하나의 변화) 2023.10.3일 Google은 Hugging Face Diffusion team의 도움을 받아 Hugging Face Spaces에 초고속 SDXL 추론앱을 출시하였음 - (허깅페이스와 구글 공동 작업으로 해결) 허깅 페이스 디퓨저(Hugging Fa..

트랜스포머에서의 Attention 시각화: BERT를 활용한 실습 1. 트랜스포머와 Attention 트랜스포머는 자연어 처리 분야에서 중요한 아키텍처입니다. 그리고 그 핵심은 'Attention' 메커니즘입니다. Attention은 입력 데이터의 중요한 부분에 '주의'를 기울이게 하는 방법으로, 문장의 다양한 구문적 및 의미적 관계를 동시에 학습할 수 있게 해줍니다. 2. Attention 시각화의 중요성 Attention 메커니즘의 작동 방식을 직관적으로 이해하는 것은 복잡할 수 있습니다. 따라서, 시각화 도구를 사용하여 모델이 어떤 부분에 주의를 기울이는지 직관적으로 파악하는 것이 필요합니다. 3. BERT와 bertviz BERT는 트랜스포머 아키텍처를 기반으로 한 모델로, 다양한 NLP 작업에서..

Hugging Face에서 기존의 모델을 이용하여 (1) 특성추출 및 (2) Fine-tuning을 통하여 모델을 쉽게 훈련시키는 것을 해 볼 수 있습니다. 이를 통해 인공지능 모델을 이해하고 쉽게 다가갈 수 있습니다. 아직도 어려운 부분이 있겠으나 과거에 비하여 Hugging Face 등을 통하여 훨씬 쉽게 접근할 수 있게 되었습니다. 감사합니다. https://youtu.be/F5JyQ08YQBM

자연어 처리(NLP)에서 "토큰"과 "토큰화"는 중요한 개념입니다. 이들에 대한 간단한 살펴 보겠습니다. 토큰 및 토큰화 1. 토큰(Token): - 토큰은 텍스트를 구성하는 개별 단위를 의미합니다. 토큰은 대체로 단어를 의미하지만, 문장 부호나 다른 문자열도 토큰이 될 수 있습니다. - 예를 들어, 문장 "안녕하세요, 저는 ChatGPT입니다."에서 "안녕하세요,", "저는", "ChatGPT입니다."는 각각 토큰으로 간주될 수 있습니다. 2. 토큰화(Tokenization): - 토큰화는 주어진 텍스트를 토큰으로 분리하는 과정을 의미합니다. - 토큰화는 여러 방법으로 수행될 수 있습니다. 가장 간단한 방법은 공백을 기준으로 텍스트를 분리하는 것입니다. 그러나, 다양한 언어와 문맥에서는 더 복잡한 토큰..

DataFrame 변환 Hugging Face에서 데이터세트를 그대로 사용해도 되지만 이 데이터세트를 DataFrame으로 바꾸워 사용하면 편리한 부분이 많을 수 있습니다. DataFrame으로 변환하면 다양하고 더 강력한 기능을 사용할 수 있고 시각화를 위한 기능 사용을 위해서도 pandas와 같은 라이브러리로 전환하는 것이 유용할 수 있습니다. 이를 위해 Hugging Face의 Dataset는 Pandas, Numpy, PyTorch, TensorFlow, JAX 같은 라이브러리와 상호 운용될 수 있도록 설계되었습니다. 변환 방법 변환을 활성화하기 위해 HF Datasets는 데이터 집합의 출력 형식을 변경할 수 있는 set_format() 메서드를 제공합니다. 이렇게 해도 기본 데이터 형식(Arr..

많은 사람들은 만화를 즐깁니다. 그러한 만화를 제작하는것은 상당한 시간이 소요되는 작업입니다. Comic-Factory AI는 이러한 만화 창작 작업에 있어 일반인들이 쉽고 재미있게 다가갈 수 있도록 하고 있습니다. Hugging Face를 틈틈히 보면서 이 앱이 올라온 것을 알고 있었는데 다른 일로 바쁘게 지내다 오늘 아침 이미지 작업이 필요하여 생각하다가 문득 이것이 생각나 해 보았습니다. 예상외로 아무 사전 지식도 필요없이 처음 프롬프트에 넣은 것에 적당한 이미지가 생성되어 제 글을 이미지와 함께 공유할 수 있었습니다. 그 그림이 바로 다음 그림입니다. 그래서 오늘(2023.9월) 이 comic factory AI를 살펴보겠습니다. What is AI Comic Factory AI 코믹 팩토리란 무..

이번에는 Hugging Face의 Datasets을 이용함에 있어 다양한 Dataset을 Loading하는 방법에 어떤 것이 있는지 알아보았습니다. 관련 싸이트를 참고하시고 향후 개별 사례 등을 통하여 실제 사용 사례나 특이한 부분이 있으면 또 살펴보겠습니다. 감사합니다. 유튜브 자료 https://youtu.be/bUpx3BoY1to 참고 https://huggingface.co/docs/datasets/v2.14.4/loading Load Your data can be stored in various places; they can be on your local machine’s disk, in a Github repository, and in in-memory data structures like P..

Hugging Face의 중요한 장점 중 하나인 Dataset에 대한 첫번째 사용 실습을 해보았습니다. 관련 내용은 첨부된 유튜브와 관련 코드를 참조해주시면 됩니다. 좋은 아이디어나 개선할 부분이 있으시면 알려주시면 감사하겠습니다. 유튜브 실습 https://youtu.be/GODp1X3FOQ0 관련 실습 코드 ① - 구글코랩 화일 #HuggingFace #허깅페이스 #Datasets #데이터세트실습 #인공지능 #KS경영인공지능연구소 #KS회계보험계리컨설팅

이번에는 Hugging Face의 Space에서 이미지를 넣으면 관련된 이야기를 만들어주는 인공지능 앱을 경험해 보겠습니다. 이를 통해 인공지능과 좀 더 친해질 수 있을 것 같습니다. 정말 많은 앱 중에서 Image to Story를 사용해 보겠습니다. 자녀나 손자, 손녀와 함께 가족 사진을 이용하여 상상의 나래를 펴보시면 좋으실 것 같습니다. 실습 유튜브 https://youtu.be/_mzAYqnAM3s [실습결과물 예시] https://huggingface.co/spaces/fffiloni/Image-to-Story/discussions/86 fffiloni/Image-to-Story · ---Once upon a time, on a beautiful sandy beach, there lived a..

이번에는 Huggging Face에 있는 Gradio 기능에 대한 소개와 간단한 실습 예를 통하여 사용에 대하여 살펴 보겠습니다. 이 또한 다양한 활용 방안이 있기에 향후에 Hugging Face의 다른 기능과 함께 계속 살펴 보겠습니다. 감사합니다. Gradio 기능 1. Gradio의 기능은 무엇인가? 기본적인 기능은 다음과 같다고 합니다. - 머신 러닝 모델, API 또는 데이터 과학 워크플로를 "웹 인터페이스"로 다른 사람들에게 데모하거나 공유할 수 있습니다. (Gradio를 사용하면 Python으로 데모를 빌드하고 공유할 수 있습니다. 보통 몇 줄의 코드만으로 가능함) Gradio의 또 다른 활용 방안 Gradio를 "일반인이나 초보자 등 소비자나 비전공자 측면"에서는 "코드를 잘 몰라도" 쉽게..