Dream Factory

ChatGPT에서 DALL-E 3를 사용할 수 있습니다. ChatGPT와 같이 사용하면 다양한 활용과 함께 더욱 편리한 사용이 가능합니다. https://youtu.be/4ldX84HTTrg

다국어 개체명 인식에 있어 사용하는 벤치마크 데이터세트인 XTREME을 중심으로 살펴봅니다. 감사합니다. 유튜브 영상 https://youtu.be/sMRZUv_4VY0

유튜브 https://youtu.be/glhfZTWfjxE 기존 문제점 (고비용과 높은 사양의 메모리 필요) SDXL(Stable Diffusion XL)은 고품질의 사실적인 콘텐츠 생성을 가능하게 하는 제너레이티브 AI 모델임. 그러나 이 모델을 사용하려면 높은 계산 비용과 메모리 요구 사항에 대응해야 함. SDXL은 이전 버전보다 UNet 컴포넌트가 약 3배 더 크며, 이로 인해 프로덕션 환경에서의 배포가 어려웠음 문제점 해결 - (또 하나의 변화) 2023.10.3일 Google은 Hugging Face Diffusion team의 도움을 받아 Hugging Face Spaces에 초고속 SDXL 추론앱을 출시하였음 - (허깅페이스와 구글 공동 작업으로 해결) 허깅 페이스 디퓨저(Hugging Fa..

트랜스포머에서의 Attention 시각화: BERT를 활용한 실습 1. 트랜스포머와 Attention 트랜스포머는 자연어 처리 분야에서 중요한 아키텍처입니다. 그리고 그 핵심은 'Attention' 메커니즘입니다. Attention은 입력 데이터의 중요한 부분에 '주의'를 기울이게 하는 방법으로, 문장의 다양한 구문적 및 의미적 관계를 동시에 학습할 수 있게 해줍니다. 2. Attention 시각화의 중요성 Attention 메커니즘의 작동 방식을 직관적으로 이해하는 것은 복잡할 수 있습니다. 따라서, 시각화 도구를 사용하여 모델이 어떤 부분에 주의를 기울이는지 직관적으로 파악하는 것이 필요합니다. 3. BERT와 bertviz BERT는 트랜스포머 아키텍처를 기반으로 한 모델로, 다양한 NLP 작업에서..

Hugging Face에서 기존의 모델을 이용하여 (1) 특성추출 및 (2) Fine-tuning을 통하여 모델을 쉽게 훈련시키는 것을 해 볼 수 있습니다. 이를 통해 인공지능 모델을 이해하고 쉽게 다가갈 수 있습니다. 아직도 어려운 부분이 있겠으나 과거에 비하여 Hugging Face 등을 통하여 훨씬 쉽게 접근할 수 있게 되었습니다. 감사합니다. https://youtu.be/F5JyQ08YQBM

자연어 처리(NLP)에서 "토큰"과 "토큰화"는 중요한 개념입니다. 이들에 대한 간단한 살펴 보겠습니다. 토큰 및 토큰화 1. 토큰(Token): - 토큰은 텍스트를 구성하는 개별 단위를 의미합니다. 토큰은 대체로 단어를 의미하지만, 문장 부호나 다른 문자열도 토큰이 될 수 있습니다. - 예를 들어, 문장 "안녕하세요, 저는 ChatGPT입니다."에서 "안녕하세요,", "저는", "ChatGPT입니다."는 각각 토큰으로 간주될 수 있습니다. 2. 토큰화(Tokenization): - 토큰화는 주어진 텍스트를 토큰으로 분리하는 과정을 의미합니다. - 토큰화는 여러 방법으로 수행될 수 있습니다. 가장 간단한 방법은 공백을 기준으로 텍스트를 분리하는 것입니다. 그러나, 다양한 언어와 문맥에서는 더 복잡한 토큰..

DataFrame 변환 Hugging Face에서 데이터세트를 그대로 사용해도 되지만 이 데이터세트를 DataFrame으로 바꾸워 사용하면 편리한 부분이 많을 수 있습니다. DataFrame으로 변환하면 다양하고 더 강력한 기능을 사용할 수 있고 시각화를 위한 기능 사용을 위해서도 pandas와 같은 라이브러리로 전환하는 것이 유용할 수 있습니다. 이를 위해 Hugging Face의 Dataset는 Pandas, Numpy, PyTorch, TensorFlow, JAX 같은 라이브러리와 상호 운용될 수 있도록 설계되었습니다. 변환 방법 변환을 활성화하기 위해 HF Datasets는 데이터 집합의 출력 형식을 변경할 수 있는 set_format() 메서드를 제공합니다. 이렇게 해도 기본 데이터 형식(Arr..

많은 사람들은 만화를 즐깁니다. 그러한 만화를 제작하는것은 상당한 시간이 소요되는 작업입니다. Comic-Factory AI는 이러한 만화 창작 작업에 있어 일반인들이 쉽고 재미있게 다가갈 수 있도록 하고 있습니다. Hugging Face를 틈틈히 보면서 이 앱이 올라온 것을 알고 있었는데 다른 일로 바쁘게 지내다 오늘 아침 이미지 작업이 필요하여 생각하다가 문득 이것이 생각나 해 보았습니다. 예상외로 아무 사전 지식도 필요없이 처음 프롬프트에 넣은 것에 적당한 이미지가 생성되어 제 글을 이미지와 함께 공유할 수 있었습니다. 그 그림이 바로 다음 그림입니다. 그래서 오늘(2023.9월) 이 comic factory AI를 살펴보겠습니다. What is AI Comic Factory AI 코믹 팩토리란 무..

AI의 선구자 중 한 명인 얀 르쿤은 AI의 늘어나는 능력에 대한 우리의 두려움이 과장되었다고 주장한다. 지난 1월, OpenAI가 ChatGPT를 세상에 공개한 지 몇 달 후, 메타의 부사장이자 주요 AI 과학자인 얀 르쿤은 트윗을 통해 경쟁사에 대한 날카로운 비판과 동시에 자신의 회사의 상위 경영진에게 부드러운 압박을 가했다. 그는 대기업들이 대중에게 눈에 띄게 흠이 있는 제품을 공개함으로써 더 많은 것을 잃을 위험이 있다고 주장했다. 그러나 이제 메타는 Llama 2라는 최신 대형 언어 모델의 데뷔를 통해 르쿤의 미묘한 도전에 응답하며 다른 어느 회사보다 더 큰 위험을 감수하고 있다. 르쿤은 이러한 기술에 대한 접근성을 확대하고 다른 사람들이 그 위에 무언가를 구축하는 것이 실리콘 밸리의 소수 엔지..

이번에는 Hugging Face의 Datasets을 이용함에 있어 다양한 Dataset을 Loading하는 방법에 어떤 것이 있는지 알아보았습니다. 관련 싸이트를 참고하시고 향후 개별 사례 등을 통하여 실제 사용 사례나 특이한 부분이 있으면 또 살펴보겠습니다. 감사합니다. 유튜브 자료 https://youtu.be/bUpx3BoY1to 참고 https://huggingface.co/docs/datasets/v2.14.4/loading Load Your data can be stored in various places; they can be on your local machine’s disk, in a Github repository, and in in-memory data structures like P..