Dream Factory

전체 데이터셋을 토크나이징하여 XLM-R 모델에 Fine tuning을 위해 전달할 데이터셋을 토큰화하는 것에 대하여 살펴보겠습니다. 감사합니다. https://youtu.be/09dfo3BPZ5Y?si=6QWtf0g4GclysdU6

(제가 출장 중이어서 좀 늦게 올립니다만 여러분들도 예상한 바와 같이 나날이 발전하는 것 같습니다.) OpenAI의 DevDay 업데이트는 개발자들이 자신의 애플리케이션에 고급 AI 기능을 통합할 수 있도록 하는 중요한 발전을 나타냅니다. 더 저렴한 비용, 개선된 기능, 새로운 API를 통해 OpenAI는 AI 기술의 가능성을 계속해서 확장하고 있습니다. OpenAI의 DevDay 발표 소개 OpenAI의 DevDay는 플랫폼 전반에 걸쳐 많은 추가 기능과 가격 인하를 발표했습니다. 주요 내용으로는 128K 컨텍스트 윈도우를 갖춘 GPT-4 Turbo의 출시, Assistants API, 다중 모달 기능 등이 있습니다. GPT-4 Turbo: 전진의 도약 3월에 처음 출시된 버전에서 업그레이드된 새로운 ..

Hugging FaceTransformers 라이브러리는 사용자가 특정 목적에 맞춰 기존의 사전 훈련된 모델을 쉽게 수정하고 확장할 수 있도록 지원합니다. 이를 통해 사용자는새로운 모델을 처음부터 전부 구현하지 않고도, 기존 모델의 구조와 가중치를 활용하여 필요한 목표를 달성할 수 있는 맞춤형 모델을 효율적으로 만들 수 있습니다. https://youtu.be/2GYGAfVr6VE

ChatGPT에서 DALL-E 3를 사용할 수 있습니다. DALL-E 3와 같은 이미지 생성 AI를 사용하다 보면 항상 기존에 어떤 이미지가 마음에 들면 이 이미지를 기반으로 다른 변형을 하고 싶은데 기존 이미지를 일관되게 유지하지 못하게 되면 실망하는 경우가 많이 있었습니다. 이러한 부분도 기술이 발전하면서 조만간 더욱 쉽게 이러한 부분이 반영될 것이 분명합니다. 지금 현재는 이러한 부분을 다음 영상에서와 같은 방법으로 일관성을 유지할 수 있을 것 같아 실습해 보았습니다. 감사합니다. https://youtu.be/MNHMCbOrYwM

유튜브 https://youtu.be/glhfZTWfjxE 기존 문제점 (고비용과 높은 사양의 메모리 필요) SDXL(Stable Diffusion XL)은 고품질의 사실적인 콘텐츠 생성을 가능하게 하는 제너레이티브 AI 모델임. 그러나 이 모델을 사용하려면 높은 계산 비용과 메모리 요구 사항에 대응해야 함. SDXL은 이전 버전보다 UNet 컴포넌트가 약 3배 더 크며, 이로 인해 프로덕션 환경에서의 배포가 어려웠음 문제점 해결 - (또 하나의 변화) 2023.10.3일 Google은 Hugging Face Diffusion team의 도움을 받아 Hugging Face Spaces에 초고속 SDXL 추론앱을 출시하였음 - (허깅페이스와 구글 공동 작업으로 해결) 허깅 페이스 디퓨저(Hugging Fa..

들어가며 프로그래밍 등을 하다 보면 변수, 함수 등에 대한 이름을 정할 때마다 어떻게 하나 하는 고민이 항상 있습니다. 저 또한 처음에는 솔직히 편한데로 한 경우가 많습니다. 프로그래밍에서 변수, 함수, 클래스 등의 이름을 지을 때 사용하는 "Naming Convention (네이밍 컨벤션)"은 코드의 가독성과 유지 보수에 큰 영향을 미칩니다. 이번 글에서는 네이밍 컨벤션의 종류와 각각의 특징, 사용 사례에 대해 알아보겠습니다. 네이밍 컨벤션의 중요성 프로그래밍에서 공백은 예약된 문자로, 변수나 함수의 이름에 공백을 사용할 수 없습니다. 예를 들어, `number of donuts`라는 변수명을 직접 사용할 수 없으며, 이를 연결해주는 네이밍 컨벤션을 사용해 `numberOfDonuts`나 `number..

추석 명절을 맞이하여 파이썬을 이용하여 보름달 맞이와 함께 매일 변하는 달의 모습을 관측해보겠습니다. 추석 명절 잘 보내세요. 관련 영상 https://youtu.be/WkIPoKp5XzY 관련 코드

트랜스포머에서의 Attention 시각화: BERT를 활용한 실습 1. 트랜스포머와 Attention 트랜스포머는 자연어 처리 분야에서 중요한 아키텍처입니다. 그리고 그 핵심은 'Attention' 메커니즘입니다. Attention은 입력 데이터의 중요한 부분에 '주의'를 기울이게 하는 방법으로, 문장의 다양한 구문적 및 의미적 관계를 동시에 학습할 수 있게 해줍니다. 2. Attention 시각화의 중요성 Attention 메커니즘의 작동 방식을 직관적으로 이해하는 것은 복잡할 수 있습니다. 따라서, 시각화 도구를 사용하여 모델이 어떤 부분에 주의를 기울이는지 직관적으로 파악하는 것이 필요합니다. 3. BERT와 bertviz BERT는 트랜스포머 아키텍처를 기반으로 한 모델로, 다양한 NLP 작업에서..

* 부족한 부분이 있으나 데이터 증강과 인공신경망(LSTM)을 이용하고 Lee-Carter 모델을 결합하여 사망률 예측에 대한 논문을 작성해 보았습니다. 그러나 나름 국내 이 분야에서는 초기 시도라 할 수 있을 것 같습니다. 첨부파일 인공신경망에 대한 연구는 많은 발전을 거듭하고 있고 특히 예측 분야에서 연구되고 활용되고 있다. 예를 들어 공학뿐만 아니라 경제·경영 분야에서 주식 가격, 농산물 가격 등 다양한 가격 예측에도 사용되고 있다. 본 논문의 주제인 사망률을 예측하는 경우에도 인공신경망이 이용되고 있고, 기존의 사망률 예측 연구에 비하여 인공신경망을 이용한 연구에서 더 향상된 예측 성능을 보여주었다. 이러한 사망률 예측과 인공신경망을 통한 선행 연구에서는 연 사망률을 이용하였다. 그런데 사망률 예..