Dream Factory

https://youtu.be/FCjXop153Rk

트랜스포머에서의 Attention 시각화: BERT를 활용한 실습 1. 트랜스포머와 Attention 트랜스포머는 자연어 처리 분야에서 중요한 아키텍처입니다. 그리고 그 핵심은 'Attention' 메커니즘입니다. Attention은 입력 데이터의 중요한 부분에 '주의'를 기울이게 하는 방법으로, 문장의 다양한 구문적 및 의미적 관계를 동시에 학습할 수 있게 해줍니다. 2. Attention 시각화의 중요성 Attention 메커니즘의 작동 방식을 직관적으로 이해하는 것은 복잡할 수 있습니다. 따라서, 시각화 도구를 사용하여 모델이 어떤 부분에 주의를 기울이는지 직관적으로 파악하는 것이 필요합니다. 3. BERT와 bertviz BERT는 트랜스포머 아키텍처를 기반으로 한 모델로, 다양한 NLP 작업에서..

Hugging Face에서 기존의 모델을 이용하여 (1) 특성추출 및 (2) Fine-tuning을 통하여 모델을 쉽게 훈련시키는 것을 해 볼 수 있습니다. 이를 통해 인공지능 모델을 이해하고 쉽게 다가갈 수 있습니다. 아직도 어려운 부분이 있겠으나 과거에 비하여 Hugging Face 등을 통하여 훨씬 쉽게 접근할 수 있게 되었습니다. 감사합니다. https://youtu.be/F5JyQ08YQBM

자연어 처리(NLP)에서 "토큰"과 "토큰화"는 중요한 개념입니다. 이들에 대한 간단한 살펴 보겠습니다. 토큰 및 토큰화 1. 토큰(Token): - 토큰은 텍스트를 구성하는 개별 단위를 의미합니다. 토큰은 대체로 단어를 의미하지만, 문장 부호나 다른 문자열도 토큰이 될 수 있습니다. - 예를 들어, 문장 "안녕하세요, 저는 ChatGPT입니다."에서 "안녕하세요,", "저는", "ChatGPT입니다."는 각각 토큰으로 간주될 수 있습니다. 2. 토큰화(Tokenization): - 토큰화는 주어진 텍스트를 토큰으로 분리하는 과정을 의미합니다. - 토큰화는 여러 방법으로 수행될 수 있습니다. 가장 간단한 방법은 공백을 기준으로 텍스트를 분리하는 것입니다. 그러나, 다양한 언어와 문맥에서는 더 복잡한 토큰..

https://www.greendaero.go.kr/svc/rfph/vilIntro/front/detail.do?pstSn=108645 대한민국 귀농귀촌 대표 포털 그린대로 귀농 귀촌을 준비에서 정착까지 필요한 정보와 서비스를 원스톱으로 지원하는 나를 위한 내손안의 귀농귀촌 온라인 비서 ‘그린대로’입니다. www.greendaero.go.kr

DataFrame 변환 Hugging Face에서 데이터세트를 그대로 사용해도 되지만 이 데이터세트를 DataFrame으로 바꾸워 사용하면 편리한 부분이 많을 수 있습니다. DataFrame으로 변환하면 다양하고 더 강력한 기능을 사용할 수 있고 시각화를 위한 기능 사용을 위해서도 pandas와 같은 라이브러리로 전환하는 것이 유용할 수 있습니다. 이를 위해 Hugging Face의 Dataset는 Pandas, Numpy, PyTorch, TensorFlow, JAX 같은 라이브러리와 상호 운용될 수 있도록 설계되었습니다. 변환 방법 변환을 활성화하기 위해 HF Datasets는 데이터 집합의 출력 형식을 변경할 수 있는 set_format() 메서드를 제공합니다. 이렇게 해도 기본 데이터 형식(Arr..

종부세 관련하여 2023년 올해 바뀐 사항을 고려하여 어느 쪽이 세부담이 적은 지 확인이 필요합니다. 예를 들어 부부공동명의 주택의 경우 각자의 상황에 따라 세액 부담이 달라져 작년과 달리 올해 납세 방법 변경이 필요할 수 있습니다. https://youtu.be/o6tGwBomgAo

머신러닝이나 통계 등을 함에 있어 많은 사람들이 경우에 따라 Python과 R을 동시 또는 교차 사용하는 경우가 있습니다. 예를 들어 Python을 배우기 전에 통계 등에 있어 R을 사용한 경우에 기존의 R에 익숙하거나 R을 이용한 기존 프로그램을 이용하는 경우 그러한 필요성을 느끼게 됩니다. 이에 구글 코랩에서 R과 Python을 이용하는 방법을 알아보고자 합니다. (이러한 방법도 여러가지 변형이 있을 수 있고 관련 기술 및 Solution을 발전에 따라 이 글의 내용 중 일부를 향후 수정해야 할 수도 있다.) 파이썬과 R 을 동시 사용하기 (유튜브 영상 참조) https://youtu.be/j0F_1wNJUwk 참고: 구글코랩에서 R 사용하기 (1) 구글코랩에서 R을 직접 사용하기 위해서는 다음과 같..

많은 사람들은 만화를 즐깁니다. 그러한 만화를 제작하는것은 상당한 시간이 소요되는 작업입니다. Comic-Factory AI는 이러한 만화 창작 작업에 있어 일반인들이 쉽고 재미있게 다가갈 수 있도록 하고 있습니다. Hugging Face를 틈틈히 보면서 이 앱이 올라온 것을 알고 있었는데 다른 일로 바쁘게 지내다 오늘 아침 이미지 작업이 필요하여 생각하다가 문득 이것이 생각나 해 보았습니다. 예상외로 아무 사전 지식도 필요없이 처음 프롬프트에 넣은 것에 적당한 이미지가 생성되어 제 글을 이미지와 함께 공유할 수 있었습니다. 그 그림이 바로 다음 그림입니다. 그래서 오늘(2023.9월) 이 comic factory AI를 살펴보겠습니다. What is AI Comic Factory AI 코믹 팩토리란 무..

안녕하세요. 이 글은 몇 달 전에 지면을 통하여 일부 제한적으로 제출한 원고 글입니다. (당시 이 글의 예상 독자분들은 소프트웨어 분야 등에서 일하시는 분들이서 글의 맥락에 IT산업에 대한 부분이 일부 포함되어 있습니다) 인공지능 시대, 우리가 일상 그리고 업무를 하면서 사용하는 언어 등에 대하여 한번 생각해 보았습니다. 감사합니다. https://brunch.co.kr/@dreamfactory100/15 ChatGPT 시대 ‘언어’와 ‘실질’에 대한 사색 사회적 동물인 우리 인간은 가족, 친구, 동료 등 다른 사람과의 연결을 항상 추구해 왔습니다. 이런 연결의 핵심은 생각과 감정을 공유하는 것이며, 이는 주로 언어를 통해 이루어집니다. 그리고 brunch.co.kr