jihu

목차아래 공식 튜토리얼을 따라갑니다.   Dataset과 DataLoader파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 DataLoader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 데이터 샘플을 처리하는 코tutorials.pytorch.kr  학습 목표 나의 데이터 셋에 맞는 커스텀 Dataset을 정의할 수 있다. DataLoader의 역할을 이해한다. INTRO Pytorch는 데이터를 쉽게 로드하고 불러올 수 있도록 Dataset 과 DataLoader를 제공한다. Dataset: 입력 데이터와 라벨을 저장하는 데이터셋 객체DataLoader: 모델이 배..

목차  요약Instruct GPT: Human Feedback을 기반으로 LLM을 파인튜닝하는 방법을 제안 Background"최근 LLM의 패러다임은 fine-tuning하여 활용하기 보다, 모델에게 질문하고 있는 방식으로 옮겨가고 있다." - 예를 들어, (1) 학습 데이터의 라벨을 LLM을 통해 분류하거나, (2) 질문하는 방식을 통해 해답을 얻는다.  - (1) 의 예시: 프롬프트 안에 텍스트 데이터와 요청 사항('텍스트 데이터를 A,B 둘 중 하나로 분류해줘')을 넣어서 라벨링- (2): 우리가 목적하는 태스크를 수행하기 위해 GPT 프롬프트에 요청 사항을 입력한다.  "이제는, human instruction(=user intention)를 잘 따르는 LLM을 학습해야 할 시대가 왔다! " ..

더보기   목차학습 목표- BERT 모델의 등장 배경과 특징에 대해서 안다. INTRO파인튜닝을 위한 Pre-trained 모델이다. LLM 모델을 따로 학습하고, fine-tuning 을 모두 수행하면 어려움(e.g. 컴퓨터 리소스 부족, 시간이 오래 걸림, 성능 안나옴).. 따라서, 언어에 대한 학습이 기본으로 된 Pre-trained 모델을 많이 활용한다. BERT는 이러한 Pre-trained 모델의 대표Bidirectional(양방향): 양방향 context를 활용하여 문서에 대한 이해를 높임 BERT의 핵심 구조, 인코더 : Transformer의 인코더 구조를 가져왔다.  [데이터 전처리]- 3가지 임베딩을 한다 : Token + Segment + Positional   1. Token Em..

목차자연어 처리(Natural Language Processing): 컴퓨터가 인간의 언어(자연어)를 이해하고 생성할 수 있도록 하는 기술-기계 번역, 감성 분석, 챗봇, 음성 인식, 검색 등 다양한 응용 분야에서 사용 자연어 처리 딥러닝 모델의 역사사전 지식 seq-to-seq, RNN(Recurrent Neural Network),  Attention mechanism RNN(Recurrent Neural Network)더보기1.  순환 신경망(Recurrent Neural Network, RNN): 순차적 데이터(시퀀스 데이터)를 처리하는데 특화된 인공 신경망 텍스트는 순서가 있고 순차적이기 때문에, RNN 구조를 활용해야 효과적인 학습이 가능함.  | 시퀀스 데이터란?시계열 데이터, 자연어 처리,..

목차 학습 목표 - 실제 배포를 위한 딥러닝 프로젝트 구조를 알아본다. Intro: 딥러닝 프로젝트 어떻게 구성해야 하나요? Jupyter Lab vs (OOP + 모듈)Jupyter Lab: 대화식이고 디버깅 할 때 많이 쓰긴 한다.하지만, 배포를 위해서는 OOP와 모듈형으로 프로젝트를 구성하는 방식이 좋다. 다양한 템플릿이 있어서 편한 구조를 쓰면 된다(아래 참고) GitHub - FrancescoSaverioZuppichini/PyTorch-Deep-Learning-Template: A Pytorch Computer Vision template to quick start your nextA Pytorch Computer Vision template to quick start your next pro..