transfer learning

[LLM] Improving Language Understanding by Generative Pre-Training (GPT-1 논문 Review)

2024.10.25

이번엔 GPT-1 Model에 데하여 논문을 읽고 공부한 내용을 리뷰해 보겠습니다.이 논문에서는 Transformer 모델에 데한 설명이 포함되어 있습니다. 그래서, 어느정도 Transformer Model에 데한 지식이 잇어야 이해하실수 있습니다. 한번 읽고 와주세요! [NLP] Transformer Model - 트랜스포머 모델 알아보기이번 글에서는 Transformer 모델의 전반적인 Architecture 및 구성에 데하여 알아보겠습니다. Transformer: Attention is All You Need Transformer 모델은 2017년에 "Attention is All You Need"라는 논문을 통해서 소개되었습daehyun-bigbread.tistory.comAbstract자연어 이..

🖥️ Deep Learning

[DL] Transfer Learning - 전이 학습

2024.05.19

Transfer Learning, 즉 전이 학습은 ML(머신 러닝)과 DL(딥러닝)에서 기존의 Pre-Training 된 모델을 새로운 작업에 재사용하는 기법입니다. 이 방법은 특히 대규모 데이터셋에서 학습된 모델을 작은 데이터셋에 적용할 때 유용합니다.전이 학습은 모델이 사전 학습한 지식을 새로운 문제에 적용하여 학습 속도를 높이고 성능을 향상시킬 수 있습니다.Transfer Learning (전이 학습)기존의 Neural Network(신경망)에서 최상위 부분을 새로 정의한 다음, 이 부분을 Training 시키는 것이 Transfer Learning (전이 학습) 이라고 합니다.이때 Neural Network(신경망)의 하위 부분은 이미 Training된 Neural Network(신경망)을 사용하..

[LLM] Improving Language Understanding by Generative Pre-Training (GPT-1 논문 Review)

[DL] Transfer Learning - 전이 학습

티스토리툴바