이번에는 "LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS" 논문을 한번 리뷰해 보겠습니다.논문 링크 LoRA: Low-Rank Adaptation of Large Language ModelsAn important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes learxiv.orgAb..
스터디 준비를 하다가 정리한 내용을 한번 Review를 해보겠습니다.Training language models to follow instructions with human feedbackAbstract언어 모델의 크기를 키우는 것만으로는 사용자 의도에 더 잘 부합하도록 만드는 것이 아닙니다. 예를 들어, 대규모 언어 모델은 진실하지 않거나, 유해하거나, 사용자에게 도움이 되지 않는 출력을 생성할 수 있습니다. 즉, 이러한 모델은 사용자의 의도에 맞춰져 있지 않습니다. 여기서는 인간의 피드백으로 미세 조정하여 다양한 작업에서 사용자 의도와 일치하는 언어 모델을 개발하는 방법을 제시합니다.OpenAI API를 통해 수집된 레이블러가 작성한 프롬프트와 데모 데이터를 사용하여 모델이 원하는 동작을 시연하는 데..
이번엔 GPT-1 Model에 데하여 논문을 읽고 공부한 내용을 리뷰해 보겠습니다.이 논문에서는 Transformer 모델에 데한 설명이 포함되어 있습니다. 그래서, 어느정도 Transformer Model에 데한 지식이 잇어야 이해하실수 있습니다. 한번 읽고 와주세요! [NLP] Transformer Model - 트랜스포머 모델 알아보기이번 글에서는 Transformer 모델의 전반적인 Architecture 및 구성에 데하여 알아보겠습니다. Transformer: Attention is All You Need Transformer 모델은 2017년에 "Attention is All You Need"라는 논문을 통해서 소개되었습daehyun-bigbread.tistory.comAbstract자연어 이..
Google Open Image Dataset 소개Google Open Images Dataset은 구글에서 공개한 대규모의 공개 이미지 데이터셋으로, 컴퓨터 비전 및 머신러닝 연구에 널리 활용되고 있습니다. 이 데이터셋은 다양한 주제와 상황을 담은 약 9백만 장 이상의 이미지로 구성되어 있으며, 각 이미지에는 풍부한 레이블 정보가 포함되어 있습니다.주요 특징방대한 규모: 약 9백만 장 이상의 이미지와 6천여 개의 클래스 레이블을 포함하고 있어, 대규모 모델 학습에 적합합니다.다양한 레이블 종류:이미지 레벨 레이블: 이미지 전체에 대한 일반적인 분류 정보.바운딩 박스: 이미지 내 객체의 위치와 크기를 나타내는 좌표 정보.이미지 세그멘테이션 마스크: 픽셀 단위로 객체의 영역을 표시.관계 레이블: 객체 간의..
Raccoon Dataset을 YOLO V3 Model로 학습시켜서 Image & Video에 Object Detection을 한번 수행해 보겠습니다.Dataset GitHub - experiencor/keras-yolo3: Training and Detecting Objects with YOLO3Training and Detecting Objects with YOLO3. Contribute to experiencor/keras-yolo3 development by creating an account on GitHub.github.comLibrary DownloadObject Detection 학습을 위한 Library를 다운로드 하겠습니다.!pwd!rm -rf DLCV!git clone https://..
Object Detection Model Traning시 유의해야할 사항들에 데하여 한번 알아보겠습니다.대량의 이미지 학습시 Memory 문제대량의 이미지 학습 시, 이미지를 네트워크에 입력하기 위해 배치로 변환되며, 이로 인해 메모리 사용량이 증가합니다.반복적인 학습 과정에서 메모리 사용량은 더 커지게 되고, 이로 인해 메모리 관련 문제가 발생할 수 있습니다. 즉, 이미지의 개수가 메모리 사용량의 대부분을 좌우하게 됩니다.Keras fit_generator()를 이용한 학습Keras의 fit_generator()를 이용한 학습을 할때, 만약 데이터가 너무 크면 Memory에 모두 올리지 않고, Batch 단위로 Data Generator(데이터 생성기)를 통해 데이터를 공급하며 학습을 진행하는 방식입니..
정신이 없어서 이어서 쓰는걸 까먹었네요.. 열심히 써보겠습니다 ㅠKeras YOLO Open source Package 특징더 쉬운 환경 설정Keras 기반의 YOLO 패키지는 Darknet YOLO 프레임워크에 비해 환경 설정이 더 간단합니다. Keras는 Python을 기반으로 한 딥러닝 워크플로우와 잘 통합되며, 더 사용자 친화적인 인터페이스를 제공하여 다양한 사용자가 접근하기 쉽습니다.Keras의 Callbacks, TensorBoard, Preprocessing 기능 활용Keras는 Callbacks 기능을 제공하여 학습 과정 중에 동적으로 모니터링하고 조정할 수 있습니다. 예를 들어, 조기 종료(early stopping)나 학습 속도 스케줄링(learning rate scheduling) 등..
정신이 없어서 이어서 쓰는걸 까먹었네요.. 열심히 써보겠습니다 ㅠ# 현재 디렉토리는 /content이며 이 디렉토리를 기준으로 실습코드와 데이터를 다운로드 합니다. !pwd!rm -rf DLCV!git clone https://github.com/chulminkw/DLCV.git# DLCV 디렉토리가 Download되고 DLCV 밑에 Detection과 Segmentation 디렉토리가 있는 것을 확인!ls -lia !ls -lia DLCVOpenCV Darknet YOLO를 이용하여 image & 영상 Object Detection여기선 YOLO와 tiny-yolo를 이용하여 Object Detection을 해보겠습니다.import cv2import matplotlib.pyplot as pltimpor..
이번에는 Quantization(양자화), LoRA & QLoRA에 데하여 한번 알아보겠습니다.Quantization(양자화)? Quantization(양자화)는 딥러닝 모델의 메모리 사용량과 계산 효율성을 향상시키기 위한 기술로, 고정 소수점(fixed-point) 숫자 표현을 사용하여 모델의 가중치와 활성화 값을 표현하는 방식입니다. 이는 훈련된 모델의 정확성을 최대한 유지하면서도 성능을 개선하는 것을 목표로 합니다.Quantization(양자화)의 필요성딥러닝에서 Quantization(양자화)가 필요한 이유에 데하여 한번 알아보겠습니다.메모리 절감: 모델 파라미터의 크기를 줄여 메모리 사용량을 절감합니다.연산 속도 향상: 고정 소수점 연산은 부동 소수점 연산보다 빠르기 때문에 추론 속도가 빨라집니..
이번에는 Model Distillation (모델 증류)에 관한 내용에 데하여 한번 설명해 보도록 하겠습니다.What is Model Distillation (모델 증류)? 모델 증류는 딥러닝에서 큰 모델의 지식을 작은 모델로 전달하여, 작은 모델이 큰 모델의 성능을 최대한 모방하도록 하는 기법입니다.이 방법은 큰 모델(교사 모델, Teacher Model)이 복잡한 패턴과 지식을 이미 학습한 상태에서, 그 지식을 작은 모델(학생 모델, Student Model)에 전달하여 더 효율적인 모델을 만드는 것을 목표로 합니다. Model Distillation (모델 증류)의 필요성그러면 Model Distillation (모델 증류)가 필요한 이유는 무엇일까요?자원 효율성: 대형 모델은 높은 성능을 보이지만..
