My Dev &amp; Research Repository

[LLM] Parameter-Efficient Transfer Learning for NLP 리뷰

2024.11.18

이번에는 "Parameter-Efficient Transfer Learning for NLP" 논문을 한번 리뷰해보겠습니다.논문 링크 Parameter-Efficient Transfer Learning for NLPFine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transferarxiv.orgAbstract대규모 사전..

☁️ Cloud

[Docker] Docker Volume 활용

2024.11.16

도커는 유니언 파일 시스템을 사용합니다. 이는 하나의 이미지로부터 여러 컨테이너를 만들 수 있는 방법을 제공하고, 이미지에 변경된 내용을 저장할 수 있도록 해줍니다. 데이터베이스, 웹 프로그램 등 업무에서 사용하는 애플리케이션에서 발생하는 데이터에 접근하고 이것을 공유하기 위해서 도커 볼륨 기능을 사용할 수 있습니다. 또한, 제공하는 서비스의 데이터와 로직은 반드시 분리되어야 한다는 특징이 있습니다. 애플리케이션에서 발생하는 여러 가지 상황이 데이터에 영향을 주지 않고 언제든 다른 컨테이너로 이전할 수 있다면 운영자는 데이터를 안전하게 관리하고 운영할 수 있다는 점이 있습니다. 도커 볼륨은 컨테이너에서 생성, 재사용할 수 있고 호스트 운영체제에서 직접 접근이 가능합니다. 또한 보존되어야 하는 데이터를 유..

☁️ Cloud

[Docker] Docker를 활용한 Ngnix Container 설정, 관리 & Docker hub 배포

2024.11.09

이번에는 Python Programming 환경을 Container로 제공해 보기 위한 실습을 한번 해보겠습니다.Docker 컨테이너에 Python 이미지 설치 및 실행 # 샘플 소스 코드 작성(로또 프로그램)$ vi py_lotto.pyfrom random import shufflefrom time import sleepgamenum = input('로또 게임 횟수를 입력하세요: ')for i in range(int(gamenum)): balls = [x+1 for x in range(45)] ret = [] for j in range(6): shuffle(balls) # balls를 무작위로 섞고, number = balls.pop() ..

☁️ Cloud

[Docker] Docker Container 명령어 (with Ngnix Container 실행)

2024.11.05

이번에는 Docker Container 명령어들에 데하여 한번 알아보겠습니다.이미지는 읽기 전용의 불변 값으로 만들어집니다. 이러한 이미지를 바탕으로 도커 엔진은 컨테이너를 생성할 수 있습니다. 이때 이미지와 함께 읽고 쓰기가 가능한 레이어를 추가해서 만들어지는 것이 컨테이너 입니다. 이번에는 컨테이너 구동, 접근, 로그, 운영 등의 명령을 다뤄보겠습니다. 이미지와 마찬가지로 컨테이너 명령도 dockerd 데몬이 제공하는 docker CLI API를 통해 제공됩니다.도커 이미지는 컨테이너 동작과 관련된 콘텐츠를 제공하고 이를 바탕으로 컨테이너의 동작이 이루어 집니다. 따라서 컨테이너 명령 대부분이 서비스 실행 및 운영과 관련되어 있습니다.Container는 Process다도커 컨테이너는 앞서 배운 도커 ..

☁️ Cloud

[Docker] Docker 명령어 활용 Part.2

2024.10.31

도커 이미지 태그 설정과 도커 로그인 및 로그아웃Docker Login & Logout 부분부터 이어서 해보겠습니다.도커 태그(tag)는 원본 이미지에 참조 이미지 이름을 붙이는 명령입니다. 사용법은 다음과 같습니다.docker tag 원본 이미지[:태그] 참조 이미지[:태그]태그 설정은 새로운 참조명을 붙이는 작업이므로 이미지 ID는 변경되지 않습니다.Example이미지 ID에 세부 정보(OS, 버전 등)를 붙여 태그 지정:toby@tobykakao:~$ docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdebian latest d36fff645336 13 days ago 139MBnginx ..

☁️ Cloud

[Docker] Docker 명령어 활용 Part.1

2024.10.31

Docker Container Service를 활용하기 위한 Docker 명령어(CLI)에 데하여 알아보겠습니다.모든 Docker 명령은 키워드로 docker를 앞에 사용하고 기본적인 명령어 사용법은 help 명령을 통해 확인하거나 docker에서 제공하는 문서를 참고합니다.docker COMMAND -helpDocker image 명령어도커 image는 docker의 핵심기술이며 코드로 개발된 컨테이너 내부 환경 정보(Binary, Library, 각종 Tool등)을 고스란히 복제해서 사용할 수 있습니다. Docker Container로 사용할 Docker image는 docker search를 통해 조회하면 Docker Hub 및 개인 사용자들이 공개한 관련 이미지를 살펴볼 수 있습니다. Local ..

🗣️ Large Language Model (LLM)

[LLM] Training language models to follow instructions with human feedback (Instruct GPT / RLHF) Review

2024.10.30

스터디 준비를 하다가 정리한 내용을 한번 Review를 해보겠습니다.Training language models to follow instructions with human feedbackAbstract언어 모델의 크기를 키우는 것만으로는 사용자 의도에 더 잘 부합하도록 만드는 것이 아닙니다. 예를 들어, 대규모 언어 모델은 진실하지 않거나, 유해하거나, 사용자에게 도움이 되지 않는 출력을 생성할 수 있습니다. 즉, 이러한 모델은 사용자의 의도에 맞춰져 있지 않습니다. 여기서는 인간의 피드백으로 미세 조정하여 다양한 작업에서 사용자 의도와 일치하는 언어 모델을 개발하는 방법을 제시합니다.OpenAI API를 통해 수집된 레이블러가 작성한 프롬프트와 데모 데이터를 사용하여 모델이 원하는 동작을 시연하는 데..

🗣️ Large Language Model (LLM)

[LLM] Improving Language Understanding by Generative Pre-Training (GPT-1 논문 Review)

2024.10.25

이번엔 GPT-1 Model에 데하여 논문을 읽고 공부한 내용을 리뷰해 보겠습니다.이 논문에서는 Transformer 모델에 데한 설명이 포함되어 있습니다. 그래서, 어느정도 Transformer Model에 데한 지식이 잇어야 이해하실수 있습니다. 한번 읽고 와주세요! [NLP] Transformer Model - 트랜스포머 모델 알아보기이번 글에서는 Transformer 모델의 전반적인 Architecture 및 구성에 데하여 알아보겠습니다. Transformer: Attention is All You Need Transformer 모델은 2017년에 "Attention is All You Need"라는 논문을 통해서 소개되었습daehyun-bigbread.tistory.comAbstract자연어 이..

👀 Computer Vision

[CV] Google Open Image Dataset

2024.10.11

Google Open Image Dataset 소개Google Open Images Dataset은 구글에서 공개한 대규모의 공개 이미지 데이터셋으로, 컴퓨터 비전 및 머신러닝 연구에 널리 활용되고 있습니다. 이 데이터셋은 다양한 주제와 상황을 담은 약 9백만 장 이상의 이미지로 구성되어 있으며, 각 이미지에는 풍부한 레이블 정보가 포함되어 있습니다.주요 특징방대한 규모: 약 9백만 장 이상의 이미지와 6천여 개의 클래스 레이블을 포함하고 있어, 대규모 모델 학습에 적합합니다.다양한 레이블 종류:이미지 레벨 레이블: 이미지 전체에 대한 일반적인 분류 정보.바운딩 박스: 이미지 내 객체의 위치와 크기를 나타내는 좌표 정보.이미지 세그멘테이션 마스크: 픽셀 단위로 객체의 영역을 표시.관계 레이블: 객체 간의..

☁️ Cloud

[Cloud] Docker Installation Check (도커 설치 확인)

2024.10.11

한번 설치한 Docker Engine을 통해 첫 image를 다운로드 해보면서 컨테이너 서비스를 한번 가동시켜 보겠습니다.Docker Container Service리눅스 컨테이너의 미래 라는 제목으로 도커 엔진을 처음 발표한 솔로몬 하익스는 docker 라는 새로운 명령으로 ‘Hello World’ 문자열을 출력하는 데모를 한번 시연했습니다.# docker hub 레지스트리에서 제공하는 busy box image를 다운로드 후 조회해 보겠습니다.toby@tobykakao:~$ docker pull busyboxUsing default tag: latestlatest: Pulling from library/busyboxDigest: sha256:768e5c6f5cb6db0794eec98dc7a967f40..

전체 글

[LLM] Parameter-Efficient Transfer Learning for NLP 리뷰

[Docker] Docker Volume 활용

[Docker] Docker를 활용한 Ngnix Container 설정, 관리 & Docker hub 배포

[Docker] Docker Container 명령어 (with Ngnix Container 실행)

[Docker] Docker 명령어 활용 Part.2

[Docker] Docker 명령어 활용 Part.1

[LLM] Training language models to follow instructions with human feedback (Instruct GPT / RLHF) Review

[LLM] Improving Language Understanding by Generative Pre-Training (GPT-1 논문 Review)

[CV] Google Open Image Dataset

[Cloud] Docker Installation Check (도커 설치 확인)

티스토리툴바