정형 데이터와 비정형 데이터랜덤 포레스트에 대해 배우기 전에 우리가 다루었던 데이터를 되돌아보겠습니다.길이, 높이, 무게 등의 데이터를 사용했습니다. 이 데이터는 CSV 파일에 가지런히 정리되어 있었죠.이번에도 사용한 와인 데이터도 CSV 파일이었습니다.# CSV 파일 예시length, height, width8.4, 2.11, 1.4113.7, 3.53, 2.0이런 형태의 데이터를 정형 데이터(structured data)라고 부릅니다. 쉽게 말해, 어떤 구조로 되어있다는 뜻이죠.이런 데이터는 CSV나 데이터베이스(DataBase), 혹은 엑셀(Excel)에 저장하기 쉽습니다.온라인 쇼핑몰에 진열된 상품과 우리가 구매한 쇼핑 정보는 모두 데이터베이스에 저장되는 정형 데이터에 속합니다.사실 프로그래머가 ..
Validation Set (검증 세트)Test Dataset을 사용하지 않으면 모델이 과대적합인지 과소적합인지 판단하기 어렵습니다.테스트 세트를 사용하지 않고 이를 측정하는 간단한 방법은 Training Dataset을 나누는 방법입니다.이 나눈 Dataset를 Validation Set (검증 세트)라고 부릅니다.전체 데이터셋이 100%라고 하면 전체 데이터셋 중에서 20%만 Test Dataset으로 만들고, 80%를 Train Dataset으로 구성했으면, 이 Training Dataset중 20%를 떼어 내어서 Validation Dataset으로 나눕니다.Training Dataset에서 Model을 Training하고 Validation Set로 모델을 평가합니다.이런식으로 Test 하고 싶..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! 모델 매개변수 최적화하기파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 이제 모델과 데이터가 준비tutorials.pytorch.krModel 매개변수 최적화 하기이번에는 준비된 모델과 데이터로, 데이터에 매개변수를 최적화 하여 모델을 학습, 검증, 테스트를 해보겠습니다.모델을 학습하는 과정은 반복적인 과정을 거칩니다.각 반복 단계에서 모델은 출력을 추측하고, 추측과 정답 사이의 오류(손실(loss))를..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! torch.autograd를 사용한 자동 미분파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 신경망을 학습할 때 가장tutorials.pytorch.kr torch.autograd를 사용한 자동 미분일반적으로 Neural Network(신경망)을 학습할 떄 가장 자주 사용되는 알고리즘은 Backpropagation(역전파)입니다.이 알고리즘에서, 매개변수(모델 가중치)는 주어진 매개변수에 대한 손실 함수..
이번글부터는 Machine Learning (머신러닝)에 데하여 한번 알아보도록 하겠습니다.Machine Learning 소개Machine Learning (기계학습)은 무엇일까요? 머신러닝은 인공지능의 한 분야로, 데이터에서 패턴을 학습하고 예측하거나 의사 결정을 내리는 알고리즘을 사용합니다.사람의 개입 없이도 스스로 성능을 개선할 수 있는 능력을 가진 시스템입니다.또한 주요 특징은 데이터를 통해 학습하면서 지속적으로 성능을 향상시키는 모델입니다.그러면 한번 예시를 들어서 머신러닝이 없다면 어떻게 될까요?머신러닝이 없다면? (스팸메일 예시)전통적 접근: 스팸으로 의심되는 단어에 대한 블랙리스트를 구축하고, 새로운 단어가 있을 때마다 추가합니다.이 과정에는 스팸으로 의심되는 단어를 정하기 위해 전문가가 ..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! 신경망 모델 구성하기파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 신경망은 데이터에 대한 연tutorials.pytorch.krNeural Network Model (신경망 모델) 구성하기신경망은 데이터에 대한 연산을 수행하는 계층(layer)/모듈(module)로 구성되어 있습니다.torch.nn 네임스페이스는 신경망을 구성하는데 필요한 모든 구성 요소를 제공합니다. PyTorch의 모든 모듈은 nn..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! 변형(Transform)파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 데이터가 항상 머신러닝 알tutorials.pytorch.krTransform (변형)데이터 변형(Transform)은 데이터 전처리 및 데이터 증강(data augmentation)을 위해 자주 사용됩니다.데이터가 항상 머신러닝 알고리즘 학습에 필요한 최종 처리가 된 형태로 제공되지는 않습니다.변형(transform) 을 해서 데이..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! Dataset과 DataLoader파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 DataLoader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 데이터 샘플을 처리하는 코tutorials.pytorch.krDataset & DataLoaderPyTorch의 Dataset과 DataLoader는 데이터셋을 효율적으로 로드하고 전처리하기 위해 사용되는 강력한 도구입니다.대규모 데이터셋을 배치 단위로 나누어 모델에 공급할 수 있도록 도와줍니다. 데이터 샘플을 처리하는 코..
⚠️ 본 내용은 PyTorch Korea의 공식 문서에 기반하여 공부한 내용을 적은것이니 양해바랍니다! 텐서(Tensor)파이토치(PyTorch) 기본 익히기|| 빠른 시작|| 텐서(Tensor)|| Dataset과 Dataloader|| 변형(Transform)|| 신경망 모델 구성하기|| Autograd|| 최적화(Optimization)|| 모델 저장하고 불러오기 텐서(tensor)는 배열(array)이tutorials.pytorch.krPyTorch (파이토치)PyTorch는 Facebook's AI Research (FAIR) 팀에 의해 개발된 오픈 소스 딥러닝 프레임워크 입니다.PyTorch는 빠르고 유연한 프로토타이핑을 지원하며, 다양한 연구 및 산업 응용 프로그램에 널리 사용됩니다.PyTo..
시각화의 디자인 원칙시각화의 디자인 원칙은 5가지가 있습니다. 한번 보도록 하겠습니다.목적성정의: 시각화의 목적을 명확히 하는 것.설명: 시각화는 특정 질문에 답하거나, 특정 인사이트를 도출하거나, 데이터를 더 쉽게 이해할 수 있도록 돕는 역할을 합니다.예시: 매출 증가의 원인을 파악하기 위한 그래프, 제품별 판매량 비교를 위한 차트.간결성정의: 간결하고, 복잡하지 않아야 함.설명: 불필요한 요소를 제거하여 핵심 정보를 간결하게 전달해야 합니다. 지나치게 복잡한 그래프는 오히려 혼란을 초래할 수 있습니다.예시: 불필요한 그리드 라인, 과도한 색상 사용, 불필요한 텍스트 등을 제거한 그래프.명확성정의: 데이터를 명확히 전달해야 함.설명: 적절한 레이블, 축, 제목을 사용하여 정보를 명확히 전달해야 합니다...
