'📈 Data Engineering' 카테고리의 글 목록 (2 Page)

[ML] K-Means Clustering (K-평균 클러스터링)

2024.08.17

앞에 글에서 비지도학습의 기법들에 데하여 알아보았습니다.이번에는 그 중 하나인 K-Means Clustering (K-평균 클러스터링)에 데하여 알아보겠습니다. K-평균 클러스터링은 데이터를 K개의 군집으로 나누어 각 데이터 포인트를 유사한 특성을 가진 그룹으로 묶는 군집화 알고리즘입니다.이를 통해 데이터의 구조를 이해하고, 데이터 분석 및 시각화를 용이하게 할 수 있습니다.K-Means Clustering의 특징K-평균 클러스터링의 특징은 여러개가 있습니다. 한번 알아보겠습니다. 1. 군집 수 K: 사용자가 군집 수 K를 사전에 정의해야 하며, 이 값은 모델의 성능에 직결되는 중요한 하이퍼파라미터입니다.적절한 K를 선택하는 것이 군집화의 성공 여부에 큰 영향을 미칩니다. 2. 거리 기반 알고리즘: K..

📈 Data Engineering/📇 Machine Learning

[ML] Unsupervised Learning (비지도 학습)

2024.08.16

이번에는 비지도 학습에 데하여 한번 알아보겠습니다.비지도 학습(Unsupervised Learning)은 레이블이 없는 데이터를 사용하여 데이터 내의 패턴이나 구조를 발견하는 머신러닝 방법입니다.이 학습 방식은 데이터에 사전 지식 없이 데이터를 분석하고, 그 안에 숨겨진 의미 있는 구조나 관계를 발견하는 데 중점을 둡니다.Unsupervised Learning (비지도 학습) 주요 특징레이블 없음: 비지도 학습은 레이블이나 목표 변수가 없는 입력 데이터만을 사용합니다. 이는 레이블링이 어렵거나 불가능한 대규모 데이터셋을 다룰 때 유용합니다.패턴 발견: 비지도 학습은 데이터 내에서 숨겨진 패턴이나 구조를 탐색하여 데이터 간의 관계를 이해하려고 합니다. 이러한 패턴 발견은 데이터의 본질적인 특성을 이해하는 ..

📈 Data Engineering/📇 Machine Learning

[ML] 신경망 (Neural Network) - 다층 퍼셉트론

2024.08.16

이번에는 다층 퍼셉트론(Multilayer Perceptron, MLP)에 데하여 알아보겠습니다. 다층 퍼셉트론(Multilayer Perceptron, MLP)다층 퍼셉트론(Multilayer Perceptron, MLP)은 기본적인 인공 신경망의 형태 중 하나로, 특히 복잡한 비선형 관계와 패턴을 학습할 수 있는 능력으로 인해 분류 및 회귀 문제에 널리 사용됩니다. 기본 구조는 입력층, 하나 이상의 은닉층, 그리고 출력층으로 이루어진 FeedForward 신경망 이며, 각 층은 여러 뉴런으로 구성됩니다.또한 각 뉴런은 이전층의 뉴런으로부터 입력을 받아 가중치를 적용하고, 활성화 함수를 통해 출력을 생성합니다.다층 퍼셉트론(Multilayer Perceptron, MLP)의 구조다층 퍼셉트론의 구조는 ..

📈 Data Engineering/📇 Machine Learning

[ML] Random Forest (랜덤 포레스트)

2024.08.12

이번에는 Random Forest (랜덤 포레스트) 기법에 데하여 한번 알아보겠습니다. 랜덤 포레스트(Random Forest)는 결정 트리의 앙상블 방법 중 하나로, 여러 개의 결정 트리를 생성하고 그 예측을 결합하여 더욱 강력하고 안정적인 모델을 만드는 방법입니다. 이 방법은 특히 분류와 회귀 문제에 효과적이며, 개별 결정 트리의 과적합 문제를 극복하고, 전체적인 예측 성능을 향상시키는 데 도움을 줍니다. Random Forest (랜덤 포레스트)의 주요 특징다양성 (Diversity)랜덤 포레스트는 각각의 결정 트리가 데이터의 서로 다른 부분집합과 특성을 사용하여 학습합니다. 이는 각 트리가 독립적으로 다른 패턴을 학습하도록 하여 모델 전체의 다양성을 높입니다.이러한 접근 방식은 트리 간의 상관관계..

📈 Data Engineering/📇 Machine Learning

[ML] Decision Tree (결정 트리)

2024.08.12

이번에는 Decision Tree (결정 트리)에 데하여 알아보겠습니다. 결정트리(Decision Tree)는 분류와 회귀 문제에 모두 사용될 수 있는 지도학습 알고리즘입니다.이 모델은 데이터를 트리 구조로 분할하여 예측을 수행하며, 각 내부 노드는 특정 조건에 따른 데이터 분할을 나타내고, 가지(branch)는 그 조건의 결과를 나타내며, 최종 리프 노드(leaf node)는 예측 값을 제공합니다.Decision Tree의 주요 특징직관성: 결정 트리는 시각적으로 표현할 수 있어 이해가 쉽습니다.비모수적 방법: 데이터의 분포에 대해 특정 가정을 하지 않으므로 다양한 데이터셋에 적용 가능합니다.해석 용이성: 모델이 어떻게 결정을 내렸는지 쉽게 해석할 수 있습니다.Decision Tree의 기본 원리노드와..

📈 Data Engineering/📇 Machine Learning

[ML] Support Vector Machine (SVM, 서포트 벡터 머신)

2024.08.11

이번에는 Support Vector Machine (서포트 벡터 머신)에 데하여 한번 알아보겠습니다. 서포트 벡터 머신(Support Vector Machine, SVM)은 복잡한 데이터셋에서도 효과적인 분류를 수행할 수 있는 강력한 지도학습 알고리즘입니다. 이 알고리즘은 데이터를 분리하는 최적의 초평면(결정 경계)을 찾아내는 것을 목표로 합니다.SVM의 주요 특징과 원리를 자세히 살펴보겠습니다. Support Vector Machine (SVM)의 주요 특징결정 초평면(Decision Hyperplane): 두 클래스를 분리하는 가장 좋은 초평면을 찾습니다. 이 평면은 두 클래스 간의 마진(거리)을 최대화합니다.w: 초평면의 법선 벡터, x: 데이터 포인트, b: 절편w * x + b = 0서포트 벡터..

📈 Data Engineering/📇 Machine Learning

[ML] Logistic Regression (로지스틱 회귀)

2024.08.07

이번엔 Logistic Regression (로지스틱 회귀)에 데하여 한번 알아보겠습니다.Logistic Regression (로지스틱 회귀)로지스틱 회귀(Logistic Regression)는 주로 이진 분류 문제를 해결하기 위해 사용되는 통계적 모델입니다.입력된 독립 변수들의 선형 결합을 통해 종속 변수(이진 변수)의 발생 확률을 예측합니다.로지스틱 회귀의 주요 특징 분류 알고리즘: 이진 분류 문제를 주로 해결하기 위해 사용됩니다. 다중 클래스 분류 문제에서도 확장할 수 있습니다.확률 출력: 예측 결과를 0과 1 사이의 확률 값으로 출력합니다.선형 회귀와의 차이점: 선형 회귀는 연속적인 값을 예측하지만, 로지스틱 회귀는 이진 값을 예측합니다.로지스틱 회귀의 기본 원리그러면, Logistic Regre..

📈 Data Engineering/📇 Machine Learning

[ML] K-Nearest Neighbors, K-NN (K-최근접 이웃)

2024.08.07

이번엔는 K-NN에 데하여 한번 알아보겠습니다.K-NN 이란?K-NN(최근접 이웃 알고리즘)은 데이터 분류 및 회귀 문제에서 널리 사용되는 비모수적 기계 학습 알고리즘입니다.입력 데이터 포인트의 클래스를 예측하기 위해 그 데이터 포인트와 가장 가까운 K개의 이웃을 기반으로 결정을 내리는 알고리즘입니다.K-NN은 분류(Classification)와 회귀(Regression) 문제 모두에 사용될 수 있습니다.K-NN의 주요 특징1. 비모수적 방법K-NN은 데이터 분포에 대해 특정한 가정을 하지 않는 비모수적(non-parametric) 방법입니다. 이는 데이터의 형태나 분포에 대해 사전 지식이 없어도 사용할 수 있다는 것을 의미합니다.2. 메모리 기반모델을 학습하는 과정이 없고, 예측 시에 모든 학습 데이터..

📈 Data Engineering/🕹️ 혼공머신

[혼공머신] Clustering Algoritm (군집 알고리즘)

2024.08.06

Target을 모르는 Unsupervised Learning(비지도 학습)Target을 모로는 데이터를 종류별로 분류하려고 할때 사용하는 ML 알고리즘이 있습니다.바로 Unsuperivsed Learning (비지도 학습) 입니다. 사람이 알려주지 않아도, 데이터에 있는 무언가를 학습하는 방식이라고 생각하시면 편합니다.그러면 한번 데이터를 준비해 보겠습니다.Data 준비하기사과, 바나나, 파인애플로 구성된 흑색 사진의 과일 데이터를 준비해보겠습니다.!wget https://bit.ly/fruits_300_data -O fruits_300.npy--2023-07-16 14:21:20-- https://bit.ly/fruits_300_dataResolving bit.ly (bit.ly)... 67.199...

📈 Data Engineering/📇 Machine Learning

[ML] Supervised Learning (지도학습)

2024.08.06

이번에는 Supervised Learning (지도학습)에 데하여 한번 알아보겠습니다. Supervised Learning (지도학습) 이란?지도학습은 Machine Learning(기계학습)의 한 분야로, 입력 데이터와 그에 대응하는 정답(레이블)을 함께 제공받아 학습하는 방법입니다. 이 과정을 통해 알고리즘은 새로운 입력 데이터에 대해 정확한 출력을 예측할 수 있는 모델을 만듭니다. 주요한 특징들에 데하여 더 살펴보면 1. 레이블이 있는 데이터 사용 각 데이터 포인트에는 입력값과 그에 대응하는 정답이 함께 제공됩니다.예를 들어, 이미지 분류 작업에서는 이미지(입력)와 그 이미지가 나타내는 객체의 이름(출력)이 쌍을 이룹니다.사진과 그 사진의 태그(예: "강아지", "고양이")가 쌍으로 주어지면, 모델..

티스토리툴바