'📈 Data Engineering' 카테고리의 글 목록

[ML] Hyperparameter Tuning (하이퍼 파라미터 튜닝)

2024.08.29

머신러닝 모델을 학습할때 중요한 요소중 하나인 Hyperparamter(하이퍼 파라미터)에 데하여 알아보겠습니다.Hyperparameter? (하이퍼 파라미터란?)하이퍼 파라미터는 머신러닝 모델을 학습하기 전에 설정해야 하는 값으로, 학습 과정 중에는 변경되지 않습니다.이는 모델의 성능과 학습 속도에 큰 영향을 미치는 중요한 요소입니다. Hyperparameter 예시결정 트리의 최대 깊이: 트리가 얼마나 깊게 성장할 수 있는지를 결정하며, 모델의 복잡성을 조절합니다.SVM의 커널 종류: Support Vector Machine에서 사용하는 커널의 종류를 설정하여, 데이터를 변환하는 방법을 정의합니다.신경망의 학습률: 신경망에서 가중치를 업데이트할 때 사용하는 학습률은 모델의 수렴 속도와 학습 품질에 영..

📈 Data Engineering/📇 Machine Learning

[ML] Reinforcement Learning (강화 학습) - Q-Learning

2024.08.27

강화 학습 (Reinforcement Learning) 이란?강화 학습은 에이전트가 환경과 상호작용하면서 보상을 최대화하는 행동 정책을 학습하는 방법입니다.에이전트는 주어진 환경에서 최적의 행동을 학습하여 장기적으로 누적 보상을 최대화하는 것을 목표로 합니다.강화 학습의 목적최적의 행동 정책 학습: 에이전트가 주어진 환경에서 최적의 행동을 선택하여 누적 보상을 최대화하는 정책을 학습하는 것이 목적입니다.Q-learning강화학습에서, Q-learning이라는 방법이 있습니다. 한번 자세히 알아보겠습니다. Q-learning은 상태-행동 가치 함수(Q-함수)를 학습하여 최적의 정책을 찾는 강화 학습 방법 중 하나입니다.이 방법은 주어진 상태에서 어떤 행동을 취해야 하는지를 결정하는 데 사용됩니다. Q-le..

📈 Data Engineering/📇 Machine Learning

[ML] Recommender System (추천시스템)

2024.08.26

이번에는 Recommend System (추천시스템)에 데하여 알아보겠습니다. 추천 시스템은 사용자와 아이템 간의 관계를 분석하여 사용자에게 적합한 아이템을 추천하는 시스템입니다.이러한 시스템은 다양한 데이터를 활용해 사용자에게 맞춤형 추천을 제공하며, 다양한 분야에서 널리 사용됩니다.추천 시스템의 목적 사용자 만족도 향상: 사용자가 선호할 만한 아이템을 추천하여 만족도를 높이고 사용자 경험을 개선합니다.판매 증대: 적절한 제품 추천을 통해 구매를 촉진하고, 매출을 증대시킵니다.사용자 참여 증대: 맞춤형 콘텐츠를 제공하여 사용자가 더 자주, 더 오래 서비스를 이용하도록 유도합니다.추천 시스템의 종류추천 시스템의 종류는 어떠한 종류들이 있을까요? 한번 알아보겠습니다. 3가지 종류가 있습니다. 자세히 한번 ..

📈 Data Engineering/📇 Machine Learning

[ML] Emsemble Methods (앙상블 기법)

2024.08.23

이번엔 Emsemble Methods (앙상블 기법)에 데하여 한번 알아보겠습니다. 앙상블 기법은 여러 개의 예측 모델을 결합하여 단일 모델보다 더 나은 성능을 얻는 방법입니다.이를 통해 예측의 정확도를 높이고, 모델의 안정성을 향상시키며, 과적합을 줄일 수 있습니다.Emsemble 기법의 목적앙상블 기법을 사용하는 목적은 과연 무엇일까요? 예측 성능 향상: 여러 모델을 결합하여 개별 모델보다 더 높은 예측 정확도를 달성합니다.과적합 감소: 다양한 모델의 결과를 결합함으로써 개별 모델이 학습 데이터에 과적합되는 것을 방지합니다.안정성 향상: 모델의 변동성을 줄이고 예측의 일관성을 높이는 데 도움을 줍니다.Emsemble 기법의 종류앙상블 기법은 3가지의 종류가 있습니다. 아래에서 자세히 한번 설명해 보..

📈 Data Engineering/📇 Machine Learning

[ML] 연관 규칙 학습 (Association Rule Learning)

2024.08.22

이번에는 연관 규칙 학습 (Association Rule Learning)에 데하여 한번 알아보겠습니다. 연관 규칙 학습은 데이터베이스에서 항목 간의 흥미로운 관계를 찾는 비지도 학습 방법입니다.이 방법은 특정 항목이 나타날 때 다른 항목이 함께 나타날 확률을 계산하여 유용한 패턴을 도출하는 데 사용됩니다.주로 Apriori 알고리즘과 FP-Growth 알고리즘이 널리 사용됩니다.연관 규칙 학습 (Association Rule Learning)의 특징연관 규칙 학습에 특징들에 데하여 알아보겠습니다. 빈발 항목 집합 기반: 연관 규칙 학습은 빈발 항목 집합을 기반으로 유의미한 연관 규칙을 도출합니다. 빈발 항목 집합은 일정 빈도 이상 나타나는 항목들의 집합을 의미합니다.계산 효율성: Apriori와 FP-..

📈 Data Engineering/📇 Machine Learning

[ML] t-SNE (t-Distributed Stochastic Neighbor Embedding)

2024.08.20

이번엔 t-SNE (t-Distributed Stochastic Neighbor Embedding)에 데하여 한번 알아보겠습니다. t-SNE는 고차원 데이터를 저차원 공간에 효과적으로 시각화하기 위해 개발된 비선형 차원 축소 기법입니다. 주로 고차원 데이터의 클러스터링 구조를 시각적으로 표현하는 데 사용되며, 데이터 포인트 간의 지역적 유사성을 보존하는 데 강력한 성능을 발휘합니다.t-SNE의 특징t-SNE의 특징은 어떠한 점들이 있을까요?비선형 차원 축소: t-SNE는 고차원 데이터의 비선형 구조를 저차원에서 보존하는 데 특화되어 있습니다. 이는 데이터가 선형적인 구조를 가지지 않는 경우에도 적합한 결과를 제공합니다.지역적 유사성 보존: t-SNE는 데이터 포인트 간의 지역적 유사성을 유지하는 데 중점..

📈 Data Engineering/📇 Machine Learning

[ML] Isomap (아이소맵)

2024.08.20

이번에는 Isomap이라는 머신러닝 기법에 데하여 알아보겠습니다. 아이소맵(Isomap)은 비선형 차원 축소 기법으로, 고차원 데이터의 기하학적 구조를 보존하면서 저차원으로 변환하는 방법입니다.이 알고리즘은 지오데식 거리(Geodesic Distance)를 사용하여 데이터 간의 거리를 측정하고, 이를 바탕으로 저차원 공간에서 데이터의 구조를 시각화합니다. Isomap의 특징 비선형 차원 축소: Isomap은 데이터의 비선형 구조를 보존하면서 차원을 축소할 수 있습니다. 이는 PCA와 같은 선형 차원 축소 기법으로는 어려운 데이터의 복잡한 구조를 잘 유지할 수 있습니다.지오데식 거리 기반: 데이터 포인트 간의 실제 거리(지오데식 거리)를 사용하여 데이터의 구조적 관계를 반영합니다. 지오데식 거리는 데이터의..

📈 Data Engineering/📇 Machine Learning

[ML] Principal Component Analysis (PCA - 주성분 분석)

2024.08.18

주성분 분석(Principal Component Analysis, PCA)은 고차원 데이터를 저차원으로 변환하여 데이터의 주요 변동성을 보존하는 차원 축소 기법입니다. 이 방법은 데이터의 분산을 최대화하는 직교 축을 찾아 데이터를 새로운 좌표계로 변환함으로써 노이즈를 줄이고, 시각화 및 해석을 용이하게 합니다. 주성분 분석은 데이터 시각화, 노이즈 제거, 데이터 압축 등의 목적으로 널리 사용됩니다.PCA(주성분 분석)의 특징PCA의 주요한 특징은 어떠한 점이 있을까요? 1. 분산 최대화PCA는 데이터의 분산을 최대화하는 방향으로 새로운 축을 탐색합니다. 가장 많은 변동성을 설명하는 주성분을 찾는다는 의미입니다.2. 직교 축주성분은 서로 직교(orthogonal)하는 축으로 구성됩니다. 이로 인해 주성분 ..

📈 Data Engineering/📇 Machine Learning

[ML] DBSCAN (Density-Based Spatial Clustering of Applications with Noise)

2024.08.18

DBSCAN은 밀도 기반의 군집화 알고리즘으로, 데이터 포인트의 밀집된 영역을 군집으로 식별하고, 밀도가 낮은 데이터 포인트는 노이즈로 간주하는 방식입니다. DBSCAN의 목표는 데이터의 밀집 영역을 찾아내어, 군집의 크기나 형태에 구애받지 않고 유연하게 군집화를 수행하는 것입니다.DBSCAN의 특징밀도 기반 군집화: DBSCAN은 데이터 포인트의 밀도를 기준으로 군집을 형성합니다. 즉, 일정 밀도 이상의 영역을 하나의 군집으로 묶습니다.노이즈 처리: 밀도가 낮은 데이터 포인트는 노이즈로 간주되며, 군집에서 제외됩니다. 이를 통해 군집화 과정에서 노이즈나 이상치를 효과적으로 처리할 수 있습니다.유연한 군집 형성: DBSCAN은 군집의 크기나 형태에 구애받지 않고, 데이터의 밀도에 따라 유연하게 군집을 형..

📈 Data Engineering/📇 Machine Learning

[ML] Hierarchical Clustering (계층적 군집 분석)

2024.08.17

Hierarchical Clustering (계층적 군집 분석)도 Unsupervised Learning (비지도 학습) 계층적 군집 분석은 데이터 포인트들 간의 유사도를 바탕으로 계층적인 군집 구조를 형성하는 군집화 방법입니다.이 방법은 데이터를 트리 구조로 표현하며, 단계별로 군집화를 진행함으로써 데이터 간의 관계와 구조를 이해하는 데 도움을 줍니다.Hierarchical Clustering (계층적 군집 분석)의 유형그러면, Hierarchical Clustering (계층적 군집 분석)의 유형은 어떠한 것이 있을까요? 한번 알아보겠습니다. 1. 병합적 군집화 (Agglomerative Clustering)병합적 군집화는 각 데이터를 하나의 군집으로 시작하여, 가장 가까운 군집들을 반복적으로 병합해..

티스토리툴바