'📈 Data Engineering' 카테고리의 글 목록 (4 Page)

[Data Analysis] 고급 차트 유형 & 인터렉티브 시각화

2024.07.25

고급 차트 유형 및 사용법이번에는 기본적인 차트가 아닌, 더 자세한 데이터의 간의 상관관계, 빈도등의 파악 목적을 위한 차트들에 데하여 알아보겠습니다.히트맵 (Heatmap)히트맵은 행렬 형식의 데이터를 색상으로 시각화하여 데이터의 크기나 빈도 등을 파악하기 위해 사용되는 도구입니다.색상이 짙어질수록 데이터 값이 크거나 빈도가 높음을 나타냅니다.예시상관 행렬: 변수들 간의 상관 관계 시각화웹사이트 클릭: 웹페이지의 사용자 클릭 빈도를 시각화 히트맵 예시 (Heatmap Example)import seaborn as snsimport numpy as npimport matplotlib.pyplot as plt# 샘플 데이터 생성data = np.random.rand(10, 12)# 히트맵 생성plt.fig..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 기본 차트 유형 및 사용법

2024.07.25

막대 그래프 (Bar Chart)막대 그래프는 '범주형 데이터의 빈도나 값'을 나타내기 위해 사용되는 기본적인 시각화 도구입니다.데이터 값은 수평 또는 수직 막대로 표현되며, 각 막대의 길이는 해당 범주의 크기나 빈도를 나타냅니다.예시비즈니스: 월별 매출 비교를 통해 성과 분석교육: 학년별 성적 비교의료: 병원별 환자 수 비교import matplotlib.pyplot as pltimport pandas as pdimport seaborn as snsimport numpy as np# 데이터 정의months = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun']sales = [150, 200, 180, 220, 250, 230]# 막대그래프 생성plt.figure(figsize=..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] Data Visualization (데이터 시각화) & 시각적 인지

2024.07.25

데이터 시각화란?데이터 시각화는 데이터를 그래픽적 요소로 변환하여 시각적으로 표현하는 과정입니다.이를 통해 복잡한 데이터를 이해하기 쉽게 만들고, 데이터에서 중요한 패턴과 인사이트를 도출할 수 있습니다.데이터 시각화의 중요성데이터를 시각화 하는것이 중요한 이유는 아래에 설명이 있습니다. 데이터 이해도 향상: 데이터 시각화는 데이터를 시각적으로 표현하여 이해하기 쉽게 만듭니다. 복잡한 수치 데이터나 텍스트 데이터를 그래프로 표현하면 더 직관적으로 이해할 수 있습니다.패턴 인식: 데이터를 시각화하면 데이터 내의 패턴, 트렌드, 이상치를 쉽게 발견할 수 있습니다. 이는 데이터 분석과 의사결정에 중요한 역할을 합니다.의사소통 강화: 데이터를 시각적으로 표현하면 데이터를 쉽게 전달하고 설명할 수 있어 의사소통이 ..

📈 Data Engineering/📝 Data Mining

[Data Mining] Getting Data Part.1

2024.07.24

Getting Datafrom collections import Counterimport math, random, csv, json, refrom bs4 import BeautifulSoupimport requests 예를 들어, beautifulsoup 같은, 어떤 모듈이 설치되지 않았다면? 어떻게 해야 할까요?googling: 아나콘다 beautifulsoup 설치 방법구글 답변에서 아나콘다 클라우드를 찾으세요. 모듈들이 테스트되고 안전한 곳입니다.이제, 여러분은 부끄러운 정도로 많은 시간을 acquiring(획득), cleaning(정리), and transforming data(데이터 변환)에 할애하게 될 것입니다.stdin and stdoutNumber of lines containing num..

📈 Data Engineering/📝 Data Mining

[Data Mining] Gradient Descent (경사 하강법)

2024.07.23

Gradient Descent (경사 하강법)경사 하강법(Gradient Descent)은 최적화 알고리즘 중 하나로, 주어진 함수의 최소값을 찾는 방법입니다.이 알고리즘은 머신 러닝과 딥 러닝 모델의 학습 과정에서 주로 사용됩니다.경사하강법의 아이디어 (The Idea Behind Gradient Descent)우리는 종종 함수 𝑓를 최대화(또는 최소화)해야 할 필요가 있을 것입니다.즉, 우리는 가능한 가장 작은(또는 가장 큰) 값을 생성하는 입력 v를 찾아야 합니다.그리고 이때, 함수 𝑓를 최대화(또는 최소화)해야 합니다. 즉, 가능한 가장 작은(또는 가장 큰) 값을 만드는 입력 𝑣를 찾아야 합니다.이것은 많은 문제에서 발생하는 일입니다. 예를 들어, 비용 함수(cost function)를 최소..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 시계열 데이터 & 다변량 분석

2024.07.21

시계열 데이터시계열 데이터는 시간 순서대로 정렬된 데이터 포인트의 연속입니다.시계열 데이터의 특성 추세 (Trend): 장기적인 데이터 증가 또는 감소 경향을 나타냅니다.예: 회사 매출이 해마다 증가하는 경우.계절성 (Seasonality): 특정 시간 패턴이 반복되는 현상으로, 주기적인 변동을 포함합니다.예: 여름철 아이스크림 판매량 증가.주기성 (Cyclicality): 불규칙적인 간격으로 반복되는 변동을 나타냅니다.예: 경제 호황과 불황 주기.잡음 (Noise): 데이터에 포함된 불규칙한 변동으로, 예측에 방해가 되는 요소입니다.시계열 분석 방법시계열 분해는 시계열 데이터를 구성하는 여러 요소(추세, 계절성, 주기성, 잡음)를 분리하여 분석하는 방법입니다.가법 모형 (Additive Model): ..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 가설 검정과 A/B Test, 시나리오

2024.07.20

가설 검정의 기초가설 검정은 표본 데이터를 사용하여 모집단에 대한 통계적 가설이 타당한지를 판단하는 과정입니다.이를 통해 연구 가설의 지지 여부를 결정하기 위해 통계적 증거를 평가합니다.가설 검정 프로세스귀무 가설 (Null Hypothesis, H0): 기본 가설로, 변화가 없음을 주장합니다.대립 가설 (Alternative Hypothesis, H1): 연구 가설로, 변화를 주장합니다.결정 규칙: 통계적 유의성을 평가하여 가설을 기각하거나 채택합니다. 주로 p-value를 사용하여 귀무 가설의 기각 여부를 결정합니다.T검정 (T-test)T검정은 두 그룹 간의 평균 차이가 통계적으로 유의미한지 검정하는 방법입니다.데이터가 정규 분포를 따르고 두 집단의 샘플 크기가 비교적 작을 때 사용됩니다.유형독립 ..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 기초 통계, 상관 & 인과관계

2024.07.18

기초 통계 (basic statistics)기술 통계 (Descriptive Statistics)기술 통계(Descriptive Statistics)는 데이터 집합의 중심 경향, 분산도 및 전반적인 분포를 요약하여데이터의 일반적인 형태와 특성을 빠르게 파악하는 데 사용되는 통계적 수치입니다.이는 데이터 분석의 초기 단계에서 데이터의 기본적인 특성을 이해하고 요약하는 데 중요한 역할을 합니다.주요 기술 통계 지표중심 경향성 (Measures of Central Tendency)평균 (Mean): 데이터의 모든 값을 더한 후 데이터의 개수로 나눈 값으로, 데이터의 중심을 나타냅니다.import pandas as pddata = pd.Series([1, 2, 3, 4, 5])mean_value = data.m..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 데이터의 종류와 속성 & 데이터 탐색 (EDA)

2024.07.18

데이터의 종류와 속성데이터의 종류와 속성에 데하여 알아보겠습니다.정량적 데이터 (Quantitative Data)정량적 데이터는 수치로 표현되는 데이터로, 양적 측정이 가능한 데이터입니다.예시: 나이, 소득, 판매량 등의 데이터입니다.특징:수치 데이터를 통해 통계 분석과 예측 모델링이 가능힙니다.수치형 데이터와 범주형 데이터, 두 가지 주요 형태로 나뉩니다. 정성적 데이터 (Qualitative Data)수치가 아닌 의미와 특성으로 분류되는 데이터입니다.예시: 댓글, 동영상, 음성 등.특징:텍스트, 이미지, 동영상 등 다양한 형식을 가질 수 있습니다.정량적 데이터와 달리 통계 분석이 어렵습니다.용도: 텍스트 분석, 감정 분석, 콘텐츠 분석 등에 사용됩니다. 수치형 데이터 (Numerical Data)수치..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] Data Analysis - 데이터 분석

2024.07.17

이번 글에서는 데이터 분석에 관한 개념 및 내용을 한번 보도록 하겠습니다.데이터 분석 개요데이터 분석이란? 데이터로부터 유의미한 정보를 추출하고 결과를 분석하여 결정을 지원하는 과정입니다.또한 데이터를 통해 통찰력을 얻고 비즈니스 결정을 내리는 과학적 접근법입니다.데이터 분석 과정데이터 분석 과정은 위의 그림처럼 7단계로 구성됩니다. 한번 자세히 알아 보겠습니다.1. 목표 및 질문 정의데이터 분석을 시작하기 전에 분석의 목표와 해결하고자 하는 질문을 명확히 정의합니다.이를 통해 분석의 방향을 설정하고, 필요한 데이터를 수집할 수 있습니다.2. 데이터 수집분석에 필요한 데이터를 수집하는 단계입니다.데이터는 내부 시스템, 외부 데이터 소스, 웹 크롤링, API 등을 통해 수집할 수 있습니다.3. 데이터 정제..

티스토리툴바