'📈 Data Engineering' 카테고리의 글 목록 (5 Page)

[Data Mining] Statistics (통계학)

2024.07.14

Describing a Single Set of Data (단일 데이터 세트)단일 데이터 세트(describing a single set of data)는 하나의 데이터 세트에 대한 특성이나 특질을 설명하고 분석하는 과정을 의미합니다.이를 통해 데이터의 중심 경향, 분산, 형태 및 분포 등을 파악할 수 있습니다.예를 들어보면, 모금 활동 단체의 부사장이 회원들이 친구를 얼마나 가지고 있는지에 대한 설명을 요청했습니다.from collections import Counterfrom linear_algebra import sum_of_squares, dotimport mathfrom operator import addnum_friends = [100,49,41,40,25,21,21,19,19,18,18,16..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 데이터 전처리 (Data Pre-Processing)

2024.07.12

Data Preprocessing (데이터 전처리) 개요데이터 전처리란?데이터 전처리는 원시 데이터를 분석 및 모델링에 적합하게 변환하는 과정을 의미합니다.이는 데이터의 정제, 변환, 통합 등을 포함하며, 데이터 품질을 높여 신뢰성 있는 분석을 가능하게 합니다. 데이터 전처리의 중요성 및 필요성데이터 전처리는 다음과 같은 이유로 매우 중요합니다.데이터 품질 향상: 정확하고 일관된 데이터를 확보하여 분석의 기초를 튼튼히 합니다.모델 성능 최적화: 적절히 전처리된 데이터는 모델의 성능을 향상시키고, 예측 정확도를 높입니다.분석의 신뢰성 향상: 깨끗한 데이터를 사용함으로써 분석 결과의 신뢰성을 높입니다.데이터 활용의 효율성 향상: 데이터 전처리를 통해 분석 작업이 더 효율적으로 수행될 수 있습니다. 데이터 전..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 데이터 수집 (Crawling, Scrapping)

2024.07.12

데이터 수집크롤링 (Crawling)크롤링(crawling)은 자동화된 스크립트를 사용하여 웹 페이지를 탐색하고 데이터를 수집하는 방법입니다.이는 웹 사이트 전체 또는 다수의 페이지를 탐색하면서 데이터를 추출하는 과정으로, 검색 엔진의 크롤러와 유사합니다.자동화된 스크립트: 크롤러는 특정 규칙에 따라 웹 페이지를 방문하고, 해당 페이지의 콘텐츠를 수집하는 자동화된 스크립트입니다.전체 사이트 또는 다수의 페이지 탐색: 크롤링은 일반적으로 전체 웹 사이트를 탐색하거나, 다수의 페이지를 순차적으로 방문하여 데이터를 수집합니다.검색 엔진의 크롤러와 유사: 검색 엔진 크롤러는 웹 페이지를 인덱싱하여 검색 결과를 제공하는데, 이와 유사한 방식으로 데이터를 수집합니다. 스크래핑 (Scrapping)스크래핑(scrap..

📈 Data Engineering/📊 Data Analysis

[Data Analysis] 데이터의 활용 및 구현

2024.07.12

데이터의 형태데이터는 무엇일까요? 데이터는 의사결정 및 분석을 위한 원자재 입니다.또한 정보의 단위로, 다양한 형태로 존재할 수 있습니다.원시 데이터(raw data)는 직접 수집된 정보로, 아직 가공되지 않은 상태입니다.데이터는 의사결정 및 분석을 위한 원자재로, 이를 통해 통찰력(insight)을 얻고, 다양한 문제를 해결할 수 있습니다. 데이터의 중요성데이터는 현대 사회에서 필수적인 자원으로 자리잡고 있습니다.의사결정 도구 - 데이터 중심 사고과거에는 경험과 직관에 의존한 의사결정이 주를 이뤘다면, 오늘날에는 데이터 중심 사고(data-driven thinking)가 중요합니다.데이터 중심 사고는 의사결정 과정에서 객관적이고 과학적인 접근을 가능하게 합니다. 빅데이터 시대빅데이터는 막대한 양의 데이..

📈 Data Engineering/📝 Data Mining

[Data Mining] Linear Algebra (선형대수)

2024.07.09

Linear AlgebraLinear Algebra (선형대수학)은 벡터 공간, 행렬, 선형 변환 등의 개념을 연구하는 수학의 한 분야입니다주로 다차원 공간에서의 벡터와 행렬의 연산 및 이들 간의 관계를 다루며, 공학, 물리학, 컴퓨터 과학 등 다양한 분야에서 중요한 역할을 합니다.또한 많은 데이터 과학 개념과 기술을 뒷받침합니다.import re, math, random # regexes, math functions, random numbersimport matplotlib.pyplot as plt # pyplotfrom collections import defaultdict, Counterfrom functools import partial, reduce VectorsVectors는 어떤 finite..

📈 Data Engineering/📝 Data Mining

[Data Mining] Introduction to Numpy part.2

2024.07.05

BroadcastingNumpy의 Broadcasting은 서로 다른 크기의 배열 간의 연산을 가능하게 하는 강력한 기능입니다. Broadcasting을 통해 Numpy는 더 작은 배열을 더 큰 배열과 동일한 모양으로 확장하여 요소별(element-wise) 연산을 수행할 수 있습니다. 이는 반복문을 사용하지 않고도 효율적인 벡터화 연산을 가능하게 합니다.브로드캐스트는 산술 연산 중에 numpy가 다양한 모양을 가진 배열을 어떻게 처리하는지 설명합니다.특정 제약 조건에 따라 더 작은 배열은 더 큰 배열에 걸쳐 "브로드캐스트"되어 호환 가능한 모양을 갖습니다.ExamplesA (2d array): 5 x 4B (1d array): 1Result (2d array): 5 x 4..

📈 Data Engineering/📝 Data Mining

[Data Mining] Introduction to Numpy part.1

2024.06.26

Introduction to Numpy Numpy는 numberal Python의 약자로, 수치 계산을 지원하기 위한 Python 라이브러리 패키지 입니다.Numpy에서 기본적인 데이터 구조는 ndarray라는 다차원 배열 객체입니다.Numpy는 ndarray의 요소들을 효율적으로 조작할 수 있는 일련의 함수들을 제공한다는 특징이 있습니다.설명서를 보려면 아래 링크를 참고하세요. NumPy documentation — NumPy v2.0 ManualThe reference guide contains a detailed description of the functions, modules, and objects included in NumPy. The reference describes how the met..

📈 Data Engineering/📝 Data Mining

[Data Mining] Visualizing Data

2024.06.25

데이터 시각화를 위한 두 가지 주요 용도데이터를 탐색하려면? 두 가지 주요 용도에 데하여 알아야 합니다. 탐색적 데이터 분석 (Exploratory Data Analysis, EDA)목적: 데이터의 패턴, 트렌드, 이상치를 식별하고 이해하는 데 사용됩니다. 이는 데이터의 구조를 파악하고 통계적 관계를 발견하는 초기 단계에서 매우 중요합니다.도구: 히스토그램, 박스 플롯, 산점도, 열지도와 같은 그래프가 주로 사용됩니다.설명적 데이터 분석 (Explanatory Data Analysis)목적: 특정 발견이나 통찰을 전달하기 위해 데이터를 시각적으로 표현합니다. 이는 데이터를 통해 이야기하거나 의사 결정을 지원하는 과정에서 중요합니다.도구: 막대 그래프, 파이 차트, 선 그래프, 대시보드 등이 주로 사용됩니..

📈 Data Engineering/📝 Data Mining

[Data Mining] Crash_Course in Python Part.2

2024.06.25

The Not-So-BasicsSortingx = [4,1,2,3]y = sorted(x) # is [1,2,3,4], x is unchangedx.sort() # now x is [1,2,3,4]# sort the list by absolute value from largest to smallestx = sorted([-4,1,-2,3], key=abs, reverse=True) # is [-4,3,-2,1]# sort the words and counts from highest count to lowestwc = sorted(word_counts.items(), key=lambda x: x[1], # x[1] 두번째 값을 기준으로 정렬 rev..

📈 Data Engineering/📝 Data Mining

[Data Mining] Crash_Course in Python Part.1

2024.06.25

공백 서식 지정많은 언어들이 코드 블록들의 경계를 정하기 위해 괄호를 사용합니다. 파이썬은 이걸 indentation(' : ') 이라고 부릅니다.for i in [1, 2, 3, 4, 5]: print(i) for j in [1, 2, 3, 4, 5]: print(j) print(i + j) print(i)print("done looping")1122334455612132435465723142536475834152637485945162738495105done looping 괄호 및 괄호 안에 공백을 무시하는 경우입니다.long_winded_computation = (1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 + 10 + 11 + 12 + ..

티스토리툴바