'📝 Data Mining' 카테고리의 글 목록

[Data Mining] Getting Data Part.1

2024.07.24

Getting Datafrom collections import Counterimport math, random, csv, json, refrom bs4 import BeautifulSoupimport requests 예를 들어, beautifulsoup 같은, 어떤 모듈이 설치되지 않았다면? 어떻게 해야 할까요?googling: 아나콘다 beautifulsoup 설치 방법구글 답변에서 아나콘다 클라우드를 찾으세요. 모듈들이 테스트되고 안전한 곳입니다.이제, 여러분은 부끄러운 정도로 많은 시간을 acquiring(획득), cleaning(정리), and transforming data(데이터 변환)에 할애하게 될 것입니다.stdin and stdoutNumber of lines containing num..

📝 Data Mining

[Data Mining] Gradient Descent (경사 하강법)

2024.07.23

Gradient Descent (경사 하강법)경사 하강법(Gradient Descent)은 최적화 알고리즘 중 하나로, 주어진 함수의 최소값을 찾는 방법입니다.이 알고리즘은 머신 러닝과 딥 러닝 모델의 학습 과정에서 주로 사용됩니다.경사하강법의 아이디어 (The Idea Behind Gradient Descent)우리는 종종 함수 𝑓를 최대화(또는 최소화)해야 할 필요가 있을 것입니다.즉, 우리는 가능한 가장 작은(또는 가장 큰) 값을 생성하는 입력 v를 찾아야 합니다.그리고 이때, 함수 𝑓를 최대화(또는 최소화)해야 합니다. 즉, 가능한 가장 작은(또는 가장 큰) 값을 만드는 입력 𝑣를 찾아야 합니다.이것은 많은 문제에서 발생하는 일입니다. 예를 들어, 비용 함수(cost function)를 최소..

📝 Data Mining

[Data Mining] Statistics (통계학)

2024.07.14

Describing a Single Set of Data (단일 데이터 세트)단일 데이터 세트(describing a single set of data)는 하나의 데이터 세트에 대한 특성이나 특질을 설명하고 분석하는 과정을 의미합니다.이를 통해 데이터의 중심 경향, 분산, 형태 및 분포 등을 파악할 수 있습니다.예를 들어보면, 모금 활동 단체의 부사장이 회원들이 친구를 얼마나 가지고 있는지에 대한 설명을 요청했습니다.from collections import Counterfrom linear_algebra import sum_of_squares, dotimport mathfrom operator import addnum_friends = [100,49,41,40,25,21,21,19,19,18,18,16..

📝 Data Mining

[Data Mining] Linear Algebra (선형대수)

2024.07.09

Linear AlgebraLinear Algebra (선형대수학)은 벡터 공간, 행렬, 선형 변환 등의 개념을 연구하는 수학의 한 분야입니다주로 다차원 공간에서의 벡터와 행렬의 연산 및 이들 간의 관계를 다루며, 공학, 물리학, 컴퓨터 과학 등 다양한 분야에서 중요한 역할을 합니다.또한 많은 데이터 과학 개념과 기술을 뒷받침합니다.import re, math, random # regexes, math functions, random numbersimport matplotlib.pyplot as plt # pyplotfrom collections import defaultdict, Counterfrom functools import partial, reduce VectorsVectors는 어떤 finite..

📝 Data Mining

[Data Mining] Introduction to Numpy part.2

2024.07.05

BroadcastingNumpy의 Broadcasting은 서로 다른 크기의 배열 간의 연산을 가능하게 하는 강력한 기능입니다. Broadcasting을 통해 Numpy는 더 작은 배열을 더 큰 배열과 동일한 모양으로 확장하여 요소별(element-wise) 연산을 수행할 수 있습니다. 이는 반복문을 사용하지 않고도 효율적인 벡터화 연산을 가능하게 합니다.브로드캐스트는 산술 연산 중에 numpy가 다양한 모양을 가진 배열을 어떻게 처리하는지 설명합니다.특정 제약 조건에 따라 더 작은 배열은 더 큰 배열에 걸쳐 "브로드캐스트"되어 호환 가능한 모양을 갖습니다.ExamplesA (2d array): 5 x 4B (1d array): 1Result (2d array): 5 x 4..

📝 Data Mining

[Data Mining] Introduction to Numpy part.1

2024.06.26

Introduction to Numpy Numpy는 numberal Python의 약자로, 수치 계산을 지원하기 위한 Python 라이브러리 패키지 입니다.Numpy에서 기본적인 데이터 구조는 ndarray라는 다차원 배열 객체입니다.Numpy는 ndarray의 요소들을 효율적으로 조작할 수 있는 일련의 함수들을 제공한다는 특징이 있습니다.설명서를 보려면 아래 링크를 참고하세요. NumPy documentation — NumPy v2.0 ManualThe reference guide contains a detailed description of the functions, modules, and objects included in NumPy. The reference describes how the met..

📝 Data Mining

[Data Mining] Visualizing Data

2024.06.25

데이터 시각화를 위한 두 가지 주요 용도데이터를 탐색하려면? 두 가지 주요 용도에 데하여 알아야 합니다. 탐색적 데이터 분석 (Exploratory Data Analysis, EDA)목적: 데이터의 패턴, 트렌드, 이상치를 식별하고 이해하는 데 사용됩니다. 이는 데이터의 구조를 파악하고 통계적 관계를 발견하는 초기 단계에서 매우 중요합니다.도구: 히스토그램, 박스 플롯, 산점도, 열지도와 같은 그래프가 주로 사용됩니다.설명적 데이터 분석 (Explanatory Data Analysis)목적: 특정 발견이나 통찰을 전달하기 위해 데이터를 시각적으로 표현합니다. 이는 데이터를 통해 이야기하거나 의사 결정을 지원하는 과정에서 중요합니다.도구: 막대 그래프, 파이 차트, 선 그래프, 대시보드 등이 주로 사용됩니..

📝 Data Mining

[Data Mining] Crash_Course in Python Part.2

2024.06.25

The Not-So-BasicsSortingx = [4,1,2,3]y = sorted(x) # is [1,2,3,4], x is unchangedx.sort() # now x is [1,2,3,4]# sort the list by absolute value from largest to smallestx = sorted([-4,1,-2,3], key=abs, reverse=True) # is [-4,3,-2,1]# sort the words and counts from highest count to lowestwc = sorted(word_counts.items(), key=lambda x: x[1], # x[1] 두번째 값을 기준으로 정렬 rev..

📝 Data Mining

[Data Mining] Crash_Course in Python Part.1

2024.06.25

공백 서식 지정많은 언어들이 코드 블록들의 경계를 정하기 위해 괄호를 사용합니다. 파이썬은 이걸 indentation(' : ') 이라고 부릅니다.for i in [1, 2, 3, 4, 5]: print(i) for j in [1, 2, 3, 4, 5]: print(j) print(i + j) print(i)print("done looping")1122334455612132435465723142536475834152637485945162738495105done looping 괄호 및 괄호 안에 공백을 무시하는 경우입니다.long_winded_computation = (1 + 2 + 3 + 4 + 5 + 6 + 7 + 8 + 9 + 10 + 11 + 12 + ..

티스토리툴바