데이터 수집크롤링 (Crawling)크롤링(crawling)은 자동화된 스크립트를 사용하여 웹 페이지를 탐색하고 데이터를 수집하는 방법입니다.이는 웹 사이트 전체 또는 다수의 페이지를 탐색하면서 데이터를 추출하는 과정으로, 검색 엔진의 크롤러와 유사합니다.자동화된 스크립트: 크롤러는 특정 규칙에 따라 웹 페이지를 방문하고, 해당 페이지의 콘텐츠를 수집하는 자동화된 스크립트입니다.전체 사이트 또는 다수의 페이지 탐색: 크롤링은 일반적으로 전체 웹 사이트를 탐색하거나, 다수의 페이지를 순차적으로 방문하여 데이터를 수집합니다.검색 엔진의 크롤러와 유사: 검색 엔진 크롤러는 웹 페이지를 인덱싱하여 검색 결과를 제공하는데, 이와 유사한 방식으로 데이터를 수집합니다. 스크래핑 (Scrapping)스크래핑(scrap..

데이터의 형태데이터는 무엇일까요? 데이터는 의사결정 및 분석을 위한 원자재 입니다.또한 정보의 단위로, 다양한 형태로 존재할 수 있습니다.원시 데이터(raw data)는 직접 수집된 정보로, 아직 가공되지 않은 상태입니다.데이터는 의사결정 및 분석을 위한 원자재로, 이를 통해 통찰력(insight)을 얻고, 다양한 문제를 해결할 수 있습니다. 데이터의 중요성데이터는 현대 사회에서 필수적인 자원으로 자리잡고 있습니다.의사결정 도구 - 데이터 중심 사고과거에는 경험과 직관에 의존한 의사결정이 주를 이뤘다면, 오늘날에는 데이터 중심 사고(data-driven thinking)가 중요합니다.데이터 중심 사고는 의사결정 과정에서 객관적이고 과학적인 접근을 가능하게 합니다. 빅데이터 시대빅데이터는 막대한 양의 데이..