[Data Analysis] 데이터의 활용 및 구현

데이터의 형태

데이터는 무엇일까요? 데이터는 의사결정 및 분석을 위한 원자재 입니다.

• 또한 정보의 단위로, 다양한 형태로 존재할 수 있습니다.
• 원시 데이터(raw data)는 직접 수집된 정보로, 아직 가공되지 않은 상태입니다.
• 데이터는 의사결정 및 분석을 위한 원자재로, 이를 통해 통찰력(insight)을 얻고, 다양한 문제를 해결할 수 있습니다.

 

데이터의 중요성

데이터는 현대 사회에서 필수적인 자원으로 자리잡고 있습니다.

• 의사결정 도구 - 데이터 중심 사고
  • 과거에는 경험과 직관에 의존한 의사결정이 주를 이뤘다면, 오늘날에는 데이터 중심 사고(data-driven thinking)가 중요합니다.
  • 데이터 중심 사고는 의사결정 과정에서 객관적이고 과학적인 접근을 가능하게 합니다. 

• 빅데이터 시대
  • 빅데이터는 막대한 양의 데이터로, 이는 기존의 데이터 처리 방식으로는 관리하기 어려운 수준입니다.
  • 빅데이터 분석을 통해 우리는 기존에 발견하지 못했던 패턴을 찾고, 예측 모델을 만들며, 다양한 산업 분야에서 혁신을 이끌어낼 수 있습니다

• AI (Artificial Intellignece)
  • AI는 데이터 없이는 존재할 수 없습니다.
  • AI 모델은 방대한 양의 데이터를 학습하여 패턴을 인식하고, 예측을 수행하며, 자동화된 결정을 내릴 수 있습니다.
  • 데이터는 AI의 학습과정에서 필수적인 역할을 하며, 이를 통해 자율주행차, 챗봇, 맞춤형 추천 시스템 등 다양한 응용 분야에서 AI 기술이 발전하고 있습니다.

---

데이터의 형태

정형 데이터

정형 데이터(structured data)는 일정한 구조를 가진 데이터로, 고정된 스키마(schema)에 따라 조직됩니다

• 이는 데이터베이스 테이블과 같은 형태로, 행과 열로 구성되어 있습니다.

1. 구조화된 형식
   • 정형 데이터는 표 형식으로 구성되어 있어 데이터 항목 간의 관계를 명확히 할 수 있습니다.
   • 이러한 구조화된 형식 덕분에 데이터의 의미를 쉽게 이해할 수 있습니다.
2. 고정된 스키마
   • 고정된 스키마는 데이터의 일관성을 보장합니다.
   • 데이터가 저장되기 전에 미리 정의된 스키마에 따라 구조화되므로, 데이터의 무결성(integrity)이 보장됩니다.
3. 무결성
   • 정형 데이터는 고정된 스키마 덕분에 데이터의 정확성과 일관성을 유지할 수 있습니다.
   • 데이터의 무결성은 데이터 분석과 의사결정의 신뢰성을 높이는 중요한 요소입니다.
4. 저장과 관리가 효율적
   • 정형 데이터는 관계형 데이터베이스 관리 시스템(RDBMS)에서 효율적으로 저장되고 관리됩니다.
   • RDBMS는 데이터의 저장, 검색, 업데이트 등을 효과적으로 수행할 수 있는 다양한 기능을 제공합니다.
5.  데이터 분석에 용이
   • 정형 데이터는 일정한 구조를 가지고 있어, SQL과 같은 쿼리 언어를 통해 쉽게 접근하고 분석할 수 있습니다.
   • 이를 통해 데이터의 패턴을 파악하고, 유용한 정보를 추출하는 데 용이합니다.
6. 유연성이 부족
   • 고정된 스키마로 인해 데이터의 구조를 변경하는 것이 어렵습니다.
   • 새로운 유형의 데이터를 추가하거나 스키마를 변경해야 할 경우, 시스템 전체에 영향을 미칠 수 있습니다.
7. 관계형 데이터베이스 관리 시스템(RDBMS)
   • RDBMS는 정형 데이터를 효율적으로 관리하기 위해 설계된 시스템입니다.
   • 대표적인 RDBMS로는 MySQL, PostgreSQL, Oracle Database 등이 있습니다. 이들 시스템은 데이터의 무결성을 보장하고, 데이터 관리와 분석을 용이하게 합니다.

 

 

비정형 데이터

비정형 데이터(unstructured data)는 고정된 스키마나 구조가 없는 데이터로, 다양한 형태와 유형으로 존재합니다.

• 이는 텍스트, 이미지, 동영상 등 다양한 형식을 포함하며, 현대 데이터 환경에서 점점 더 중요해지고 있습니다.

1. 텍스트, 이미지, 동영상 다양한 데이터 유형
   • 비정형 데이터는 텍스트 문서, 이메일, 소셜 미디어 게시물, 이미지, 동영상 등 매우 다양한 형태로 존재합니다.
   • 이러한 데이터 유형들은 사람들의 행동과 선호도를 이해하는 데 중요한 역할을 합니다.
2. 고정된 스키마, 구조가 없음
   • 비정형 데이터는 정형 데이터와 달리 고정된 스키마나 구조가 없습니다.
   • 이는 데이터를 저장하고 관리하는 데 있어 유연성을 제공하지만, 동시에 데이터를 정리하고 분석하는 데 어려움을 줍니다.
3. 대용량
   • 비정형 데이터는 대량으로 생성되고 저장됩니다. 예를 들어, 소셜 미디어에서 매일 수백만 건의 게시물이 생성되고, 비디오 스트리밍 플랫폼에서는 방대한 양의 동영상 데이터가 업로드됩니다.
   • 이러한 대용량 데이터는 새로운 저장 및 분석 기술을 필요로 합니다.
4. 풍부한 정보량
   • 비정형 데이터는 매우 풍부한 정보를 담고 있습니다.
   • 텍스트 데이터는 감정 분석과 주제 추출에 유용하며, 이미지와 동영상 데이터는 객체 인식과 행동 분석에 사용될 수 있습니다.
   • 이러한 데이터는 보다 깊이 있는 통찰을 제공할 수 있습니다.
5. 저장, 분석이 어려움
   • 비정형 데이터는 그 구조적 특성으로 인해 저장과 분석이 어렵습니다.
   • 전통적인 RDBMS로는 비정형 데이터를 효과적으로 처리하기 어려우며, 이를 위해 특수한 저장 및 분석 도구가 필요합니다.
6. 일관성 없는 품질
   • 비정형 데이터는 다양한 출처에서 생성되므로, 데이터의 품질이 일관되지 않을 수 있습니다.
   • 이는 데이터 정제(cleaning)와 전처리(preprocessing)의 필요성을 증가시킵니다.
7. NoSQL
   • 비정형 데이터를 관리하기 위해 NoSQL 데이터베이스가 사용됩니다.
   • NoSQL 데이터베이스는 스키마가 없는 데이터를 효율적으로 저장하고 검색할 수 있도록 설계되었습니다.
   • 대표적인 NoSQL 데이터베이스로는 MongoDB, Cassandra, CouchDB 등이 있습니다.
   • 이들 시스템은 비정형 데이터의 유연한 저장과 빠른 검색을 지원합니다.

 

 

반정형 데이터

반정형 데이터(semi-structured data)는 일정한 구조를 갖지만, 형식이 고정되지 않은 데이터를 의미합니다.

• 이러한 데이터는 고정된 스키마가 없지만, 태그나 마크업 언어를 통해 데이터를 설명하는 구조를 포함하고 있습니다.
• 이는 정형 데이터와 비정형 데이터의 중간 형태로, 두 유형의 장단점을 모두 가지고 있습니다.

1. 일정한 구조를 갖지만 형식이 고정되지 않은 데이터
   • 반정형 데이터는 XML, JSON, YAML 등의 형식으로 저장됩니다. 이러한 형식은 데이터 항목 간의 관계를 명시적으로 표현하면서도 고정된 스키마를 요구하지 않습니다. 이는 데이터의 유연성과 확장성을 높입니다.
2. 자기설명적
   • 반정형 데이터는 자기설명적(self-describing)입니다. 즉, 데이터 자체가 구조와 의미를 포함하고 있어 추가적인 메타데이터 없이도 데이터를 이해할 수 있습니다. 예를 들어, JSON 파일은 데이터 항목과 그 값을 키-값 쌍으로 명확히 정의합니다.
3. 정형 데이터와 비정형 데이터의 장단점 공유
   • 반정형 데이터는 정형 데이터와 비정형 데이터의 장단점을 모두 공유합니다. 정형 데이터의 장점인 데이터 무결성과 관리 용이성을 어느 정도 유지하면서도, 비정형 데이터의 유연성과 확장성을 제공합니다. 이는 다양한 데이터 유형을 효율적으로 처리하고 분석할 수 있게 합니다.
4. JSON, XML
   • 반정형 데이터의 대표적인 예로는 JSON(JavaScript Object Notation)과 XML(Extensible Markup Language)이 있습니다.
     • JSON: 경량 데이터 교환 형식으로, 사람과 기계 모두 읽고 쓰기 쉬운 텍스트 형식입니다. JSON은 웹 애플리케이션에서 데이터 전송에 많이 사용됩니다.
     • XML: 마크업 언어로, 데이터의 구조를 정의하고 설명하는 데 사용됩니다. XML은 문서 중심의 데이터 교환에 주로 사용됩니다.

• JSON 데이터 예시

{
    "ID_No": 1,
    "Name": "James",
    "Email": "James@korea.com",
    "Age": 21
},
{
    ID_No": 2,
    "Name": "Jack",
    "Email": "Jack@korea.com",
    "Age": 23
}

---

데이터와 인사이트

데이터 인사이트란? 데이터 분석을 통해 도출된 유용한 통찰이나 정보를 의미합니다.

• 이는 단순히 데이터를 해석한 결과값이 아니라, 의미 있는 정보를 포함하여 의사결정과 문제 해결에 직접적으로 기여할 수 있는 데이터를 말합니다.

 

데이터 인사이트가 중요한 이유?

데이터 인사이트는 다양한 분야에서 중요한 역할을 합니다. 특히 데이터 분석가와 AI 개발자에게는 필수적인 요소입니다.

• 데이터 기반 의사결정: 데이터 분석가는 데이터를 분석하여 신뢰성 높은 인사이트를 도출함으로써, 조직이 데이터 기반 의사결정을 내릴 수 있도록 돕습니다. 이는 직관이나 경험에 의존한 의사결정보다 더 객관적이고 정확합니다.
• 모델 성능 개선 및 데이터 품질: AI 개발자는 데이터 인사이트를 활용하여 모델의 성능을 개선하고, 데이터 품질을 향상시킬 수 있습니다. 예를 들어, 데이터 인사이트를 통해 모델이 오작동하는 이유를 파악하고, 데이터셋의 품질을 개선하는 데 필요한 조치를 취할 수 있습니다.

 

데이터 분석과 AI의 궁극적인 목표는 유의미한 인사이트 도출

데이터 분석과 AI의 궁극적인 목표는 유의미한 인사이트를 도출하는 것입니다.

• 다양한 이해관계자가 이러한 인사이트를 활용하여 의사결정과 혁신을 이끌어내는 것이 중요합니다.
• 의사결정: 경영진, 마케팅 팀, 제품 개발 팀 등 다양한 부서에서 데이터 인사이트를 활용하여 전략적 의사결정을 내릴 수 있습니다. 예를 들어, 마케팅 캠페인의 효과를 분석하거나, 신제품 출시 전략을 수립하는 데 데이터 인사이트가 큰 도움이 됩니다.
• 혁신: 데이터 인사이트는 조직이 새로운 기회를 발견하고, 기존 프로세스를 혁신하는 데 기여할 수 있습니다. 예를 들어, 고객 행동 분석을 통해 새로운 서비스나 제품을 개발하거나, 운영 효율성을 높이기 위한 프로세스 개선 아이디어를 도출할 수 있습니다.

---

데이터의 수집 방법

내부 데이터 vs 외부 데이터

내부 데이터

내부 데이터는 조직 내부에서 생성되고 수집되는 데이터로, 주로 내부 시스템에서 얻어집니다. 주요 예시는 다음과 같습니다.

• 영업 데이터: 판매 기록, 영업 활동 보고서, 고객 상호작용 기록 등 영업 활동과 관련된 데이터입니다.
• 고객 데이터: 고객의 인적 정보, 구매 이력, 피드백, 고객 서비스 기록 등을 포함합니다. 
• 트랜잭션 데이터: 구매, 환불, 결제 등의 금융 거래 기록을 포함합니다.
• 소스코드: 소프트웨어 개발 과정에서 생성된 코드와 관련 데이터입니다. 
• 사원정보: 직원의 인사 기록, 급여 정보, 성과 평가 데이터 등을 포함합니다. 

 

외부 데이터

외부 데이터는 조직 외부에서 생성되고 수집되는 데이터로, 공공 기관, 시장 조사 기관, 외부 시스템 등 다양한 출처에서 얻어집니다.
주요 예시는 다음과 같습니다.

• 공공 데이터: 정부나 공공 기관에서 제공하는 데이터로, 인구 통계, 경제 지표, 환경 데이터 등이 포함됩니다.
• 시장 데이터: 시장 조사 기관이나 연구소에서 수집한 데이터로, 경쟁사 분석, 소비자 행동 연구, 산업 트렌드 등을 포함합니다.
• 조사 데이터: 설문 조사, 인터뷰, 표본 조사 등을 통해 수집한 데이터입니다.

 

OpenAPI

누구나 접근할 수 있도록 개방된 API(Application Programming Interface)를 의미합니다.

• 특정 기능이나 데이터를 외부 개발자와 공유하여, 다양한 애플리케이션이나 서비스를 개발할 수 있도록 돕습니다. 주요 특징은 다음과 같습니다.
• 구조화된 데이터 제공: OpenAPI는 구조화된 데이터를 제공하여, 개발자가 데이터를 쉽게 접근하고 사용할 수 있도록 합니다. 일반적으로 JSON, XML 등의 형식을 사용합니다.
• 인증 필요 (API 키): 대부분의 OpenAPI는 보안과 사용 추적을 위해 API 키를 요구합니다. API 키는 사용자가 API에 접근할 수 있는 권한을 확인하고, 사용량을 모니터링하는 데 사용됩니다.

 

Open Data

Open Data는 누구나 접근할 수 있도록 공개된 데이터를 의미합니다.

• 정부, 기관, 단체 등에서 제공하며, 공공의 이익을 위해 자유롭게 사용할 수 있습니다. 주요 특징은 다음과 같습니다:
• 누구나 접근할 수 있도록 공개된 데이터: Open Data는 모든 사람이 자유롭게 접근하고 사용할 수 있습니다. 이는 데이터의 투명성을 높이고, 다양한 연구와 분석에 활용될 수 있습니다.
• 정부, 기관, 단체 등에서 제공: Open Data는 주로 정부 기관, 공공 단체, 비영리 조직 등이 제공하며, 공공 데이터 포털 등을 통해 쉽게 접근할 수 있습니다. 이러한 데이터는 정책 분석, 연구, 산업 발전 등에 중요한 역할을 합니다.

 

크롤링 (Crawling)

크롤링(crawling)은 자동화된 스크립트를 사용하여 웹 페이지를 탐색하고 데이터를 수집하는 방법입니다.

• 이는 웹 사이트 전체 또는 다수의 페이지를 탐색하면서 데이터를 추출하는 과정으로, 검색 엔진의 크롤러와 유사합니다.
• 자동화된 스크립트: 크롤러는 특정 규칙에 따라 웹 페이지를 방문하고, 해당 페이지의 콘텐츠를 수집하는 자동화된 스크립트입니다.
• 전체 사이트 또는 다수의 페이지 탐색: 크롤링은 일반적으로 전체 웹 사이트를 탐색하거나, 다수의 페이지를 순차적으로 방문하여 데이터를 수집합니다.
• 검색 엔진의 크롤러와 유사: 검색 엔진 크롤러는 웹 페이지를 인덱싱하여 검색 결과를 제공하는데, 이와 유사한 방식으로 데이터를 수집합니다.

 

스크래핑 (Scrapping)

스크래핑(scraping)은 특정 웹 페이지에서 필요한 데이터를 추출하는 방법입니다. 이는 웹 크롤링의 하위 집합으로, 특정 데이터만 수집하는 데 집중합니다.

• 특정 웹 페이지에서 필요한 데이터 추출: 스크래핑은 웹 페이지의 특정 요소나 정보를 추출하는 과정입니다. 예를 들어, 제품 가격, 리뷰, 연락처 정보 등을 추출할 수 있습니다.
• 웹 크롤링의 하위 집합: 스크래핑은 크롤링의 일부로서, 크롤러가 탐색한 웹 페이지에서 특정 데이터를 추출하는 작업을 의미합니다.