[Data Analysis] 데이터 분석 과정, 전처리의 중요성

데이터 분석 과정(Data Analysis Process)

데이터 분석 과정

1. Goal Definition

• 객관적, 구체적으로 분석 대상 정의(=문제 정의)
• 해당 도메인에 대한 이해
• 해당 프로젝트에 대한 이해
  
  

2. Data Searching & Collecting

• 문제 정의 후 필요한 데이터 검색
• 데이터 수집 및 데이터 파악
  
  

3. Data Preparation

• 데이터의 noise를 제거하고 원하는 형태로 데이터를 변환하는 Data preprocessing(데이터 전처리 과정)포함
• 최종 모델을 만들기 위한 데이터 준비 단계
• 관련 데이터끼리 관계 설정 및 데이터 이해, 데이터 병합
  
  

4. Modeling

• 어떻게 모델 설계할지 구성
• R, Python 등 이용해 머신러닝 알고리즘 등 다양한 알고리즘 적용
  
  

5. Evaluation

• 모델링 통해 도출된 결과 평가
• 평과 결과에 따라 데이터 준비, 모델링 단계 반복
  
  

6. Deployment

• 분석된 데이터를 확장 적용하기 위한 체계화 단계
• 모델링 후 인사이트 도출 단계
  
  

---

전처리의 중요성 (Importance of Data Preprocessing)

What is Preprocessing?

• Raw data: 분석을 전제로 만들어 진 것이 아님, 가공되지 않은 데이터
• 전처리 과정: Raw data를 분석에 알맞은 형태로 바꾸는 등 의미 있게 가공하여 보다 설명력 높은 데이터로 만드는 작업
• 상당히 많은 노력과 시간을 투자해야 모델링 성능이 좋아짐

Features

• 전처리 하는 과정에서 데이터의 features 추출
• 어떤 feature를 선택하느냐에 따라 분석 결과의 정확도나 인사이트가 확연히 달라짐
• 전처리 과정이 성공적이면 feature를 고르기 쉬움 → 더 좋은 분석 결과 이끌어냄

Modeling & Evaluation

• 모델링 과정을 거친 후 Evaluation단계에서 모델 평가 결과에 따라 Data preprocessing 과정을 반복적으로 수행하기도 함.
• 고도의 분석 기술이 있더라도 잘 정리된 데이터가 확보되지 않으면 잘못된 결과 나올 수 있음
• 더 좋은 품질의 데이터를 만들면 모델의 성능이 높아짐

데이터 사이언티스트들에게 어디에 가장 시간을 많이 쏟냐고 설문조사를 한 결과, 약 79% 가 데이터 수집 및 전처리일 정도로 상당히 중요한 과정이다.

 

---

 

직접 프로젝트를 진행할 때, 초반에 통일성 없는 데이터를 내 목적에 맞게 정제하는 것은 매우매우매움매우 중요하다는 걸 절실히 깨닫고 작성하는 글 ^^*

 

번거로운 작업이지만 그만큼 중요한 작업이다.