TY_IT💻

데이터 분석 과정(Data Analysis Process) 1. Goal Definition 객관적, 구체적으로 분석 대상 정의(=문제 정의) 해당 도메인에 대한 이해 해당 프로젝트에 대한 이해 2. Data Searching & Collecting 문제 정의 후 필요한 데이터 검색 데이터 수집 및 데이터 파악 3. Data Preparation 데이터의 noise를 제거하고 원하는 형태로 데이터를 변환하는 Data preprocessing(데이터 전처리 과정)포함 최종 모델을 만들기 위한 데이터 준비 단계 관련 데이터끼리 관계 설정 및 데이터 이해, 데이터 병합 4. Modeling 어떻게 모델 설계할지 구성 R, Python 등 이용해 머신러닝 알고리즘 등 다양한 알고리즘 적용 5. Evaluatio..

웹 크롤링으로 href 태그의 값 가져오기 (HTML 파싱) import requests from bs4 import BeautifulSoup ftp.ensembl.org/pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ Index of /pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ ftp.ensembl.org 이렇게 생긴 웹 형태에서 데이터 이름만 가져오는 웹 크롤링 실습. 1. requests 라이브러리를 이용해 url get 하기 import requests from bs4 import BeautifulSoup res = requests.get('http://ftp.en..

blog.naver.com/ahnty0122/222103415093 [제 26회 데이터분석 준전문가 자격검정] 20.08.29 ADsP 합격 후기 ADsP 일주일 공부하고 합격하기대학교 1학년 때 젤 재밌게 들었던 과목이 확률및통계학 .... 이었고tmi... blog.naver.com

※ python(version 3 이상) 설치되었다는 가정 하에 설치 JAVA 설치 SPARK 설치 winutils 설치 pyspark 설치 설치 확인 1. JAVA 설치 SPARK 3.0.1은 java 11을 지원하므로 밑의 url에 들어가 중간의 11 JDK 다운로드를 선택. 그 전에 오라클 계정 만들기 필수 www.oracle.com/java/technologies/javase-downloads.html 윈도우 버전 클릭 후 next, next 누르면서 설치. 제어판 - 시스템 및 보안 - 시스템 들어가서 고급 시스템 설정, 환경 변수 클릭 환경 변수, 시스템 변수 편집 환경 변수 편집 Path에 %JAVA_HOME%bin추가 JAVA_HOME 시스템 변수 추가 C:\Program Files\Jav..