TY_IT💻

sum(리스트명, [])

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

import time import datetime start = time.time() ''' 함수내용 ''' sec = time.time() - start times = str(datetime.timedelta(seconds=sec)).split(".") times = times[0] print("Time: ", times)

sys 모듈을 이용해 상대경로 설정 가능 import sys sys.path.append('내경로') 위 코드가 들어가면 내 경로가 파일 실행 위치가 되고 다른 파일을 import 할 때 from ~ import ~를 사용해 상대경로로 불러올 수 있다. ex) parent 폴더에 child 폴더가 존재하고, child 폴더 안에 myfunc함수를 담은 example.py 있다면 import sys sys.path.append('C:/Parent') from child.example import myfunc 위처럼 myfunc함수를 상대경로로 불러올 수 있다. 상대경로로 작성하면 절대경로로 경로를 다 써주지 않고도 편하게 파일을 불러올 수 있지만, 파일 위치가 바뀐다거나 하면 불편해질 수 있다.

데이터 분석 과정(Data Analysis Process) 1. Goal Definition 객관적, 구체적으로 분석 대상 정의(=문제 정의) 해당 도메인에 대한 이해 해당 프로젝트에 대한 이해 2. Data Searching & Collecting 문제 정의 후 필요한 데이터 검색 데이터 수집 및 데이터 파악 3. Data Preparation 데이터의 noise를 제거하고 원하는 형태로 데이터를 변환하는 Data preprocessing(데이터 전처리 과정)포함 최종 모델을 만들기 위한 데이터 준비 단계 관련 데이터끼리 관계 설정 및 데이터 이해, 데이터 병합 4. Modeling 어떻게 모델 설계할지 구성 R, Python 등 이용해 머신러닝 알고리즘 등 다양한 알고리즘 적용 5. Evaluatio..

딥러닝 모델 중 하나인 CNN(Convolutional Neural Network)에 대해 알아보자. CNN은 computer vision problem에서 많이 쓰인다. 특히 그 중 많이 활용되는 것은 object detection이다. Object Detection이란? Feature extraction(특징 추출) 이미지에서 끌어낼 수 있는 유용한 feature 추출 Bounding Box 생성 object를 감싸는 bounding box 생성 Class classification bounding box 안의 object가 어떤 class인지 분류하는 과정 CNN(Convolutional Neural Network) image의 형태를 보존하도록 행렬 형태의 데이터를 입력받아 정보 손실을 방지하고,..

Join 1. 예시 데이터프레임 생성 import pandas as pd df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']}) other = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'B': ['B0', 'B1', 'B2']}) 2. 열의 Index 지정해서 Join df.join(other, lsuffix = '_caller', rsuffix = '_other') 3. Key를 index로 지정해 Join df.set_index('key').join(other.set_index('key')) 4. join 메소드의 parameter ..

웹 크롤링으로 href 태그의 값 가져오기 (HTML 파싱) import requests from bs4 import BeautifulSoup ftp.ensembl.org/pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ Index of /pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ ftp.ensembl.org 이렇게 생긴 웹 형태에서 데이터 이름만 가져오는 웹 크롤링 실습. 1. requests 라이브러리를 이용해 url get 하기 import requests from bs4 import BeautifulSoup res = requests.get('http://ftp.en..