TY_IT💻

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

sum(리스트명, [])

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

import time import datetime start = time.time() ''' 함수내용 ''' sec = time.time() - start times = str(datetime.timedelta(seconds=sec)).split(".") times = times[0] print("Time: ", times)

sys 모듈을 이용해 상대경로 설정 가능 import sys sys.path.append('내경로') 위 코드가 들어가면 내 경로가 파일 실행 위치가 되고 다른 파일을 import 할 때 from ~ import ~를 사용해 상대경로로 불러올 수 있다. ex) parent 폴더에 child 폴더가 존재하고, child 폴더 안에 myfunc함수를 담은 example.py 있다면 import sys sys.path.append('C:/Parent') from child.example import myfunc 위처럼 myfunc함수를 상대경로로 불러올 수 있다. 상대경로로 작성하면 절대경로로 경로를 다 써주지 않고도 편하게 파일을 불러올 수 있지만, 파일 위치가 바뀐다거나 하면 불편해질 수 있다.

Join 1. 예시 데이터프레임 생성 import pandas as pd df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']}) other = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'B': ['B0', 'B1', 'B2']}) 2. 열의 Index 지정해서 Join df.join(other, lsuffix = '_caller', rsuffix = '_other') 3. Key를 index로 지정해 Join df.set_index('key').join(other.set_index('key')) 4. join 메소드의 parameter ..

웹 크롤링으로 href 태그의 값 가져오기 (HTML 파싱) import requests from bs4 import BeautifulSoup ftp.ensembl.org/pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ Index of /pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ ftp.ensembl.org 이렇게 생긴 웹 형태에서 데이터 이름만 가져오는 웹 크롤링 실습. 1. requests 라이브러리를 이용해 url get 하기 import requests from bs4 import BeautifulSoup res = requests.get('http://ftp.en..

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..