TY_IT💻

How to check NaN in Pandas Dataframe null 값 확인 df.isnull() isnull(df) null 아닌 값 확인 df.notnull() notnull(df) 1. 예시 dataframe 생성 import pandas as pd import numpy as np dates = pd.date_range("20130101", periods=6) df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list("ABCD")) 2. null 값 추가하기 'NaN' 혹은 None을 통해 null값을 임의로 추가할 수 있다. df['A'][1] = 'NaN' df['B'][2] = None df['C'][2] = 'NaN' d..

예시 데이터 프레임 import pandas as pd left = pd.DataFrame({ 'id':[1,2,3,4,5], 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5']}) right = pd.DataFrame( {'id':[1,2,3,4,5], 'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'subject_id':['sub2','sub4','sub3','sub6','sub5']}) 1. 두 개의 데이터프레임을 Key 기준으로 합치기 pd.merge(left,right,on='id') 2. 두 개의 데이터프레임을 m..

최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multiprocessing이 있다. 이번 포스팅은 multiprocessing 패키지를 이용해 cpu 코어 수만큼 병렬 처리하는 과정을 보여줄 예정이다. 1. CPU에 있는 코어의 수를 multiprocessing.cpu_count()를 이용해 확인 import multiprocessing as mp num_cores = mp.cpu_count() # cpu 코어 수 반환 2. Dataframe multiprocessing 데이터프레임 병렬 처리, 한 줄씩 처리 def parallel_dataframe(df, func, num_cores): df_split = np.array_split(df, num_cor..

전에 올렸던 TFBS(Transcription Factor Binding Site) data에 start, end를 이용해 (시작, 종결 코돈) 염기서열을 추가해 보았다. 앙상블에서 제공하는 api 이용 rest.ensembl.org/documentation/info/sequence_region Ensembl Rest API - GET sequence/region/:species/:region Returns the genomic sequence of the specified region of the given species. Supports feature masking and expand options. rest.ensembl.org import requests, sys import pandas as p..