TY_IT💻

column에 NaN값이나 여러 type의 데이터가 섞여 있으면 이와 같은 경고가 발생한다. 이 때 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. pd.read_csv('[파일명].txt', delimiter = '\t', low_memory=False)

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..

How to check NaN in Pandas Dataframe null 값 확인 df.isnull() isnull(df) null 아닌 값 확인 df.notnull() notnull(df) 1. 예시 dataframe 생성 import pandas as pd import numpy as np dates = pd.date_range("20130101", periods=6) df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list("ABCD")) 2. null 값 추가하기 'NaN' 혹은 None을 통해 null값을 임의로 추가할 수 있다. df['A'][1] = 'NaN' df['B'][2] = None df['C'][2] = 'NaN' d..

예시 데이터 프레임 import pandas as pd left = pd.DataFrame({ 'id':[1,2,3,4,5], 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5']}) right = pd.DataFrame( {'id':[1,2,3,4,5], 'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'subject_id':['sub2','sub4','sub3','sub6','sub5']}) 1. 두 개의 데이터프레임을 Key 기준으로 합치기 pd.merge(left,right,on='id') 2. 두 개의 데이터프레임을 m..

최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multiprocessing이 있다. 이번 포스팅은 multiprocessing 패키지를 이용해 cpu 코어 수만큼 병렬 처리하는 과정을 보여줄 예정이다. 1. CPU에 있는 코어의 수를 multiprocessing.cpu_count()를 이용해 확인 import multiprocessing as mp num_cores = mp.cpu_count() # cpu 코어 수 반환 2. Dataframe multiprocessing 데이터프레임 병렬 처리, 한 줄씩 처리 def parallel_dataframe(df, func, num_cores): df_split = np.array_split(df, num_cor..

(실제 코드 결과로 작성, transcription factor binding site 데이터 이용) Dataframe에 새로운 column 작성하기 Dataframe의 column split 후 다른 column으로 저장하기 # df[열이름].str.split() 이용 Dataframe의 열 data를 split 후 다시 저장하기 Pandas explode 메소드 사용하기 (데이터프레임 열에 리스트로 저장된 데이터에서 리스트 요소를 행으로 추가하기) import pandas as pd f1 = pd.read_csv('test.txt', delimiter = '\t', names = ['1', '2', '3', '4', '5', '6', '7', '8', '9']) # 1~9로 열 이름 정해서 탭으로 분..