TY_IT💻

column에 NaN값이나 여러 type의 데이터가 섞여 있으면 이와 같은 경고가 발생한다. 이 때 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. pd.read_csv('[파일명].txt', delimiter = '\t', low_memory=False)

기존 데이터프레임 일부를 복사하거나 인덱싱 후 값을 수정할 때 종종 발생한다. 기존 데이터프레임을 가져와(복사) 다른 데이터프레임을 만들 때 원본을 수정할 지 복사본을 수정할 지 몰라서 발생하는 오류라고 한다. 두 가지 해결 방법이 있는데, 하나는 경고를 무시하는 것이고 하나는 copy를 사용하는 것! 1. 경고 무시 pd.set_option을 사용한 경고문 제거 # SettingWithCopyError --> 오류 raise 로 코드 실행 X pd.set_option('mode.chained_assignment', 'raise') # SettingWithCopyWarning --> 실행은 되지만 경고문 뜸 pd.set_option('mode.chained_assignment', 'warn') # err..

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

Join 1. 예시 데이터프레임 생성 import pandas as pd df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']}) other = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'B': ['B0', 'B1', 'B2']}) 2. 열의 Index 지정해서 Join df.join(other, lsuffix = '_caller', rsuffix = '_other') 3. Key를 index로 지정해 Join df.set_index('key').join(other.set_index('key')) 4. join 메소드의 parameter ..

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..

예시 데이터 프레임 import pandas as pd left = pd.DataFrame({ 'id':[1,2,3,4,5], 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5']}) right = pd.DataFrame( {'id':[1,2,3,4,5], 'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'subject_id':['sub2','sub4','sub3','sub6','sub5']}) 1. 두 개의 데이터프레임을 Key 기준으로 합치기 pd.merge(left,right,on='id') 2. 두 개의 데이터프레임을 m..

최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multiprocessing이 있다. 이번 포스팅은 multiprocessing 패키지를 이용해 cpu 코어 수만큼 병렬 처리하는 과정을 보여줄 예정이다. 1. CPU에 있는 코어의 수를 multiprocessing.cpu_count()를 이용해 확인 import multiprocessing as mp num_cores = mp.cpu_count() # cpu 코어 수 반환 2. Dataframe multiprocessing 데이터프레임 병렬 처리, 한 줄씩 처리 def parallel_dataframe(df, func, num_cores): df_split = np.array_split(df, num_cor..