TY_IT💻

sys 모듈을 이용해 상대경로 설정 가능 import sys sys.path.append('내경로') 위 코드가 들어가면 내 경로가 파일 실행 위치가 되고 다른 파일을 import 할 때 from ~ import ~를 사용해 상대경로로 불러올 수 있다. ex) parent 폴더에 child 폴더가 존재하고, child 폴더 안에 myfunc함수를 담은 example.py 있다면 import sys sys.path.append('C:/Parent') from child.example import myfunc 위처럼 myfunc함수를 상대경로로 불러올 수 있다. 상대경로로 작성하면 절대경로로 경로를 다 써주지 않고도 편하게 파일을 불러올 수 있지만, 파일 위치가 바뀐다거나 하면 불편해질 수 있다.

Join 1. 예시 데이터프레임 생성 import pandas as pd df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']}) other = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'B': ['B0', 'B1', 'B2']}) 2. 열의 Index 지정해서 Join df.join(other, lsuffix = '_caller', rsuffix = '_other') 3. Key를 index로 지정해 Join df.set_index('key').join(other.set_index('key')) 4. join 메소드의 parameter ..

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..

How to check NaN in Pandas Dataframe null 값 확인 df.isnull() isnull(df) null 아닌 값 확인 df.notnull() notnull(df) 1. 예시 dataframe 생성 import pandas as pd import numpy as np dates = pd.date_range("20130101", periods=6) df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list("ABCD")) 2. null 값 추가하기 'NaN' 혹은 None을 통해 null값을 임의로 추가할 수 있다. df['A'][1] = 'NaN' df['B'][2] = None df['C'][2] = 'NaN' d..

대용량 데이터 처리를 할 때, 병렬처리를 이용하면 연산 속도를 줄일 수 있다. 딥러닝 프레임워크인 tensorflow나 pytorch 등의 경우 학습 과정에서 병렬처리 기능을 제공하지만, python의 경우 따로 기능을 제공하지 않는다. 이 때 python의 multiprocessing 라이브러리를 이용할 수 있다. 1. 함수 인자가 1개인 경우 병렬처리 multiprocessing 라이브러리의 pool.map을 이용하면 병렬처리를 할 수 있다. https://ahnty0122.tistory.com/12 [Python] 파이썬 multiprocessing package로 데이터프레임병렬 처리하기 최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multipr..

예시 데이터 프레임 import pandas as pd left = pd.DataFrame({ 'id':[1,2,3,4,5], 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5']}) right = pd.DataFrame( {'id':[1,2,3,4,5], 'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'subject_id':['sub2','sub4','sub3','sub6','sub5']}) 1. 두 개의 데이터프레임을 Key 기준으로 합치기 pd.merge(left,right,on='id') 2. 두 개의 데이터프레임을 m..

최근 대규모 데이터로 병렬처리가 많이 중요해졌다. 그리고 파이썬에는 병렬처리를 제공하는 패키지인 multiprocessing이 있다. 이번 포스팅은 multiprocessing 패키지를 이용해 cpu 코어 수만큼 병렬 처리하는 과정을 보여줄 예정이다. 1. CPU에 있는 코어의 수를 multiprocessing.cpu_count()를 이용해 확인 import multiprocessing as mp num_cores = mp.cpu_count() # cpu 코어 수 반환 2. Dataframe multiprocessing 데이터프레임 병렬 처리, 한 줄씩 처리 def parallel_dataframe(df, func, num_cores): df_split = np.array_split(df, num_cor..

전에 올렸던 TFBS(Transcription Factor Binding Site) data에 start, end를 이용해 (시작, 종결 코돈) 염기서열을 추가해 보았다. 앙상블에서 제공하는 api 이용 rest.ensembl.org/documentation/info/sequence_region Ensembl Rest API - GET sequence/region/:species/:region Returns the genomic sequence of the specified region of the given species. Supports feature masking and expand options. rest.ensembl.org import requests, sys import pandas as p..