TY_IT💻

column에 NaN값이나 여러 type의 데이터가 섞여 있으면 이와 같은 경고가 발생한다. 이 때 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. pd.read_csv('[파일명].txt', delimiter = '\t', low_memory=False)

기존 데이터프레임 일부를 복사하거나 인덱싱 후 값을 수정할 때 종종 발생한다. 기존 데이터프레임을 가져와(복사) 다른 데이터프레임을 만들 때 원본을 수정할 지 복사본을 수정할 지 몰라서 발생하는 오류라고 한다. 두 가지 해결 방법이 있는데, 하나는 경고를 무시하는 것이고 하나는 copy를 사용하는 것! 1. 경고 무시 pd.set_option을 사용한 경고문 제거 # SettingWithCopyError --> 오류 raise 로 코드 실행 X pd.set_option('mode.chained_assignment', 'raise') # SettingWithCopyWarning --> 실행은 되지만 경고문 뜸 pd.set_option('mode.chained_assignment', 'warn') # err..

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

import time import datetime start = time.time() ''' 함수내용 ''' sec = time.time() - start times = str(datetime.timedelta(seconds=sec)).split(".") times = times[0] print("Time: ", times)

cmd에서 psql 명령어 사용 or SQL Shell 이용할 경우 \copy table_name to 'filename.csv' csv header pgAdmin4 이용할 경우 저장하고 싶은 schemas table 선택 후 Tools -> import/export

Workbench 연 후 +(new connection 생성) 클릭 connection hostname 에 ip주소 또는 url 주소, port 번호 입력하면 서버 접속 가능

웹 크롤링으로 href 태그의 값 가져오기 (HTML 파싱) import requests from bs4 import BeautifulSoup ftp.ensembl.org/pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ Index of /pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ ftp.ensembl.org 이렇게 생긴 웹 형태에서 데이터 이름만 가져오는 웹 크롤링 실습. 1. requests 라이브러리를 이용해 url get 하기 import requests from bs4 import BeautifulSoup res = requests.get('http://ftp.en..

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..