TY_IT💻

두 리스트가 있을 때 서로 중복되는 값을 제외한 값들을 보고 싶다면 set 자료형을 이용 a = [1, 2, 3, 4] b = [2, 3, 5, 6, 7] 2, 3이 겹치는 원소 [x for x in a if x not in set(b)]​ 순서를 보존해 차집합 출력 set(a) - set(b) 순서 보존 x 차집합 출력 리스트 차집합 a = ['abc', 'abcd', 'abcde'] b = ['bc', 'abc', 'abcd'] print([x for x in a if x not in b])

column에 NaN값이나 여러 type의 데이터가 섞여 있으면 이와 같은 경고가 발생한다. 이 때 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. pd.read_csv('[파일명].txt', delimiter = '\t', low_memory=False)

기존 데이터프레임 일부를 복사하거나 인덱싱 후 값을 수정할 때 종종 발생한다. 기존 데이터프레임을 가져와(복사) 다른 데이터프레임을 만들 때 원본을 수정할 지 복사본을 수정할 지 몰라서 발생하는 오류라고 한다. 두 가지 해결 방법이 있는데, 하나는 경고를 무시하는 것이고 하나는 copy를 사용하는 것! 1. 경고 무시 pd.set_option을 사용한 경고문 제거 # SettingWithCopyError --> 오류 raise 로 코드 실행 X pd.set_option('mode.chained_assignment', 'raise') # SettingWithCopyWarning --> 실행은 되지만 경고문 뜸 pd.set_option('mode.chained_assignment', 'warn') # err..

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

sum(리스트명, [])

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

import time import datetime start = time.time() ''' 함수내용 ''' sec = time.time() - start times = str(datetime.timedelta(seconds=sec)).split(".") times = times[0] print("Time: ", times)

sys 모듈을 이용해 상대경로 설정 가능 import sys sys.path.append('내경로') 위 코드가 들어가면 내 경로가 파일 실행 위치가 되고 다른 파일을 import 할 때 from ~ import ~를 사용해 상대경로로 불러올 수 있다. ex) parent 폴더에 child 폴더가 존재하고, child 폴더 안에 myfunc함수를 담은 example.py 있다면 import sys sys.path.append('C:/Parent') from child.example import myfunc 위처럼 myfunc함수를 상대경로로 불러올 수 있다. 상대경로로 작성하면 절대경로로 경로를 다 써주지 않고도 편하게 파일을 불러올 수 있지만, 파일 위치가 바뀐다거나 하면 불편해질 수 있다.