TY_IT💻

5장. 관계 데이터 모델 관계 데이터 모델의 개념 관계 데이터 모델의 제약 관계 데이터 모델의 개념 개념적 구조를 논리적 구조로 표현하는 논리적 데이터 모델 하나의 개체에 대한 데이터를 하나의 릴레이션에 저장 (관계 데이터 모델은 다중 값 속성 가질 수 없다.) 고객 릴레이션의 차수는 6, 카디널리티는 4 관계 데이터 모델의 기본 용어 릴레이션(relation) 2차원 테이블 구조로 저장한 것 파일 관리 시스템 관점에서 파일(file)에 대응 속성(attribute) 릴레이션의 열 = 애트리뷰트 파일 관리 시스템 관점에서 필드(field)에 대응 투플(tuple) 릴레이션의 행 파일 관리 시스템 관점에서 레코드(record)에 대응 도메인(domain) 하나의 속성이 가질 수 있는 모든 값의 집합 속성 ..

column에 NaN값이나 여러 type의 데이터가 섞여 있으면 이와 같은 경고가 발생한다. 이 때 경고 메시지가 알려주는 대로 dtype option으로 타입을 명시해주거나 low_memory = False로 지정해 주면 경고 메시지가 출력되지 않는다. pd.read_csv('[파일명].txt', delimiter = '\t', low_memory=False)

기존 데이터프레임 일부를 복사하거나 인덱싱 후 값을 수정할 때 종종 발생한다. 기존 데이터프레임을 가져와(복사) 다른 데이터프레임을 만들 때 원본을 수정할 지 복사본을 수정할 지 몰라서 발생하는 오류라고 한다. 두 가지 해결 방법이 있는데, 하나는 경고를 무시하는 것이고 하나는 copy를 사용하는 것! 1. 경고 무시 pd.set_option을 사용한 경고문 제거 # SettingWithCopyError --> 오류 raise 로 코드 실행 X pd.set_option('mode.chained_assignment', 'raise') # SettingWithCopyWarning --> 실행은 되지만 경고문 뜸 pd.set_option('mode.chained_assignment', 'warn') # err..

Pandas concat vs append vs join vs merge Concat gives the flexibility to join based on the axis( all rows or all columns) Append is the specific case(axis=0, join='outer') of concat Join is based on the indexes (set by set_index) on how variable =['left','right','inner','couter'] Merge is based on any particular column each of the two dataframes, this columns are variables on like 'left_on', 'ri..

순차 데이터를 어떻게 순환 신경망을 통해 처리하는지 알아보자. 기억 시스템 만약 시리 같은 개인 비서의 경우 올바른 대답을 하려면 입력을 받을 때마다 그 내용을 기억해야 한다. 반대로 이전 입력을 기억하지 않는 시스템은 무기억 시스템이라 한다. 얕은 신경망(Shallow Neural Network)이 무기억 시스템의 예시 n번째 Time-Step에 대한 결과가 이전 입력에 영향 받지 않는다. 기본적인 순환 신경망 (Vanilla Recurrent Network) Vanilla RNN의 구조는 shallow NN 구조에 '순환(recurrent)'이 추가된 것이다. 순환: n-1번째 time step이 n번째 time step으로 다시 돌아오는 것 기억 시스템이므로 RNN의 출력은 이전의 모든 입력에 영향..

순환 신경망은 입력이나 출력을 순차 데이터로 뽑기 위한 신경망이다. 따라서 순차 데이터(Sequential Data)에 대한 이해가 필요하다. 순차데이터란? 순서가 달라질 경우 의미가 손상되는 데이터, 즉 순서가 의미있는 데이터 시간적 의미가 있는 경우 temporal sequence 일정한 시간차라면 time series ex) DNA 염기 서열(sequential data), 기온 변화(temporal sequence), 샘플링된 소리 신호(time series) ※ Resampling (보간 + 샘플링) Temporal Sequence 신호를 Time Series로 변환하기 위해 신호를 보간(interpolation)하고 이를 균일 시간 간격으로 sampling 한다. 순차 데이터와 심층 신경망 순..

df.drop_duplicates() df 전체의 중복 제거도 할 수 있지만, 열 끼리 중복 제거도 가능하다. 위의 데이터는 pert_iname이라는 열에 중복된 데이터들이 많이 있는데, 여기서 df.drop_duplicates()로 distinct한 값은 몇 개인지 확인할 수 있다. 원래 13553개의 데이터가 중복값을 제외하면 6798개라는 것을 알 수 있다. 다른 방법으로 df.value_counts() 를 이용하면 distinct한 값을 찾아주면서 몇 개가 중복되어있는지 확인할 수 있다.

일대다, 다대다 관계 1:다 관계 한쪽 테이블에는 하나의 값만 존재하고, 그 값만 대응되는 다른 쪽 테이블의 값은 여러 개인 관계 EX) 학생 테이블과 점수 테이블, 직원 테이블과 월급 테이블 다:다 관계 한 학생은 여러 개의 동아리에 가입할 수 있고, 한 동아리에는 여러 학생이 가입할 수 있어 학생 테이블과 동아리 테이블은 다대다 관계임. 다대다 관계의 경우 연결 테이블과 두 테이블이 일대다 관계를 맺도록 구성 EX) 학생 테이블, 학생_동아리 테이블(학생테이블과 동아리테이블의 연결 테이블), 동아리 테이블 학생 테이블, 학생_동아리 테이블, 동아리 테이블 생성하는 쿼리문 -- 학생 테이블 drop table if exists stdtbl; create table stdtbl( stdname varch..