TY_IT💻

데이터 분석 과정(Data Analysis Process) 1. Goal Definition 객관적, 구체적으로 분석 대상 정의(=문제 정의) 해당 도메인에 대한 이해 해당 프로젝트에 대한 이해 2. Data Searching & Collecting 문제 정의 후 필요한 데이터 검색 데이터 수집 및 데이터 파악 3. Data Preparation 데이터의 noise를 제거하고 원하는 형태로 데이터를 변환하는 Data preprocessing(데이터 전처리 과정)포함 최종 모델을 만들기 위한 데이터 준비 단계 관련 데이터끼리 관계 설정 및 데이터 이해, 데이터 병합 4. Modeling 어떻게 모델 설계할지 구성 R, Python 등 이용해 머신러닝 알고리즘 등 다양한 알고리즘 적용 5. Evaluatio..

ahnty0122.tistory.com/37?category=454641 [환경설정] 윈도우(Windows)에 Tensorflow-gpu 설치(NVIDIA driver, CUDA Toolkit, cuDNN 설치) GPU를 이용해 모델을 학습시키면 학습 속도가 매우매우매우 빠르다. 그래서 딥러닝은 모델 GPU가 없으면 학습시키기 어려움. 근데 처음 딥러닝 모델 돌릴 때 나를 정말 애먹이던..^^ tensorflow-gpu 설 ahnty0122.tistory.com 앞선 글에 적어놓았던 nvidia driver 설치, cuda 설치, cudnn 설치를 완료한 후 진행하면 torch 설치는 아주 쉽다. 우선 cmd 켜서 cuda 버전 확인 nvcc --version cuda가 10.0이므로 그에 맞는 torc..

RNAi(RNA interference) siRNA(short interfering RNA)라 불리는 12~21 mer의 dsRNA에 의해 서열 특이적으로 유전자 발현이 억제되는 현상 --> RNA 간섭 gene silencing by RNAi RNA 간섭을 이용해 특정 유전자의 활성을 억제할 수 있음 표적 mRNA와 상보적 관계에 있는 이중가닥 RNA 를 세포에 도입하는 방법으로 억제 가능 단점: 효과가 일시적일 수 있으며, 다른 유전자 발현도 억제할 수 있음 siRNA(short interfering RNA) off-target effect 줄여서 design 해야함 Off-target effect siRNA를 이용한 RNAi의 부작용, 다른 유전자 발현도 억제되는 현상 https://www.ibri..

cmd에서 psql 명령어 사용 or SQL Shell 이용할 경우 \copy table_name to 'filename.csv' csv header pgAdmin4 이용할 경우 저장하고 싶은 schemas table 선택 후 Tools -> import/export

Join 1. 예시 데이터프레임 생성 import pandas as pd df = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3', 'K4', 'K5'], 'A': ['A0', 'A1', 'A2', 'A3', 'A4', 'A5']}) other = pd.DataFrame({'key': ['K0', 'K1', 'K2'], 'B': ['B0', 'B1', 'B2']}) 2. 열의 Index 지정해서 Join df.join(other, lsuffix = '_caller', rsuffix = '_other') 3. Key를 index로 지정해 Join df.set_index('key').join(other.set_index('key')) 4. join 메소드의 parameter ..

Workbench 연 후 +(new connection 생성) 클릭 connection hostname 에 ip주소 또는 url 주소, port 번호 입력하면 서버 접속 가능

웹 크롤링으로 href 태그의 값 가져오기 (HTML 파싱) import requests from bs4 import BeautifulSoup ftp.ensembl.org/pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ Index of /pub/current_regulation/homo_sapiens/RegulatoryFeatureActivity/ ftp.ensembl.org 이렇게 생긴 웹 형태에서 데이터 이름만 가져오는 웹 크롤링 실습. 1. requests 라이브러리를 이용해 url get 하기 import requests from bs4 import BeautifulSoup res = requests.get('http://ftp.en..

df.unique() 위의 데이터프레임은 cell_line에 대한 내 예시 데이터이다. 이제 이 cell_lien 데이터에서 유니크한 값을 찾아볼 것이다. 1. 데이터프레임에서 중복을 제거하지 않고 값 확인 cell_line = f['epigenomes_with_experimental_evidence'].values # values = df[컬럼명].values 위의 코드를 실행하면 array형태로 모든 값이 출력된다. 2. 데이터프레임에서 각 요소별로 몇개의 데이터가 있는지 확인 f['epigenomes_with_experimental_evidence'].value_counts() # df[컬럼명].value_counts() 3. 데이터프레임에서 중복을 제거하고 유니크한 값 확인 f['epigenome..