[Linux] 대용량 파일 분할하기 (split 사용)

대용량 데이터베이스에서 파일을 받거나, 대용량 파일을 사용하는 경우 파일을 분할하는 것이 좋다.

csv파일도 가능하고, 파일 확장명이 없는 파일 등 모든 파일에 대해 가능하다.

 

1. 파일 사이즈로 분할

# 100kb 단위로 분할
split -b 100k [파일명]

# 100mb 단위로 분할
split -b 100m [파일명]

2. 특정 라인 수로 분할

# 10000줄 단위로 분할
split -l 10000 [파일명]

# 1000000줄 단위로 분할
split -l 1000000 [파일명]