[에러 해결] pandas to.csv() 사용 시 'OSError: [Errno 27] File too large' 에러

 

to.csv()를 통해 write하려는 DataFrame의 크기가 너무 클 때, 'OSError: [Errno 27] File too large' 에러가 발생할 수 있다.

 

관련 Github Issue를 참조하여, 해결 방법을 찾았다.

알고 보니 해결법은 간단했다. 너무 큰 사이즈의 DataFrame을 n개로 분할해서 write하면 된다.

n = 10000
df_list = [df[i:i+n] for i in range(0, df.shape[0], n)]

df_list[0].to_csv("OUTPUT_FILE.csv", index=False)
for l in df_list[1:]:
    l.to_csv("OUTPUT_FILE.csv", index=False, header=False, mode='a')