[MySQL] BorkenPipeError

BorkenPipeError: [Errno 32] Broken pipe

멀티프로세싱을 이용한 병렬 프로그래밍으로 변경하자 MySQL BrokenPipeError가 발생하여 크롤러가 데이터를 수집 못하는 경우가 발생. 고작 이 정도로 문제가 발생하다니 난감.

max_allowed_packet의 사이즈를 늘린 후 며칠 동안 살펴보았지만 동일한 문제가 계속 발생.

다른 방법을 찾아본 결과 커넥션의 대기 시간이 길어지면 타임아웃으로 인해 다음 쿼리 때 끊어진 커넥션으로 인해 이러한 문제가 발생한다는 글을 찾음. 그럴거면 커넥션이 끊어졌다고 알려주지 왜 BrokenPipeError라고 하는지. 헷갈리게.

아무튼, mysql.connect 이후 conn.ping(reconnect=True) 문구를 추가함.

테스트 중.