NUA의 개발공부로그

python으로 requests와 bs4 모듈을 이용하여 웹크롤링할 때에

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('ICY 401 Service Unavailable\r\n'))

라는 에러메세지가 뜰 때가 있었다.

대략 찾아보기로는 프록시 서버에 접속 요청을 보낼 때 생기는 것 같은데 해결책은 간단하다.

pip install fake-useragent

로 fake-useragent 모듈을 설치하고,

from fake_useragent import UserAgent


ua = UserAgent()
url = "주소"
headers = {'User-Agent' : ua.random}

r = requests.get(url, headers=headers)

이러한 식으로 headers에 random한 user-agent 값을 넣어서 보내면 정상적으로 실행된다.