크롤링
-
크롤러 만들기: session 처리 필요한 경우파이썬 2021. 7. 21. 19:01
크롤링을 하다 보면 cookies = { '_ga': 'GA1.1.1~~~~~~', 'csrf_cookie': 'hgjieofj92ejodijfsdf2323kb39', 'sessionid': 'hgjieofj92ejodijfsdf2323kb39', ~~ } 처럼 sessionid 라는 값을 보내야만 데이터를 받을 수 있는 사이트 들이 있다. 이런 경우는 대부분 로그인 을 한 후, 해당 서버의 session id 값으로 진행을 하기 때문에 일반적인 request 호출을 해서는 해당 session id 값을 알기가 어렵다. 파이썬에서 해당 session을 사용하는 방법은 다음과 같다. import requests # Session 생성 s = requests.Session() # 여기서 부터 requests..