[Crawling] 사이트에 로그인하여 크롤링하기

 

 

 

 

 

https://news.v.daum.net/v/20190728165812603

일론머스크 "테슬라에서 넷플릭스·유튜브 즐길 날 온다"

 

위의 사이트에서 댓글의 개수를 얻어오려고 한다.

 

지난 시간에 배운것을 가지고 시도해본다.

 

 

그러나 200 에러가 뜨며 실패한다... 

이는 댓글수가 다른 페이지에서 로딩이 되어 오며 오는 정보이기 때문에 다른 방법으로 얻어내야 한다.

 

 

---

 

해당 페이지의 네트워크를 살펴보면 저 곳에서 내가 원하는 댓글의 개수가 날아오고 있음을 알 수 있다.

 

 

다시 헤더부분을 살펴보면

위의 url에서 댓글의 개수를 받아온다.

고로 위 url을 사용하자.

 

 

그러나 다른 에러가 뜬다... 

Full authentication이 필요하다는 에러인데 이는 request 메시지를 보낼 때

필요한 데이터들을 함께 보내줘야 한다는 것이다.

 

 

 

헤더구성을 저렇게 한 다음 다시 보내게 되면 정상적으로 받을 수 있다 :)

 

 

 

---

 

 

마이페이지의 데이터와 같이 로그인 후에 얻어올 수 있는 정보는

session을 이용하면 된다.

 

요런식으로 session을 열어놓고 해당 session 객체를 이용하여 post 후 get을 사용하면 된다.

 

 

 

 

 

위의 내용은 fastcampus 강의 수강 후 정리했습니다.