이번에는 카카오맵에서 검색되는 장소들의 메뉴 및 가격을 크롤링 해보려 합니다!! 여기서 얻어지는 데이터는 모두 개인 프로젝트 용으로만 이용하시길 바랍니다 셀레니움의 기본적인 사용법은 오른쪽 크롤링 탭의 글들을 참고하시기 바랍니다!! 메뉴 및 가격을 크롤링 하는 법도 다른 것과 별반 다르지 않습니다 다만 메뉴 및 가격을 담고 있는 곳의 HTML 코드가 어떻게 되나?? 가 다를 뿐입니다 처음에 오류들이 많이 떴었는데 카카오맵 메뉴 HTML 코드는 3가지로 분류된다는 것을 디버깅을 통해 알았습니다. 카카오맵 메뉴 HTML 코드 분류 1. menuonlyType 2. nophotoType 3. phothoType 장소마다 메뉴를 표현하고 있는 형식이 모두 다르기 때문에 위 3가지 경우 모두 탐색해서 결과가 있다..

카카오 맵 데이터를 크롤링하기 위해서는 selenium을 이용해서 동적으로 크롤링해야 합니다 기본적인 사항은 이전 selenium 크롤링 글을 참고하시면 됩니다! https://hoho325.tistory.com/265 파이썬 크롤링(crawling) :: selenium 이용하여 카카오맵 동적 크롤링 하기 - 1 크롤링을 하려다 보면 페이지 url로 하는게 아니라 동적으로 처리되는 경우가 있습니다 예를들어 다음 지도의 경우 주소는 다 그대로인데 아래의 내용들만 바뀝니다!! 예를들어 강남 스타벅스라 hoho325.tistory.com 크롤링하기 위한 순서는 다음과 같습니다 1. 검색 창을 찾아 검색어를 입력하고 검색버튼을 누른다 2. beautifulsoup로 parsing하여 검색된 장소 목록들을 가져..

이번에는 좀 더 동적으로 크롤링 하기 위한 방법을 알아보려 합니다 seleium을 이용해서 크롤링을 진행하려 합니다 https://hoho325.tistory.com/265 파이썬 크롤링(crawling) :: selenium 이용하여 카카오맵 동적 크롤링 하기 - 1 크롤링을 하려다 보면 페이지 url로 하는게 아니라 동적으로 처리되는 경우가 있습니다 예를들어 다음 지도의 경우 주소는 다 그대로인데 아래의 내용들만 바뀝니다!! 예를들어 강남 스타벅스라 hoho325.tistory.com selenium의 기초가 궁금하신 분들은 위의 글을 참고해주세요!! 이번에는 탭 전환을 하면서 검색하는 것을 해보려고 합니다 저번에는 검색해서 검색목록의 장소명을 가져오는 것 까지 했었는데요 이번에는 장소의 상세정보까지..

크롤링을 하려다 보면 페이지 url로 하는게 아니라 동적으로 처리되는 경우가 있습니다 예를들어 다음 지도의 경우 주소는 다 그대로인데 아래의 내용들만 바뀝니다!! 예를들어 강남 스타벅스라고 입려했지만 위의 주소는 그대로입니다!! 이런 경우 url로 크롤링을 할 수가 없어요 ㅠㅠㅠ 그래서 어떻게 장소 정보들을 크롤링 헤야하지... 하다가 말로만 듣던 selenium을 알게되었어요 selenium을 이용하면 동적 크롤링이 가능하답니다!! Selenium(셀레니움) 파이썬 크롤링 방법 우선 브라우저는 크롬을 이용할 겁니다 그래서 크롬 드라이버가 필요합니다 https://chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Ch..