파이썬・ML
Selenium, BeautifulSoup으로 무한스크롤 데이터 가져오기
무한스크롤은 스크롤이 뷰포트 하단에 도달할 때 서버에서 새 데이터를 불러오는 식으로 구현됩니다. 예를 들어보겠습니다. 현재 화면에는 5개의 컨텐츠가 보이는 상태입니다. 하지만 스크롤을 아래로 내리는 순간 로딩 스피너가 등장하고 컨텐츠 5개가 추가되었습니다. 무한스크롤 방식으로 새로운 데이터를 계속 불러오는 것입니다. 하지만 Selenium을 사용해 이런 식으로 추가되는 데이터를 가져오려면 어떻게 해야할까요? 초기 데이터 이후에 추가적인 데이터를 가져오려면 화면을 아래로 스크롤해 추가 데이터들이 화면에 렌더링 되도록 Selenium API를 사용해야 합니다. 여러 방법들이 존재하지만 대표적으로 while문을 사용해서 로직을 구현할 수 있습니다. 컨텐츠가 추가될 때마다 body 태그의 높이 또한 증가한다는 ..
