web scraping

도구

• Scrapling
  • 단일 요청부터 대규모 크롤링까지 다루는 Python 기반 적응형 Web Scraping 프레임워크
  • 웹사이트 구조 변경을 학습해 CSS/XPath 선택자가 깨졌을 때도 요소를 다시 찾는 adaptive selection을 강조
  • Fetcher, StealthyFetcher, DynamicFetcher와 Spider 프레임워크를 제공하며 Cloudflare Turnstile 같은 안티봇 대응, 일시정지/재개, 프록시 로테이션, CLI, MCP 서버를 지원

Java Html Parser

• http://java-source.net/open-source/html-parsers
• CyberNeko HTML Parser : http://nekohtml.sourceforge.net/
• http://jtidy.sourceforge.net/