Python网络爬虫

书名：Python网络爬虫
作者：龚卫，郭嗣鑫主编
ISBN：978-7-121-46851-3
出版社：电子工业出版社
出版日期：2024.07
本教材是一门基于工作过程开发出来的学习领域教材，主要讲解了爬取静态网页、爬取动态网页、爬取APP数据、反爬虫策略及解决办法、爬虫优化策略，面向不同工作场景，划分为若干个学习情境，内容由浅入深，囊括了目前行业爬取数据的全部主流技术。第一部分是爬取静态网页，由三个学习情境讲述：使用Requests+BeautifulSoup4+CSV，使用Mechanize+BeautifulSoup4+CSV，使用Scrapy+XPath+MySQL爬取数据。第二部分是爬取动态网页，使用两个学习情境描述：使用Scrapy+JSON+MySQL使用Selenium+PhantomJS爬取数据。第三部分是爬取APP数据由使用Fiddler+Requests爬取新闻类APP接口数据描述。第四部分反爬虫策略及解决办法。由常见反爬虫策略及解决办法，处理输入式验证码校验讲述。第五部分是爬虫优化策略，讲述了Scrapy+Redis分布式爬取数据。