最全python爬虫面试笔试题

最全python爬虫面试笔试题

爬⾍和⽹络编程⾯试题
、动态加载⼜对及时性要求很⾼怎么处理？
Selenium+Phantomjs
尽量不使⽤ sleep ⽽使⽤ WebDriverWait
、分布式爬⾍主要解决什么问题？
（1）ip
（2）带宽
（3）cpu
（4）io
URL，即统⼀资源定位符，也就是我们说的⽹址，统⼀资源定位符是对可以从互联⽹上得到的资源的位置和访问⽅法的⼀种简洁的表⽰，是
互联⽹上标准资源的地址。互联⽹上的每个⽂件都有⼀个唯⼀的 URL，它包含的信息指出⽂件的位置以及浏览器应该怎么处理它。
Scrapy，Beautiful Soup， urllib，urllib2，requests
scrapy 是⼀个快速(fast)、⾼层次(high-level)的基于 python 的 web 爬⾍构架。
⽤来下载、并解析 web 页⾯, 其 parse->yield item->pipeline 流程是所有爬⾍的固有模式。
构造形式主要分spider.pypipeline.py item.py decorator.py middlewares.py setting.py。
……