【Python面试真题】- 分布式爬虫主要解决什么问题 ？ 1)ip 2)带宽 3）cpu 4）io

【Python面试真题】- scrapy和scrapy-redis有什么区别？为什么选择redis数据库？ 1) scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 2) 为什么选择redis数据库，因为redis支持主从同步，而且数据都是缓存在内存中…

【Python面试真题】- 常见的反爬虫和应对方法？ 1）.通过Headers反爬虫 从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者…

【Python面试真题】- 描述下scrapy框架运行的机制？ 从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：1. 如果提取出需要的数据，则交给管道文件处理;2. 如果提取出url，则继续执行之前的步骤(发送url请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。

【Python面试真题】- Django重定向你是如何实现的？用的什么状态码？ 使用HttpResponseRedirect redirect和reverse 状态码：302,301

【Python面试真题】- 迭代器和生成器的区别 ？ 　　1）迭代器是一个更抽象的概念，任何对象，如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象，使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数，iter()是Python的内置函数。iter()会返回一个定义了next()方法的迭代器对象，它在容器中逐个访问容器内元素，next()也是Python的内置函数。在没有后续元素时，next()会抛出一个S…

【Python面试真题】- 写爬虫是用多进程好?还是多线程好? 为什么? 　　IO密集型代码(文件处理、网络爬虫等)，多线程能够有效提升效率(单线程下有IO操作会进行IO等待，造成不必要的时间浪费，而开启多线程能在线程A等待时，自动切换到线程B，可以不浪费CPU的资源，从而能提升程序执行效率)。在实际的数据采集过程中，既考虑网速和响应的问题，也需要考虑自身机器的硬件情况，来设置多进程或多线程

【Python面试真题】- scrapy和scrapy-redis有什么区别？为什么选择redis数据库？ 　　1)scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。 　　2)为什么选择redis数据库，因为redis支持主从同步，而且数据都是缓存在内…

【Python面试真题】- Tornado 的核是什么 ？ Tornado 的核心是 ioloop 和 iostream 这两个模块，前者提供了一个高效的 I/O 事件循环，后者则封装了 一个无阻塞的 socket 。通过向 ioloop 中添加网络 I/O 事件，利用无阻塞的 socket ，再搭配相应的回调 函数，便可达到梦寐以求的高效异步执行。

【Python面试真题】- Django重定向你是如何实现的？用的什么状态码？ 使用HttpResponseRedirect redirect和reverse 状态码：302,301