最近在学爬虫时发现许多网站都有自己的反爬虫机制，这让我们没法直接对想要的数据进行爬取，于是了解这种反爬虫机制就会帮助我们找到解决方法。 常见的反爬虫机制有判别身份和IP限制两种，下面我们将一一来进行介绍。 (一) 判别身份 首先我们看一个例子，看看到底什么时候反爬虫。我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。 这是段简单的请求与网站连接并打印获取数据的代码，我们来看看它的运行结果。 我们可以发现我们什么数据都没有获取到，这就是由于…

在Python中包含了四种数据结构，分别是元组、列表、集合、字典。本文章先学习下Python的元组该如何使用。参考了相关的资料，元组经过初始化后就不能再修改了。和列表声明相类似，只不过元组使用了小括号将元素组装起来。 元组的声明 使用小括号构建元素。注意：元组可以将不同的数据类型整合到一起，比如下面的第三条数据中就是将字符、数字、布尔类型的数据放到一起。 元组的访问 可以使用下标对元组进行访问，注意下标可以访问多个元素，也可访问一个元素。还要注意下标不要越界。 元组的操作 元组一旦声明好后，就不…

今天马哥教育要跟大家分享的文章是Python编程如何用文件保存游戏（2）？我们上节课学习了用文件保存游戏(1)，我们已经可以从文件中读取游戏成绩的数据了，这节课我们该考虑，如何把我们每次游戏的结果保存进去。Python入门新手和正在Python学习的小伙伴快来看一看吧，希望能够对大家有所帮助 ！ 这样有来有往，才能玩的开心呀!所以，接下来我们就来学习吧： 首先，我们需要有一个变量来记录每次游戏所用的轮数： times = 0 然后在游戏每进行一轮的时候，累加这个变量： times += 1 当游…

今天马哥教育要跟大家分享的文章是一个Python小白如何快速完成爬虫？很人或多或少都听说过Python爬虫，但不知道如何通过Python爬虫来爬取自己想要的内容，Python入门新手和正在Python学习的小伙伴快来看一看吧，希望能够对大家有所帮助 ！ 环境搭建 既然用Python，那么自然少不了语言环境。于是乎到官网下载了3.5版本的。安装完之后，随机选择了一个编辑器叫PyCharm，话说Python编辑器还真挺多的。 建好项目，打开编辑器，直接开工。搜一个HTML解析工具，人家都做的那种，这…

欢迎大家来到Python自学教程教室，上节课我们了解了Git的工作流，这节课我们将带大家学习文件状态的相关内容，你准备好了吗? 在第4课的最后，我们用以下两条命令： git add readme.txt git commit -m 'my first commit' 向我们新建的git仓库中添加了对readme.txt文件的版本控制。现在，我们要试图对仓库中的文件进行一些改动，同时观察它们的状态变化，以此实践上节课中说的git工作流。 首先，在命令行的本地仓库工作目录下执行命令： git sta…

欢迎大家来到自学Python教程教室，上一讲我们学习Python的Python 中一个比较有意思的内置函数 reduce，这节课我们来了解Python中多线程的相关内容，来看看吧： 很多人使用 Python 编写“爬虫”程序，抓取网上的数据。 举个例子，通过豆瓣的 API 抓取 30 部影片的信息： import urllib, time time_start = time.time() data = [] for i in range(30): print 'request movie:', …

同学们！我们上节课学习了用文件保存游戏(1)，我们已经可以从文件中读取游戏成绩的数据了，这节课我们该考虑，如何把我们每次游戏的结果保存进去，这样有来有往，才能玩的开心呀!所以，接下来我们就来学习吧： 首先，我们需要有一个变量来记录每次游戏所用的轮数： times = 0 然后在游戏每进行一轮的时候，累加这个变量： times += 1 当游戏结束后，我们要把这个变量的值，也就是本次游戏的数据，添加到我们的记录中。 如果是第一次玩，或者本次的轮数比最小轮数还少，就记录本次成绩为最小轮数： if g…

【Python面试真题】-Python是如何进行类型转换的？ 1 函数 描述 2 int(x [,base ]) 将x转换为一个整数 3 long(x [,base ]) 将x转换为一个长整数 4 float(x ) 将x转换到一个浮点数 5 complex(real [,imag ]) 创建一个复数 6 str(x ) 将对象 x 转换为字符串 7 repr(x ) 将对象 x 转换为表达式字符串 8 eval(str ) 用来计算在字符串中的有效Python表达式,并返回一个对象 9 tup…

介绍一个在GitHub上看到的通用的Python爬虫，难度不大，是一个蛮好玩的点，顺便总结一下Python爬虫的一些需要注意的点。先上链接：github源码 1. 项目简介 大家可以看一下这个网站 https://github.com/trending 随时关注最新的技术动向，永远是一个程序员应该做到的，但我们不能做到每天去查看，于是就诞生了这个repo（更正为原作者写了这个repo），我们将爬虫挂在Linux服务器上，定期爬取并且推送到自己的repo上，只要有时间，就可以看到之前的所有热门项目…

本文转载自简书，由马哥教育Python运维班3期学员推荐，原文作者为志朋，经小编编辑而成，如有漏洞，欢迎指正，并最后致谢作者的辛苦付出。 知乎是一个真实的网络问答社区，社区氛围友好与理性，连接各行各业的精英。用户分享着彼此的专业知识、经验和见解，为中文互联网源源不断地提供高质量的信息。与此同时，知乎也是由Python开发而成，有许多的Python爱好者都愿意用知乎做一些爬虫实验。 下面我们来看看Pythoner志朋的爬虫实验。 一、使用的技术栈： 爬虫：Python27 +requests+js…