最近在学爬虫时发现许多网站都有自己的反爬虫机制，这让我们没法直接对想要的数据进行爬取，于是了解这种反爬虫机制就会帮助我们找到解决方法。 常见的反爬虫机制有判别身份和IP限制两种，下面我们将一一来进行介绍。 (一) 判别身份 首先我们看一个例子，看看到底什么时候反爬虫。我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。 这是段简单的请求与网站连接并打印获取数据的代码，我们来看看它的运行结果。 我们可以发现我们什么数据都没有获取到，这就是由于…

前言 每个设计师、摄影师或有图片处理需求小编，都会面临批量高清大图的困扰。 因为高清大图放到网站上会严重拖慢加载速度，或是有的地方明确限制了图片大小，因此，为了完成工作，他们总是需要先把图片压缩，再上传。 当需要处理的图片多至十张、百张、千张，则严重影响工作效率。这时候，就可以交给Python啦！ 只需要20行Python代码，就可以批量帮你无损压缩数张照片。 一、项目思路 整个代码的实现思路其实很简单，首先，你需要安装Python中现成的图片处理模块，然后将图片打包好导入，用循环的方式自动化处…

最近小编遇到一个生存问题，女朋友让我给她翻译英文化妆品标签。美其名曰："程序猿每天英语开发,英文一定很好吧，来帮我翻译翻译化妆品成分"，”来，帮我看看这个面膜建议敷几分钟“。。。。看来斥巨资买化妆品不算完，还需要会各种英文介绍。 默默收起大学考的一摞429分的四级证书，我打开了IDE。。。我打算开发一个能批量翻译的图片的demo，把家里的各种化妆品都翻译好。机智如我，是不会自己从训练模型做起的，打开有道智云的友好的AI接口页面 ，果然有图片翻译服务，体验了一下可是真不错，于是果断使用。 效果展示…

Python 是一种脚本语言，相比 C/C++ 这样的编译语言，在效率和性能方面存在一些不足。但是，有很多时候，Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速运行的技巧进行整理。 0. 代码优化原则 本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细节之前，需要了解一些代码优化基本原则。 第一个基本原则是不要过早优化。很多人一开始写代码就奔着性能优化的目标，“让正确的程序更快要比让快速的程序正确容易得多”。因此，优化的前提是代码能正常工作。过早地…

用PyPI包管理工具安装python软件很方便，但你今后要三思而后行了。 当输入这样一句命令后： 你也许并未发现异常，仔细一看可能才会察觉自己刚刚手抖，把opencv输错了。 但此时安装命令已经开始运行了，因为openvc其实也是一个真实存在的软件包，不过却是个恶意软件包。 最近，安全公司Sonatype发现，很多恶意软件都伪装成常见的PyPI包，往往只差几个字母。 随着加密货币的火爆，黑客们开始把挖矿软件植入其中。如果用户手打pip安装命令手滑一下，自己的电脑就可能变成“矿机”。 PyPI里的…

在编程过程中，我们往往会遇到一个小麻烦——微软 Windows 系统在文件夹名之间使用反斜杠字符，而几乎所有其它的计算机（操作系统）都使用正斜杠： 这是由于上世纪 80 年代早期计算机历史上的一个小意外。「MS-DOS」的第一版使用了正斜杠字符来指定命令行选项。当微软在「MS-DOS 2.0」中加入了对文件夹的支持时，正斜杠字符已经被使用了，所以他们采用了反斜杠作为替代。35 年后，我们仍然被受困于这种不一致性。 如果你想让你的 Python 代码同时在 Windows 和 Mac/Linux …

开发项目的时，为了测试常需要造假数据，经常要尽量的模拟真实环境，通常要费大量手工而且造出来的数据，而且通常手工造出来的看起来也很别扭，费时又费事，有没有更好的办法？有，这里给大家介绍一个“专业造数“库Faker，满足你对模拟数据的所有需求。 项目开发初期，为了测试方便，我们总要造不少假数据到系统中，尽量模拟真实环境。比如要创建一批用户名，创建一段文本，电话号码，街道地址、IP地址等等。平时我们基本是键盘一顿乱敲，随便造个什么字符串出来，当然谁也不认识谁。现在你不要这样做了，用Faker就能满足你…

遵循最佳做法的代码库在当今世界能得到高度评价。如果您的项目是开源的，这会是一个吸引优秀开发人员的方式。作为开发人员，您想要编写高效且优化的代码： 占用尽可能小的内存、执行地更快、看起来整洁、文档正确、遵循标准风格指南，并且易于被新开发者理解。 这里讨论的实践可能有助于您为开源组织做出贡献，向在线评审（Online Judge）提交解决方案，使用机器学习处理大量数据处理问题，或开发自己的项目。 实践 1：尽量不要对内存置之不理 Python 内存管理器内部确保对这个专用堆的管理。当您创建对象时，P…

好不容易码了个 python 项目，是不是很兴奋？那么怎么把这个项目发出去让大家看到呢？本文作者写了一份在 GitHub 上发布 python 包的简单分步指南。 作者以 SciTime 项目（一个对算法训练时间进行估计的包）的发布为例，详细解释了发布的每个步骤。 注意：本文假设你在 GitHub 上已经有一个想要打包和发布的项目。 第 0 步：获取项目许可证 在做其他事之前，由于你的项目要开源，因此应该有一个许可证。获取哪种许可证取决于项目包的使用方式。开源项目中一些常见许可证有 MIT 或 …

我们都知道Python编程语言的流行程度。在大多数技术公司中，这种语言用于开发应用程序的后端部分。此外，这种语言广泛应用于数据科学、自动化等领域。Django是Python最流行的框架，现在很多应用程序都在使用它，这也是大多数开发人员和学生选择这种语言的原因。 Djangomake使您的代码干净、健壮和可伸缩。Django拥有优秀的文档，它使您的代码更加整洁和高效。Django提供了快速的开发和高度的安全性。Python程序员的薪水与日俱增，这也是Django开发人员需求量大的另一个原因。 学习…