最近在学爬虫时发现许多网站都有自己的反爬虫机制，这让我们没法直接对想要的数据进行爬取，于是了解这种反爬虫机制就会帮助我们找到解决方法。 常见的反爬虫机制有判别身份和IP限制两种，下面我们将一一来进行介绍。 (一) 判别身份 首先我们看一个例子，看看到底什么时候反爬虫。我们还是以 豆瓣电影榜top250(https://movie.douban.com/top250) 为例。 这是段简单的请求与网站连接并打印获取数据的代码，我们来看看它的运行结果。 我们可以发现我们什么数据都没有获取到，这就是由于…

无论是开源还是闭源，没有绝对安全的操作系统。 一夕间，多款操作系统被爆存在安全漏洞，其中包括开发者最为常用的 Windows 和 Linux 操作系统也未能幸免。有研究人员发现，通过漏洞，黑客或恶意软件可绕过 Windows 和 Linux 系统的安全限制，并获得管理员级别的权限，造成设备内部的敏感/隐私资源泄露。 Windows 被“攻破” ？ 事情要从 7 月 20 日一位名为 Jonas Lykkegaard 发布的一则 Twitter 说起，其在帖子中指出，“由于某种原因，在 Windo…

准备 关于容器日志 Docker的日志分为两类，一类是Docker引擎日志；另一类是容器日志。引擎日志一般都交给了系统日志，不同的操作系统会放在不同的位置。本文主要介绍容器日志，容器日志可以理解是运行在容器内部的应用输出的日志，默认情况下，docker logs显示当前运行的容器的日志信息，内容包含 STOUT（标准输出）和STDERR（标准错误输出）。日志都会以json-file的格式存储于 /var/lib/docker/containers/<容器id>/<容器id&gt…

无论是系统运维，还是应用运维，均可分为“纯手工”—> “脚本化”—> “自动化”—>“智能化”几个阶段，其中自动化阶段，主要是将一些重复性人工操作和运维经验封装为程序或脚本，一方面避免重复性操作及风险，另一方面提高执行效率。 在自动化运维的转变过程中，经常使用的可能就是shell脚本了。 Shell介于Linux系统内核与用户之间，相当于系统与用户间的桥梁，负责解析输入的命令和输出的二进制码。另外，shell也属于一种程序设计语言，为用户提供操作机器的交互接口，使用户输入的命令…

本篇文章介绍kubernetes的一些基础概念，也整理出了pdf版本，需要的下拉至文末领取。 目录：  1 、pod 概念 自主式POD：不是被控制器管理的pod。一旦死亡就不会再重生 控制器管理的POD：就是被控制器所管理的POD。 1、自主式POD的基础概念 容器会共用pause的网络栈，也就是说这两个容器就没有他的独立地址了他们都是共同使用pause的地址、共用他的存储卷 Pause 网络栈共享：首先我们要定义一个 POD，就会先启动第一个容器，只要运行一个POD这个容器就会被启动、这个容…

在需要私有化部署的系统中，大部分系统仅提供系统本身的业务功能，例如用户管理、财务管理、客户管理等。但是系统本身仍然需要进行日志的采集、应用指标的收集，例如请求速率、主机磁盘、内存使用量的收集等。同时方便的分布式系统日志的查看、指标的监控和告警也是系统稳定运行的一个重要保证。 为了使得私有化部署的系统能更健壮，同时不增加额外的部署运维工作量，本文提出了一种基于 ELK 的开箱即用的日志和指标收集方案。 背景 在当前的项目中，我们已经使用了 Elasticsearch 作为业务的数据储存，同时利用 …

前言 每个设计师、摄影师或有图片处理需求小编，都会面临批量高清大图的困扰。 因为高清大图放到网站上会严重拖慢加载速度，或是有的地方明确限制了图片大小，因此，为了完成工作，他们总是需要先把图片压缩，再上传。 当需要处理的图片多至十张、百张、千张，则严重影响工作效率。这时候，就可以交给Python啦！ 只需要20行Python代码，就可以批量帮你无损压缩数张照片。 一、项目思路 整个代码的实现思路其实很简单，首先，你需要安装Python中现成的图片处理模块，然后将图片打包好导入，用循环的方式自动化处…

背景 Redis 不管主从版还是集群规格，replica作为备库不对外提供服务，只有在发生HA的时候，replica提升为master后才承担读写流量。这种架构读写请求都在master上完成，一致性较高，但性能受到master数量的限制。经常有用户数据较少，但因为流量或者并发太高而不得不升级到更大的集群规格。 为满足读多写少的业务场景，最大化节约用户成本，云数据库Redis版推出了读写分离规格，为用户提供透明、高可用、高性能、高灵活的读写分离服务 架构 Redis集群模式有redis-proxy…

Docker的空间隔离使用的是namespace(空间)，它是内核提供的一种空间隔离，在一个空间下，每个进程看到的视图是一致的，相应的如果不在一个空间下看到资源视图是不一致的，举个例子，如果两个进程在同一个网络命令空间下，那么他们看到的网络信息(网卡、IP、路由等)是一样的，可以通过localhost的方式互相访问。常用的有6种namespace，在Linux 内核4.6之后又添加了Cgroup这namespace，5.6 之后又添加了时钟namespace。 这里有个小细节，上面表格创建Mou…

最近小编遇到一个生存问题，女朋友让我给她翻译英文化妆品标签。美其名曰："程序猿每天英语开发,英文一定很好吧，来帮我翻译翻译化妆品成分"，”来，帮我看看这个面膜建议敷几分钟“。。。。看来斥巨资买化妆品不算完，还需要会各种英文介绍。 默默收起大学考的一摞429分的四级证书，我打开了IDE。。。我打算开发一个能批量翻译的图片的demo，把家里的各种化妆品都翻译好。机智如我，是不会自己从训练模型做起的，打开有道智云的友好的AI接口页面 ，果然有图片翻译服务，体验了一下可是真不错，于是果断使用。 效果展示…