一直想做一个从爬虫到数据处理，到API部署，再到小程序展示的一条龙项目，最近抽了些时间，实现了一个关于知乎热榜的，今天就来分享一下！ 由于代码还没有完全整理好，今天只给出一个大致的思路和部分代码，最终的详细代码可以关注后续的文章！ 数据爬取 首先我们看下需要爬取的知乎热榜 https://www.zhihu.com/billboard 这个热榜可以返回50条热榜数据，而这些数据都是通过页面的一个 JavaScript 返回的 于是我们就可以通过解析这段 JS 代码来获取对应数据 url='htt…

一．什么是命名实体识别 二．基于NLTK的命名实体识别 三．基于Stanford的NER 四．【实战案例】医学糖尿病数据命名实体识别 一 、什么是命名实体识别？ 命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：（1）实体边界识别；（2） 确定实体类别（人名、地名、机构名或其他）。 命名实体识别通常是知识挖掘、信息抽取的第一步，被广泛应用在自然语言处理领域。接…

随着大数据时代的到来，我们每天都在接触爬虫相关的事情，这其中就不得不提及Python这门编程语言。我已经使用Python编程有多年了，即使今天我仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年来的经历让我学到了很多的小技巧和知识，大多数是通过阅读很流行的开源软件，如Django, Flask,Requests中获得的。 1. 字典推导(Dictionary comprehensions)和集合推导(Set comprehensions) 大多数的Python程序员都知道且…

万事开头难，首先Python机器学习整个流程的第一步就是学习Python这门编程语言的相关基础知识。 第一步：基本 Python 技能 如果要使用 Python 进行机器学习，拥有对 Python 有基础的理解非常关键。幸运的是，Python 是当前普遍使用的流行语言，并纳入了科学计算和机器学习的内容，所以找到入门教程并不困难。在选择起点时，很大程度上要取决于你之前的 Python 经验和编程经验。 这里推荐几本python入门必读书籍： 别再说你不知道怎么学习Python了,13本书给你安排的…

学习一门新的语言之前，首先简单了解下这门语言的背景。Python 是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于 1989 年发明，第一个公开发行版发行于 1991 年。 Python 在设计上坚持了清晰划一的风格，这使得 Python 成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。Python 具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块(尤其是 C/C++)很轻松地联结在一起。 Python 技术浪潮 IT…

如果您已经使用了任何编程语言很长一段时间，您就会发现您想要的东西跟它原有的是不同的。Python对我来说是真的是这样。如果可以的话，对于Python中很多的我想要改的东西，我有很多的想法。现在我向您讲述其中一个：类定义的语法。 但是，让我们先从定义函数的语法开始。它有一个非常好的特性：函数定义看起来像它们相应的函数调用。函数定义如下： def func_name(arg1, arg2): 当您调用该函数时，您使用类似的语法：函数名称和括号中以逗号分隔的参数列表： x = func_name(12…

问题的起源 早些时候使用with实现了一版全局进程锁，希望实现以下效果： 全局进程锁本身不用多说，大部分都依靠外部的缓存来实现的，redis上用的是setnx，有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力。 当时同样写了单元测试来测试这段代码的有效性： 看起来非常完美地通过了。 这样的一个全局进程锁是通过__enter__方法抛出异常, __exit__方法中捕获异常来实现的: 看起来还不错，毕竟单元测试都过了。 但是，这样的实现是有问题的： 原因在于__exit__ 的执行…

1.车牌检测和识别项目介绍 车牌的检测和识别的应用非常广泛，比如交通违章车牌追踪，小区或地下车库门禁。在对车牌识别和检测的过程中，因为车牌往往是规整的矩形，长宽比相对固定，色调纹理相对固定，常用的方法有：基于形状、基于色调、基于纹理、基于文字特征等方法，近年来随着深度学习的发展也会使用目标检测的一些深度学习方法。该项目主要的流程如下图所示： 1.输入原始图片，通过二值化，边缘检测，和基于色调的颜色微调等办法检测出原图中的车牌号的位置；2.把检测到的车牌(ROI)裁剪，为车牌号的识别做准备；3.基…

问题的起源 早些时候使用with实现了一版全局进程锁，希望实现以下效果： 全局进程锁本身不用多说，大部分都依靠外部的缓存来实现的，redis上用的是setnx，有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力。 当时同样写了单元测试来测试这段代码的有效性： 看起来非常完美地通过了。 这样的一个全局进程锁是通过__enter__方法抛出异常, __exit__方法中捕获异常来实现的: 看起来还不错，毕竟单元测试都过了。 但是，这样的实现是有问题的： 原因在于__exit__ 的执行…

Python虽然是一门比较好入门的语言，相较于其他语言来说是一门比较简单的语言。不过有一个很重要的问题就是，即使Python 语言的很多方法不用手打都已经被封装，可以Python初学者还是要学习很多东西。下面我结合了一些经常用到的NumPy基础知识送给大家。 基础知识 NumPy 主要的运算对象为同质的多维数组，即由同一类型元素(一般是数字)组成的表格，且所有元素通过正整数元组进行索引。在 NumPy 中，维度 (dimension) 也被称之为轴线(axes)。 比如坐标点 [1, 2, 1]…