• 分享一款懒人必备的Python爬虫神器

    前言 今天把最近的一个应用做好了,测试了一下运行没有问题,剩下的就是检验一下结果如何.从光谱到Lab值通常使用matlab中的roo2lab(),不过经过我最近的测试发现转换的结果并不理想,而且这个转化的代码也不是我写的所以另寻他法,找到了下面这个网页。 动手 有了这个网页,很简单就想到去解析.然后很快找到了这个api,可以看到用post提交表单请求就可以返回结果 于是一番操作,修改form表单,构造传入的spectrum,但是最终请求得到的却是一个页面,并不是想要的json.然后许久没写爬虫的…

    Python开发, 技术干货 2022年10月12日
  • 常用 Shell 分析服务器日志命令,运维快收藏!

    自己的小网站跑在阿里云的 ECS 上面, 偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试! 1、查看有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数: grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面: awk '{++S[$1]} END {for (a in S) prin…

    Linux云计算, 技术干货 2022年10月11日
  • 几个必不可少的Linux运维脚本!

    一、根据PID过滤进程所有信息 #! /bin/bash # Function: 根据用户输入的PID,过滤出该PID所有的信息 read -p "请输入要查询的PID: " P n=`ps -aux| awk '$2~/^'$P'$/{print $11}'|wc -l` if [ $n -eq 0 ];then  echo "该PID不存在!!"  exit fi echo "--------------------------------" echo "进程PID: $P" echo "进…

    Linux云计算, 技术干货 2022年10月11日
  • Linux 性能分析工具汇总

    出于对Linux操作系统的兴趣,以及对底层知识的强烈欲望,因此整理了这篇文章。本文也可以作为检验基础知识的指标,另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识,网络知识和操作系统知识,文档中的工具,是不可能完全掌握的,另外对系统性能分析和优化是一个长期的系列。 本文档主要是结合Linux 大牛,Netflix 高级性能架构师 Brendan Gregg 更新 Linux 性能调优工具的博文,搜集Linux系统性能优化相关文章整理后的一篇综合性文章,主要是结合博文对涉及到的原理和性…

    Linux云计算, 技术干货 2022年10月10日
  • SSRF漏洞原理攻击与防御(超详细总结)

    提示:以下是本篇文章正文内容,下面案例可供参考 一、SSRF是什么? SSRF(Server-Side Request Forgery:服务器端请求伪造) 是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。 一般情况下,SSRF攻击的目标是从外网无法访问的内部系统。(正是因为它是由服务端发起的,所以它能够请求到与它相连而与外网隔离的内部系统) 二、SSRF漏洞原理 SSRF 形成的原因大都是由于服务端提供了从其他服务器应用获取数据的功能且没有对目标地址做过滤与限制。 比如,黑客操作服务端从指…

    技术干货, 网络安全 2022年10月9日
  • 详述 Golang 的符号表

    ℹ️ 本文基于 Go 1.13。 符号表是由编译器生成和维护的,保存了与程序相关的信息,如函数和全局变量。理解符号表能帮助我们更好地与之交互和利用它。 符号表 Go 编译的所有二进制文件默认内嵌了符号表。我们来举一个例子并研究它。下面是代码: var AppVersion string func main() {  fmt.Println(`Version: `+AppVersion) } 可以通过命令 nm 来展示符号表;下面是从 OSX 的结果中提取的部分信息: 00000000011772…

    go开发, 技术干货 2022年10月9日
  • 可落地的 8 种架构模式!

    什么是架构 我想这个问题,十个人回答得有十一个答案,因为另外的那一个是大家妥协的结果。哈哈,我理解,架构就是骨架,如下图所示: 人类的身体的支撑是主要由骨架来承担的,然后是其上的肌肉、神经、皮肤。架构对于软件的重要性不亚于骨架对人类身体的重要性。 什么是设计模式 这个问题我问过的面试者不下于数十次,回答五花八门,在我看来,模式就是经验,设计模式就是设计经验,有了这些经验,我们就能在特定情况下使用特定的设计、组合设计,这样可以大大节省我们的设计时间,提高工作效率。作为一个工作10年以上的老码农,经…

  • 来个查漏补缺!关于 Redis 都在这一篇里了

    Redis简介 Redis 是 C 语言开发的一个开源高性能键值对的内存数据库,可以用来做数据库、缓存、消息中间件等场景,是一种 NoSQL(not-only sql,非关系型数据库)的数据库。 Redis特点 优秀的性能,数据是存储在内存中,读写速度非常快,可支持并发10W QPS。 单线程但进程,是线程安全的,采用IO 多路复用制 可作为分布式锁 支持五种数据类型 支持数据持久化到磁盘 可以作为消息中间件使用,支持消息发布及订阅。 数据类型 下表是我列举的五种数据类型的特性及其使用场景 缓存…

  • 红队最常用的三大工具

    有人说,历史就像任人打扮的小姑娘,每次表演都唱同样的歌。网络安全也不能免俗,红队工具似乎总是能逃避检测,给蓝队制造麻烦。造成这种局面原因有很多,但有一点是决定性的,那就是:红队只需要做对一次,而蓝队每次都需要做对。 蓝队通常很难检测到红队的工具,这迫使蓝队需要与威胁狩猎团队坐下来共同研究如何查找和检测红队最常使用的工具——例如Cobalt Strike、Brute Ratel、Meterpreter和PowerShell Empire。 以下,我们逐一介绍红队最常用的三大工具: 红队工具一:Co…

    技术干货, 网络安全 2022年9月27日
  • 3种常用的 Web 会话管理方式

    http 是无状态的,即我们的一次请求结束后,下一次请求,服务端他并不知道是哪个用户发来的。 我们在业务开发中通常是不需要关注是哪个客户端发来的,更多的是关注是哪个用户发来的。 基于这个特点,我们在处理业务逻辑时,就得想方设法地在下一次请求时让服务端知道我是哪个用户。 为什么是下一次呢? 因为首先我们得先登录,才能告诉下一次请求是哪个,否则我们的很多业务就没法开展,这就是所谓的会话管理。 那我们在项目里通常是怎么去管理我们的会话呢? 下面介绍常用的三种方式: 一、基于 server 端 sess…

    go开发, 技术干货 2022年9月27日
历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、云原生、Go、Python开发专业人才培训机构!