马哥教育走访小米、新浪、百度调研,将一线技术落地课堂
大家好,我是张sir,原大众点评运维架构师、马哥教育联合创始人。
在2020年结尾,我收到在北京的老学员邀约,就去深入了解了下他们所在的几家一线互联网企业运维技术的发展方向。在通过对小米、新浪、百度的调研后,可以很明确的告诉小伙伴们,2021年,Linux运维人必须提升到SRE(站点可靠性工程师,下一代运维工程师的发展定位)为什么这么说?大家可以往下看!
疫情期间,进入小米需要邀请卡才能进入
总部一楼是个咖啡厅,很多工程师在此交流
因涉及到学员隐私,就不展示讨论的照片了。整体跟大家分享下小米团队运维团队明年的技术发展方向:
老学员目前是小米的主力工程师,SRE岗位,担任核心业务的整体运维工作,跟老学员聊了3个多小时,比较全面的了解到目前小米整体业务基本都构建在云上了,自有的机房占比不大,用金山云比较多(你懂得),小米的Linux运维工程师在内部都已经改名为SRE工程师,这也是目前行业的主流趋势,运维不光是部署应用,需要确保整个业务线的业务稳定性、资源使用的合理性、问题处理的高效性。
目前老学员所负责的业务已经迁移到K8s之上,正在做内部推广扩大。小米的很多业务都开始用语言go开发了。Go凭借高性能,被不少大厂所青睐。运维会Python和go都可以。目前小米也在研究Istio的发展方向。预计明年会落地。
概括五点:
一、SRE工程师已经是传统运维的职业发展方向
二、K8s已在大厂深入人心,已成为标配
三、大厂已经基本完成云化业务部署
四、Go语言在互联网公司会越来越吃香
五、Istio是下一代服务网格技术将得以重用
在会议室与老学员做了一上午技术交流
总结:小米的整体运维还是做得很不错的,有比较全面的运维体系和自动化工具,团队也是比较健壮,有负责业务层面的SRE,也有平台架构组专门做DevOps工具研发,想进大厂的同学们要加把油了,微服务、容器云、SRE、Devops已经是大厂的标配技术。
走访新浪总部技术调研
北京好冷,零下3度来到北京新浪-微博总部
新浪大厦占地非常大,大厅采用的白色体系
办公区域很开放,大厂基本都是这种布局
跟大家分享下新浪团队明年的技术发展方向:
新浪因为是老牌公司,业务线繁多,各个业务线的业务模型和标准不太一样。有些业务是在自建机房,有些是用的云体系。因为新浪团队发展时间比较长,整体上业务稳定性比较高。微博团队会辛苦点,主要是热搜闹得。
老学员交流中谈到,有些热爆的事件,确实需要扩容很多服务器,不然业务指标会很紧张。新浪这边常见的开源技术都能看到,如Nginx、Haproxy、Redis、Zabbix、Ansible等,从下方的招聘要求也能加以印证。
新浪这边运维和运维开发是一体化的,统称为SRE&Devops,运维需要保障业务,兼顾做一些系统开发,虽然都有上云,但是在云上还是需要做一些系统化的工具来实现高效管理的。
新浪目前核心业务板块在微博,整个微博技术团队还是非常强大的。保障性要求非常高。新浪的监控也用到很多,其中涉及到Prometheus、Grafana等,不少服务都在跑容器化、不少业务也跑到K8s上了。在很多公司,SRE岗偏业务层面多一些,Devops岗位偏运维系统开发多一点。
总结概括三点:
一、运维也要求开发技能,已经一体化
二、常见的开源软件基本都在用
三、运用多个云平台、实现多云化管理,在逐步实现K8s管理
交流了3个多小时后准备离开新浪赶往下一站
走访百度总部技术调研
百度大堂的slogan
百度的办公环境跟小米、新浪比起来如何
老学员的工位,苹果电脑是百度运维的标配
跟老学员交流中得知,百度技术实力其实还是非常强的,很多的系统和工具,基本都是自研的,像负载均衡、web服务、存储管理等基本都是自己开发的。但是这就会造成一个问题,管理成本太高。
因为公司都有人员流动性,核心项目团队人员变动后,新人很难接管自研的项目。所以目前百度也在逐步用一些开源的成熟的产品来做一些系统的替代。常见像Nginx、tomcat、ELK、Haproxy、Jenkins、Docker等开源应用还是非常灵活的。很多厂商选用后只需要做一些二次开发,就成为线上主要业务的核心技术支撑。
老学员在百度目前做的一个工作是容量化管理,就是要看各个业务线对资源的使用情况是否合理,如何更好的弹性收缩业务、快速扩容,**老学员平时用Python和go会去写一些管理工具和监控脚本;**比如百度地图在假期期间,个别景点的访问量是平时的好多倍。
如何更高效利用资源,服务治理、微服务管理,也是SRE人员需要考虑的,因为开发往往不关注和重视这些。资源随便申请,利用率低在互联网公司也是常态。**百度的运维岗位也完全变更为SRE岗位了。**除了业务线的正常业务支撑,可靠性的保障,还要关注业务线的资源使用率。包括开发团队申请的服务器都需要算钱,来核算成本。其实这样做也能体现出运维人员的价值:提高效率,为公司省钱!
总体概括四点:*
一、SRE工程师在大厂已经是标配
二、开源解决方案在大厂也有运用空间
三、运维人员不光是保障业务稳定,服务和资源治理在大厂也很重要
四、微服务、服务治理、Python、go是大厂工程师核心技术
调研总结及2021运维人必须掌握的:
通过调研发现,随着企业的从传统机房-->云计算-->多云容器微服务的业务跃迁,Linux运维工程师的工作也发生了很大的变化,工作重点从传统的跑机房,装服务已经慢慢迁移到了云平台及微服务、容器化的运作模式。
从百度、新浪、小米等一线大厂实际调研的技术应用及招聘需求可看出,在Linux运维领域,需要的人才已经偏向2条主线即:SRE(Site Reliability Engineer 网站可靠性工程师及DevOps(运维开发工程师)
Linux云计算架构师大厂SRE工程师薪资18-35K
SRE是什么?
说了这么多可能还有一部分朋友对SRE概念不是很了解,SRE(Site Reliability Engineering)即网站可靠性工程,SRE是软件工程师和系统管理员的结合,一个SRE工程师基本上需要掌握很多知识:编程能力,网络编程,分布式系统,可扩展架构,故障排除。SRE最早在十多年前Google提出并应用,近几年逐步在国内外TOP互联网公司都开始广泛应用。SRE这种用于IT运营的软件工程方法,也正逐渐成为主流方法。因此国内各大企业纷纷向SRE人才抛出了橄榄枝!
目前已经实现从Linux运维工程师(8-12K)-->Linux云计算工程师(12-18K)-->Linux云计算架构师及大厂SRE工程师(18-35K)全面进阶
另外一条线是Devops路线,从Linux运维工程师(8-12K)-->Linux云计算工程师(12-18K)-->Devops运维开发工程师(18-35K)高维跃迁
其中,像微服务配置中心及Apollo、分布式链路请求跟踪、微服务Dubbo分布式框架、指标采集、监控系统Prometheus与日志系统、Envoy集群管理、服务韧性与流量管理、可观测性和网格安全实战、Istio服务网格及应用、策略、遥测和网格安全为高薪必备模块,通过调研了解到,这些技术都是不少大厂明年即将上线的技术项目。从招聘需求来看,掌握这些后跳槽大厂,薪资至少要增长50%+以上。
此外,还新增了八大型互联网项目,包括:ceph分布式存储;k8s企业实战 ;腾讯/阿里云;jumpserver安全跳板机;分布式存储方案;OpenVPN;Devops技术;Jekins+Gitlab。
通过本次课程可以让学员从上到下实现全链路治理能力,可基于业务使用场景,深入优化提供最佳服务治理实践,推动提升服务的可靠性、可扩展性以及性能优化,保障系统SLA,具备实现中台基础架构的全面能力。
(K8s体系架构和关联模块)
学完后能不能找到好工作拿到理想的薪资?其实,从2009年至今,我们培养的学员已经成为或正在成长为国内众多相关公司的核心运维人员或管理人员,同时与马哥教育建立人才合作关系的企业达500+家,深度合作企业100+家。包括腾讯、百度、阿里、京东、美团点评、蚂蚁金服、唯品会、新浪、头条等国内知名互联网公司,优秀学员可直接享受海量内推岗位,让你拥有更多获得大厂的高薪offer机会!完全不用担心学完找不到工作这一难题!
而且在马哥你获取的不仅是技术,还有高端的人脉圈。
写在最后:在信息爆炸的时代,技术的发展可谓日新月异,技术人不仅要保持对技术对热情,也要不断努力提升自己,无论如何,从现在开始行动,前路慢慢,上下求索。
最后引用巴菲特说过的一句话:人应该尽可能投资“某项东西”,因为他的投资回报率最高,而且人人都可以直接上手。这项投资就是:你自己。