导读:本篇文章首席CTO笔记来给大家介绍有关产品经理和大数据分析师哪个前景好点的相关内容,希望对大家有所帮助,一起来看看吧。
数据分析师这个职业的前景如何?女生做数据分析师会不会很累呢?
女生做数据分析师会很累,下面详细说一下!
做数据分析通常有两种方式:一是对算法进行深入研究,然后进行数据挖掘;二是对业务进行深入了解,然后进行业务。
说实话,我并不相信数据分析本身。为什么不呢?让我们从数据分析的分解开始。大多数数据分析将花费50%的时间记录数据,40%的时间与产品经理沟通:做AB实验和效应回归,10%的时间做探索性分析。现在处于数据分析岗位的位置,可以跳出来说不。
但这些工作中的大多数实际上是可替换的机械工作。读写SQL取号这个工作是一项脏活、累活,人可以取号,雇一个做了五年数据分析的和一个刚毕业的数据分析写SQL的基本没有区别。只是一开始可能不是100%准确。探索性分析是数据分析应该做的工作,但我知道大多数企业数据分析现在还没有做。探索性分析通常需要强大的技术技能或良好的业务知识,这两者都可以使探索性项目有价值。最后,技术过硬的后来基本上都去做算法数据挖掘了,因为他们发现在数据分析这个岗位上因为不断的需求扼杀了人的意志。这些人会没事的,因为过去只做数据挖掘的人,他们大部分都破产了。但事实证明,数据分析对商业更加敏感。
业务优秀的做业务的产品经理,因为原来业务能力很强,数据意识也很强,但需要跟着业务走的不强,数据不强的他背后听命令,谁能受得了呢。而他们自己的数据和业务的结合可以带来更大的价值。所以做数据分析的业务人员通常比普通的产品经理更好。
那么,回到数据分析师的未来何去何从的问题上。在我看来,数据分析本身的发展前景并不是很好。但是有了数据分析的经验,如果我走算法和业务两个方向,未来的发展不会太糟。
大数据分析师这个职业怎么样?
近期成为月入两万的数据分析师的广告遍地都是,可能会对一些未入行的同学造成错觉。我个人感觉数据分析师这个岗位,可能近几年会消亡。
这不意味着这份工作本身不重要,而是说这份工作本身可能会转化为产品运营的一些必备技能,而不再需要单独特设人力去做这件事。或者说,不是再需要你学习SQL或者学习python,只是为了成为一名数据分析师。作为一名数据分析师,职业自身的壁垒正在不断消减,更加主动的拥抱业务,解决真正的产品和用户需求,或将成为未来的发展趋势。
数据分析师的日常工作
我们来看下预设中的分析师的一些工作场景,看看数据分析师核心的工作价值。
取数
数据清洗
数据可视化
统计分析
数据方向建设和规划
数据报告
取数 — SQL
很多人对数据分析师的预设是SQL达人,包括现在很多数据分析师的核心工作其实就是进行SQL取数。
这项工作的痛点和难点在于,我们为了得到一个结果,通常需要join很多的数据集,然后整个SQL语句就会写的特别长,而且可能会出现一些问题:比如join的表可能会出现key是重复的情况,造成最终的SQL结果因为重复而变得不可用。所以我们需要专人去专门维护各种各样的数据集,他们知道每张表应该怎么用。
但这个其实是关系型数据库遗留下来的产物——我们完全可以不需要join那么多的表。现在的分布式计算的框架,已经完全可以支持我们只保留一张大宽表,有需要的所有字段,然后所有的操作都在这张大宽表上进行,而且可以保证查询速度。这样数据分析最大的痛点已经没有了。至于你说大宽表里面存了很多重复的数据,是不是很浪费资源(关系型数据库之所以不用大宽表就是从存储空间和性能的trade-off角度考虑的):放心,分布式存储本身是不贵的,而计算效率则是由分布式计算框架进行专门优化的。现在的计算框架计算的响应速度,已经可以在大宽表上可以很快的得到结果了。相比之下,多次join操作反而可能会更慢一些。
同时,现在很多公司的NB框架,其实都已经支持拖拽取数了,也根本不需要写SQL了。
此外,不得不说的一点是,SQL语句本身真的不难。可能如果你自己静下心来想学,一个周末的时间肯定能搞定。而资历老的数据分析师,并不会比资历轻的数据分析师,在SQL语句的写作上有什么本质的区别。以前可能还有一些小表join大表的trick,但现在计算框架大多都已经优化过这些了。所以即使是需要写SQL的场景,本身也是没有什么难度的。
所以,通过大宽表来解放数据分析工作的生产力。即使在一定要写SQL做join操作的时候,本身也不是一件壁垒特别高的事情。取数这件事儿,对于其他岗位的同学,就已经没那么复杂了。
数据清洗 — Python
数据清洗其实是很多强调python进行数据分析课程中,python部分的主要卖点。包括但不限于,怎么处理异常值,怎么从一些原始的数据中,得到我们想要的数据。
在日常产品需求过程中,这种需求的场景其实很小。因为数据大部分都是自己产生的,很少会出现没有预设到的极端值或者异常情况。如果有的话,一般就是生产数据的同学代码写的有bug,这种发现了之后修复代码bug就行。
数据清洗在工作场景的应用在于落表——就是把原始数据变成上面提到的,可以通过SQL提取的hive表。这个工作是需要懂代码的同学去支持的,他们负责数据的产出,包括数据的准确性,数据的延时性(不能太晚产出)等等。前文提到的生成大宽表,其实也可以是他们的工作。这其中就涉及到一些代码的效率优化问题,这个就不是简单懂一点python可以搞定的了,可能涉及到一些数据压缩格式的转化,比如Json/Proto buffer到hive表的转化,还有一些计算框架层面的调优,比如spark设置什么样的参数,以及怎么样存储可以更好的提升查询速度。
所以这部分工作一般是由懂代码的同学完成的。可能数据团队会有比较少数的同学,管理支持全公司的基础表的生成。
数据可视化 — Tableau
很多之前在数据分析做实习的同学,主要的工作内容就是在一个商业化的软件(比如Tableau)上,做一些统计报表。这样可以通过这些数据报表,可以很方便的查看到所属业务的一些关键指标。这些商业软件通常都比较难用,比如可能需要先预计算一下才能输出结果;而且不太好做自定义功能的开发。稍微复杂一点的需求场景,可能就需要一个专门的同学捣鼓一阵,才能输出最终的统计报表。
现在有更先进的套路了。
首先可视化。很多公司打通了前端和后端的数据,这样就可以通过网页查询原始的数据库得到数据结果。而现在很多优秀的前端可视化插件,已经可以提供非常丰富的统计图形的支持。而且因为代码是开源的,可以根据公司的需求场景进行针对性的开发,公司可以再辅以配置一些更加用户友好的操作界面,这样一些复杂需求也有了简单拖拽实现的可能。而且这些前端js代码都是免费的!对于公司来说也能省去一笔商业公司的采买成本。
其次很多商业软件,都是针对小数据集场景设计的。在一些大数据集的场景,一般需要先预计算一些中间表。而如果自己公司定制化开发的前端展示结果,就可以根据需要自主设置计算逻辑和配置计算资源,先在后端进行预计算,前端最终只是作为一个结果展示模块,把结果展示和需要的预计算进行解耦。这样就省去了很多中间表的产出,也会更加快速的得到想要的业务指标,快速迭代。
所以可视化数据的工作量也会大大减少。而且会变成一个人人都可以操作,快速得到结果的场景。
统计分析
对于一名数据分析师而言,统计学分析可能是一块知识性的壁垒。尤其是在现在ab实验成为互联网公司迭代标配的今天。需要把实验设计的那套理论应用起来:比如ab实验进行后的显著性检验,多少样本量的数据才能让这个结论有效可信呢。
但是,你我都知道,经典的统计分析其实是一个非常套路性的工作。其实就是套公式,对应到代码层面,可能也就一两行就搞定了。这个代码的统计分析结果可以作为ab平台的指标展示在最终的ab结果上,大家看一眼就能明白。即使是对那些可能不知道显著性是什么意思的人,你可以跟他简单说,显著了才有效,不显著就别管。
这么一想是不是其实不怎么需要投入额外的人力进行分析?
其他数据相关的工作
数据层面的规划和设计。移动互联网刚刚兴起的时候,可能那时候数据分析师需要对每一个数据怎么来设计一套方案,包括原始的埋点怎么样,又要怎么统计出想要的结果。但现在大部分已经过了快速迭代的时代了,新产品的埋点添加可以参考老产品,这就意味着形成套路了。而一旦形成套路,其实就意味着可以通过程序直接完成或者辅助完成。
数据报告。那就真的是一件人人都能做的事情了,试想谁没在大学期间做过数据报告呢?以前只是因为数据都是从分析师产出的,而如果人人都能取到数据的话,数据报告是不是也不是一个真需求呢?
在我看来,数据分析师这个岗位的天花板和其他岗位相比起来是比较低的。可能工作一两年之后,从岗位本身就已经学不到什么额外的工作知识了。主要的工作内容技术含量不是特别高,技能性的更多的是一些可以简单上手的东西,而且做的时间长了,在这些技能性的事情上得到的积累并不是很多。
数据分析师更像是一个在时代变迁过程中的一个中间岗位:我们从一个基本没有数据的时代,突然进入了一个数据极大丰富的时代,在这个过程中,我们都知道重视数据。那怎么能够利用这个数据呢?可能之前的那一帮人并没有太多的经验,于是老板就招一些人专门来研究一下它,同时做一些底层数据的优化。
经过多年的迭代,现在互联网行业的每个人都知道数据的价值,也大概知道了什么样的数据是重要的,怎样可以更好的挖掘数据背后的价值。同时底层的基础设施也已经支持可以让一个之前没有经验的同学可以快速的上手得到自己想要的关键数据。这时候对于一个职业数据分析师来说,他的任务就已经完成了。就如同当人人都会讲英语的时候,翻译其实也就没有存在的价值了。
此后的数据分析工作,可能不再是一些单独的人做的工作。它会变成一个产品和运营的基础工具,而且足够简单,没有取数的门槛。只是产品运营怎么样可以更好的认识数据,通过数据本身更好的配合产品运营的工作,这已经超脱我们一般理解的数据分析师的工作了,而是一个产品运营分内的工作。
对于那些已经在从事数据分析师岗位的同学来说,建议不要把心思全部投入到数据分析的本职工作上,以完成任务为核心KPI。而是不要给自己设置边界,多从用户的角度思考问题,不要因为是产品运营的工作就不去做了。数据分析师这个职业发展到这个阶段,要么做更加底层的数据建设,要么拥抱业务,最大化的发掘数据背后背后的价值。不要再死守着数据分析的“固有技能”沾沾自喜了。
数据本身的价值是无穷的,作为数据分析师,你们已经先人一步的掌握它了,要有先发优势。你们最接近数据的人,是最可能发现用户的宝藏的人。
大数据分析行业前景如何?
全文统计口径说明:1)搜索关键词:大数据及与之相近似或相关关键词;2)搜索范围:标题、摘要和权利说明;3)筛选条件:简单同族申请去重、法律状态为实质审查、授权、PCT国际公布、PCT进入指定国(指定期),简单同族申请去重是按照受理局进行统计。4)统计截止日期:2021年9月17日。5)若有特殊统计口径会在图表下方备注。
1、全球大数据技术区域竞争格局
(1)技术来源国分布:中国及美国大数据专利量占比超过全球的70%
截止2021年9月17日,全球大数据第一大技术来源国为中国,其大数据专利申请量达到254887项,占全球大数据专利总申请量的38.55%;其次是美国,美国大数据专利申请量占全球大数据专利总申请量的34.01%,二者合计占比超过70%。日本和韩国虽然排名第三和第四,但是与排名第一的中国及排名第二的美国专利申请量差距均较大。
统计说明:①按每件申请显示一个公开文本的去重规则进行统计,并选择公开日最新的文本计算。②按照专利优先权国家进行统计,若无优先权,则按照受理局国家计算。如果有多个优先权国家,则按照最早优先权国家计算。
(2)专利申请趋势:中国专利申请量高速攀升,2015年后稳居全球第一
从整体趋势上看,2012-2020年,中国与美国大数据专利申请数量遥遥领先。2015年以前美国大数据专利数量在中国之上,但在205年后被中国反超,且中国专利申请量持续增加,远远超过全球其他国家。2020年,中国大数据专利申请量高达55412项,美国大数据专利申请量下降至9353项。
日本、韩国以及欧洲大数据专利申请量呈现“你追我赶”的态势,三者每年度专利申请量差距不大。2020年,日本、韩国及欧洲专利局的大数据专利申请数量分别为1033、4043和416项。
统计说明:①按每件申请显示一个公开文本的去重规则进行统计,并选择公开日最新的文本计算。②按照专利优先权国家进行统计,若无优先权,则按照受理局国家计算。如果有多个优先权国家,则按照最早优先权国家计算。
(3)中国区域专利申请分布:北京及广东专利申请数在国内遥遥领先
在中国的所有省市当中,北京和广东为中国当前申请大数据专利数量最多的省份,当前大数据专利申请数量累计分别高达44224项和43149项。江苏、上海、浙江、山东累计申请大数据专利数量均超过10000项。中国当前申请省(市、自治区)大数据专利数量排名前十的省份还有四川、湖北、河南和安徽。
统计口径说明:按照专利申请人提交的地址统计。
2010-2020年期间,中国主要省份大数据专利申请量的整体变化趋势基本一致,均呈波动上涨的走势。北京和广东的大数据专利申请量逐年攀升,遥遥领先于其他省份,且广东省自2017年起逐渐超过北京,2020年申请量已突破10000项。
江苏省大数据专利申请数量也保持高速上涨的走势,2020年已超过5000项。其他各省在2010-2020年的大数据专利申请量差距不大。
统计口径说明:按照专利申请人提交的地址统计。
2、全球大数据技术申请人竞争格局
(1)专利申请人集中度:市场集中度不高,CR10波动下降
2010-2020年,全球大数据专利申请人CR10呈现先下降后提升的趋势,但整体由2010年的13.32%波动下降至2020年的10.13%,2021年全球大数据专利集中度同比有较大幅度的提升,达到12.32%。
整体来看,全球大数据专利申请人集中度较低,且整体有所下降,但近两年恢复上升趋势,预计未来随着全球大数据产业的快速发展,龙头效应凸显,集中度将快速提升。
统计口径说明:市场集中度——CR10为申请总量排名前10位的申请人的专利申请量占该领域专利申请总量的比例(其中,有联合申请时,专利数量不会被去重计算)。
(2)TOP10专利申请人
——总量及趋势:三星电子累计申请居全球第一,但近两年腾讯科技后来居上
从申请人的专利申请数量排名来看,截止2021年9月17日,三星电子累计申请大数据专利数量达8548项,远远高于全球其他公司。全球申请大数据专利数超过5000项的还有国际商业机器公司与腾讯科技公司,分别为7541项和5756项。
其中,中国有三家公司入围全球大数据专利申请量排名前十企业,分别为腾讯科技、国家电网与华为前十,且均居于前五。
注:未剔除联合申请数量。
2010-2020年,全球专利申请人申请数量前十的企业,专利申请量的波动都较为明显,且除腾讯科技之外,其他企业申请量近两年均有明显下降。专利累计申请排名全球第一的三星电子公司,2016-2019年专利申请数量保持高速增长,但2020年有所下降,2020年下跌至1106项。
近两年,大数据专利申请量增速最为明显的是中国的腾讯科技,其大数据专利申请量从2019年的557项大幅提升至2662项,同比增长377.92%,成为全球大数据专利申请量第一的企业。
——专利技术分布:各企业技术布局重点各有不同
目前,从整体上来看,全球大数据行业专利申请数量TOP10申请人技术主要布局在G06F17与H04L12细分领域。
从企业的技术布局来看,各企业的技术侧重点均有所差异。全球专利累计申请量最多的三星电子主要布局的技术分类号分别为H04W72,中国的腾讯科技重点布局的技术领域为G06F16与G06K9。
(3)市场价值最高TOP10专利的申请人:苹果公司名列第一,前十大专利市场价值均超千万
全球大数据前十大市场价值最高的专利中,以苹果公司申请的“Periodic channel state information reporting for time division duplex (TDD) carrier aggregation systems”专利的市场价值最高,达到1532万美元。排名前十的大数据专利中,其市场价值均超过千万美元,且各大专利的市场价值差距相对较小。
注:最有价值的专利是指该技术领域内具有最高专利价值的简单同族。当前统计口径按每组简单同族一个专利代表的去重规则进行统计,并选择同族中有专利价值的任意一件专利进行显示。
(4)专利申请新进入者:三大新进入者均为中国企业
2021年,全球大数据行业中,新进入者有三家,均为中国企业,可见中国大数据行业的成长空间巨大。新华三与支付宝的专利申请量逐年增加,2020年分别达到224项和194项;平安人寿的大数据专利申请量波动变化,2020年为162项。
新进入者定义:仅在过去5年内才提交专利申请的申请人。
—— 更多行业相关数据请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》
数据分析师的前途何在?
数据分析是干什么的?
在企业里收集数据、计算数据、提供数据给其他部门使用的。
数据分析有什么用?
从工作流程的角度看,至少有5类分析经常做:
工作开始前策划型分析:要分析一下哪些事情值得的做
工作开始前预测型分析:预测一下目前走势,预计效果
工作中的监控型分析:监控指标走势,发现问题
工作中的原因型分析:分析问题原因,找到对策
工作后的复盘型分析:积累经验,总结教训
那数据分析是什么的?
数据分析大体上分3步:
1:获取数据。通过埋点获取用户行为数据,通过数据同步,打通内部各系统数据。以及做数仓建设,存储数据。
2:计算数据。根据分析要求,提取所需要的数据,计算数据,做表。
3:解释数据。解读数据含义,推导出一些对业务有用的结论。
那么数据分析师主要做以上三点的工作吗?
并不全是,这个在不同企业,情况不一样。如果公司规模大的话,获取数据经常是数据开发组完成的,他们的职位一般是“数据开发工程师”或者“大数据工程师”。解释数据则是运营自己写ppt做解读,留给“数据分析师”的,其实就是中间的计算数据的一步。
有些公司(一般是做电商的),数据是直接从淘宝、天猫、亚马逊等平台导出的,然后基于这些数据做分析。有些公司(一般是传统企业),数据是直接用的大型的BI产品,然后所有人基于BI产品导出数据分析有些公司规模很小,就直接一个小组从数据埋点到数仓到提数全干了。
现在大数据分析的发展前景怎么样?
随着大数据技术在各行各业应用的越来越广,数据驱动智能产品和精细化运营已经成为企业经营的制胜法宝,相应地,数据分析师这个岗位也越来越受到关注,越来越多的小伙伴也转行做数据分析,因为大家不仅看到的是未来数据分析的发展前景,而且数据分析师的薪资待遇也很不错!
岗位缺口大,就业薪资高,而且这个岗位对学历的要求不是特别高,对经验的要求也不算严格,从而数据分析师,在大数据时代,迎来了黄金就业期。
通过搜索BOSS直聘和领英,发现其上面有上有10万+个数据分析师职位空缺,其中绝大部分是互联网行业的需求。值得注意的是,虽然国内现有很多数据分析师员工,但其数量占比依旧很少,职位空缺却占到了市场的50%之多。大多数热门岗位都会在招聘JD中,给出“具备数据分析能力”这样的招聘条件。
2019年全国大数据人才需求是2015年的12倍,从数据可以看出,2020年乃至未来,数据分析师将是职业发展的一个重要方向。
从销售、市场,到运营、产品经理、用户研究等,都试图从各种繁杂数据中看出点门道,获得对市场、产品、消费者等方面的洞见。
结语:以上就是首席CTO笔记为大家整理的关于产品经理和大数据分析师哪个前景好点的全部内容了,感谢您花时间阅读本站内容,希望对您有所帮助,更多关于产品经理和大数据分析师哪个前景好点的相关内容别忘了在本站进行查找喔。