导读:今天首席CTO笔记来给各位分享关于大数据和cv哪个火的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
2020年人工智能落地发展趋势
作者 | 网络大数据
来源 | raincent_com
转眼间,2019年只剩下不到两个月了。人工智能的热度依旧,只是在资本市场,看空的投资人也越来越多了。从当年大数据的发展趋势看,这种情况反而对产业发展是有利的。因为这意味着,进入赛道的野蛮竞争玩家会越来越少。
对于已经拿到赛道入场券的选手来说,如何合理配置手中的资源成为生死存亡的关键,同时细分市场上的领头羊可能在这样焦灼的市场竞争中成长为独角兽。
对于从事大数据与人工智能相关领域多年的人来说,其最终目标还是“从数据中挖掘价值”。在挖掘价值时,具体某类技术只是整个过程中某个阶段的辅助工具,单纯某类技术解决不了所有问题。因此,我们基于“最终目标”划分三大类场景去运用“大数据”和“人工智能”构建整体解决方案:
一、寻找业务增长点:数据建模能力成为核心,当前Fintech/Regtech领域需求广泛
核心要素:帮助企业解决经营决策中遇到的数据支撑问题。无论是营销还是风控,最终都是通过一些报表、模型去辅助业务人员做决策。 解决方案:机器学习类产品已经成为金融行业寻求业务增长点的标配工具,同时越来越多的传统行业也开始使用大数据、人工智能等技术做辅助决策。 解决方案难点:由于跟业务结合紧密,虽然已经在不同行业开始落地,但实际进展缓慢。由于业务的特殊性,往往不能够单单通过算法本身去解决所有业务问题。这同时也意味着,交付目标以及实施周期的不确定性。
二、加深业务壁垒:知识中枢成为重要工具,当前金融/安全等行业试点较多
核心要素:对现有业务实现优化。 解决方案:在这一场景中,知识中枢运用较多。我们将三大块技术:知识图谱、搜索引擎、深度图谱糅合进知识中枢的概念中。首先通过搜索引擎进行行业知识检索,再通过知识图谱进行概念串联,最后通过深度图谱进行行业知识推理。 解决方案难点:如何将行业知识抽象出来,形成公司内部的知识系统,从而有针对性地对现有业务流程、具体业务点进行整体优化。
三、降低业务成本:自动化成为基础要素,当前能源/交通等行业突破开始
核心要素:如何减少人工干预。 解决方案:现有的场景中,偏业务性质的自动化可以通过RPA等技术实现。RPA本身技术门槛不高,但在NLP、OCR、CV等AI技术带领下,已逐步被用在越来越多的场景中。另一方面,由于图像识别以及5G、边缘计算的推动,越来越多的安防监控、无人巡检等AIOT场景开始落地。相对于RPA,AIOT的场景给客户业务带来的颠覆跟价值更大。 解决方案难点:现实场景中的有效样本较少,影响模型的准确率和落地。
下面我们将结合三种不同的场景来阐述六大AI趋势。
趋势一:Fintech/Regtech AI落地过程中,AI平台逐步成为事实标准
AI平台,在很多地方又称为AI中台/数据科学平台/机器学习平台/人工智能平台,主要涵盖的功能除了传统统计分析软件包含的功能以外,还包括大数据、分布式计算平台、NLP、CV等能力。
行业先行者在探索AI落地过程中,逐步意识到AI平台的重要性。从一开始只针对几个小的业务线进行试点,到后续在更多的场景中推动落地,大家达成共识:与数据中台类似,烟囱式的各自为政只会使得后续AI的落地愈加艰难。
AI平台在Fintech市场的爆发,验证了一个基本事实:只要业务领域有足够通用的需求,就会出现足够通用的平台。数据库本身是上一个数据的事实标准,而AI平台则没有一个明确的定位。由于这个想象空间,AI平台便成了各大玩家的必争之地。
趋势二:数据建模开始在非金融行业的龙头企业流行,国产化趋势明显
AI平台在其他行业的试点也如同星星之火。虽然其他传统行业的信息化水平普遍比金融略低,但也在迎头赶上。往往这些行业取得的成果比金融要多,这是因为满地都是顺手可摘的果子,成果落地比金融行业相对容易。
这些企业原本可能使用的是SAS、SPSS或者Matlab等国外产品,现在可能在试用国产AI平台。一方面是因为SAS等产品不足以支撑最新流行的框架算法,另一方面也有国产化层面的考量。
AI平台作为人工智能基础平台,本身需要对各领域专业算法具备深入理解以及实现的能力。同时作为平台,也有通用性、高性能以及安全可靠等各方面的平台需求,对相关研发人员有极高的技术要求。当前,国产平台跟SAS等比较,整体还是略占劣势,但是在某些细分领域已经实现了超越。
趋势三:图谱应用开始在全行业推广,伪需求略多,注意辨别
图谱类的应用,主要对应于上面提到的“知识中枢”。基于“知识中枢”去做特定行业的图谱类应用已经在市场上流行了一段时间。
只是,一方面由于客户对这块有不切实际的要求,另一方面,大多数实施图谱应用的厂商能力参差不齐,实际项目也没办法最终落地。
2020年对大多数图谱类应用,客户会有一个更清醒的认识:做什么它擅长,做什么它不行,应该怎样做,都会有一定的经验。这也对图谱应用有更高的技术层面的要求,同时也对NLP算法以及图谱算法有更多落地层面的考量,包括性能、实施周期、最终效果等。
趋势四:深度图谱在反欺诈、反洗钱、犯罪团伙分析等场景开始落地
由于深度学习自身相关技术的停滞,将深度学习与图谱结合成为了学术界的主攻方向。而在反欺诈、反洗钱、犯罪团队分析等场景下,复杂网络分析已经成为主流的分析手段。通过深度学习与图谱的融合,深度图谱给传统的图谱分析带来了图谱推理的能力,从而将原有的模型精度提升到另一个高度。
然而,一旦涉及到落地,故事并没有那么简单。一方面,同大多数AI应用一样,落地过程是比较曲折和复杂的。本身模型精度需要不断迭代,同时也需要对业务非常熟悉的人员进行及时反馈,这就导致对业务跟算法的要求都非常高,一旦实施过程中出现偏差,容易有挫败感。另外,在一些对实时性要求比较高的场景中,对底层图数据库的性能也有要求。而当前的市场上,图数据库厂商虽然多,但大多数时候没有懂技术的人员去调优,使得真正能同时满足性能要求和算法要求的图数据库凤毛麟角。
趋势五:视频图像类应用的碎片化与场景化成为AI快速落地推广的拦路虎
CV类场景是引爆AI大火的导火索,同时,由于大多图像场景偏识别类,跟业务离得比较远,可以大规模地在市场上扩张。
不过,我们可以惊奇地看到,CV类的需求还在不停地膨胀。这是因为,当前市场的CV巨头在人脸、车辆等通用需求方面进行了大规模落地,而对于一些偏碎片化的场景,比如设备故障识别、异常识别,甚至特殊场景的人脸识别,都缺乏足够的技术支撑与耐心去推动落地。
因此,怎样提升CV场景落地的效率成为大多数CV从业者的主要工作方向,这里面包括多个维度:第一,从科研层面去革新算法,第二,从工具层面去落实标注、训练、部署等的一体化平台,第三,从市场角度定义行业通用化的场景,第四,从技术角度去优化模型,从而降低实施成本。
在这个大背景下,四大CV独角兽也好,互联网巨头也好,都试图去推动平台的落地。然而,在这样的“四维”要求下,要踏踏实实地在细分场景中打磨通用模型、平台,谈何容易。但这也让耕耘细分行业的小CV厂商有足够的空间去摸索。
趋势六:AIOT物联网场景没有大规模的需求爆发,细分行业开始出现落地
我们看到,所谓的AIOT场景,主要还是CV类场景带动,但一些深入需求(如需要传感器数据参与的预测性维护类场景)落地较少。
这跟“智能制造”的特点比较相关。客户在车间现场通常需要一个开箱即用的产品,而大多数AI类场景需要足够多的时间去打磨。另外,大多数工业场景需要的不仅仅是大量有价值的数据,还需要对工业场景有深刻的理解。
首先,“大量有价值”的数据本身不大可能获得。比如,在预测性维护的场景下,所谓“有价值”,就是指相同或者类似的设备历史上出现故障的时候对应的数据,这种数据当然很少。其次,在部分异常数据的加持下,一般的统计分析算法可能分析不出什么。这跟金融类的风控场景不同,风控场景考验的是人性,从人性的角度去做一定深度的分析,并结合算法就可以取得不错的效果。而对于设备,这里需要的是一个深刻理解机械原理的算法专家。
即使面对这样的困境,我们还是看到了一些制造业企业开始摩拳擦掌,虽然深入的AI算法用不上,简单的BI也能提供价值嘛。
只是感叹,Predix还是出来太早了,那2020年会有突破吗?还是得看“智能制造”的内生动力多大,期望一些细分场景会有落地。
人工智能的2019年注定是平静的一年,因为技术爆发以及投资引导时期已过,避免不了被冷清。然而,正如大多数技术周期一样,当技术本身有价值且具备落地能力的时候,技术落地的过程逐步展开。
我们相信对于大多数在探索人工智能落地过程的从业人员来说,故事才刚刚开始。而对于参与炒作概念的玩家来说,也找到了新的方向:区块链。
从更宏观的数字化转型的角度来看,还有太多的事情值得大家去落实。抓紧2019年的尾巴好好做几个落地项目吧。
为什么相比于计算机视觉(cv),自然语言处理(nlp)领域的发展要缓慢?
主要原因是涉及到序列的东西都不好做。CV那边搞视频一样头疼结果上不去。
而且另外一方面,个人理解cv目前做的东西更多的是extraction和generation,understanding的很多好,大量论文集中在前两点。如果设计understanding更多的是image caption和inpainting那些。
而且,个人理解understanding得到的东西必须是不能通过边缘一步一步不全得到的(比如style-transfer在我看来更像step-by-step generation的过程)。
CV的路线好在extraction和generation带来的是优质的classification质量和快速的应用可能性,这就能代理工业界的重视和资金。而NLP的任务因为很难通过单纯的extraction,而NLP的生成任务(NLG)本质上也是离开understanding基本做不了东西。
顺便提一下,国内NLP也在迅速发展,可以关注一下学术范这个网站上的学者,和相关研究方向什么的: Nlp Indi Dharmayanti-学者概述 (xueshufan.com)
其实,NLP和CV都已经是很大的领域了,很难总体上说哪个更难。NLP领域中也很多比较容易的问题,CV领域也有很多很难的问题。
直观感受上,NLP在工业界应用很少,不成熟。但实际情况也并非如此。比如拼音输入法,几乎每个人都在用吧,其背后就是NLP的统计语言模型。每个大厂背后都有很多NLP的技术支撑。大厂对NLP工程师需求一点都不亚于CV工程师。
补充一下,为什么感觉上NLP不成熟呢?主要有两个原因:
1 预期太高。NLP的技术发展永远落后于人们对他的预期。人们对NLP的预期等同于对科幻片中对AI的预期。NLP技术的难度和人们理想中的NLP水平很不一样。比如人们会认为实现类似SIRI的日常对话系统的难度低于专业领域的问答系统,但是实现难度可能刚好相反。
2 不能标准化。像语音识别、图像识别可以是相对比较标准化,输入和输出特别明确。这种可以利用大数据的优势,通过机器学习算法相对容易。而NLP应用的大部分场景都是非标准化的,输入数据十分“dirty”,需要大量的预处理,输出也和场景结合十分紧密,没有统一标准。比如NLP中就连最底层的分词,也没有统一的标准,不同场景对分词的标准要求都不一样。这样就带来一个问题,NLP的大部分应用场景都缺少足够规模的标注数据,并且标注成本也非常高。因此准确率通常也不会很理想。 同样道理,CV中涉及个性化的应用场景其实也都非常难。
另外,感觉上NLP在工业界的应用比较少,是因为大部分NLP的应用还都是在后台,为搜索、推荐等应用作为一个技术支撑,前台看不见而已。
大数据和人工智能哪一个前景更好?零基础学习要多久?
大数据和人工智能在概念上是包含关系大数据和云计算是实现人工智能的左膀和右臂。你上计算机专业的大学的话,一般的话大数据专业4年就够了,人工智能的话还要读研。
cv和nlp哪个数学要求更高
cv。CV是CurriculumVitae的缩写,原意指生活道路,现引申为简历,多指学术履历。截止2022年9月3日CV主要是用于申请学术、教育、科研职位,或者申请奖学金等等。cv和nlp相比,cv数学要求更高,nlp发展空间大,但不够成熟,要求不够严格,cv发展好,更加成熟,对员工数学水平要求更高。nlp是自然语言处理,是研究人与计算机交互的语言问题的一门学科。
cv和nlp哪个竞争压力小
nlp竞争压力小。
1、算法岗数:NLP是以上6个算法岗中最有挑战性的岗位,cv是8个以上的。
2、工作方面:nlp执行师是基础的工程师,cv工程师含金量高于基础的nlp,npl更易于找工作。
结语:以上就是首席CTO笔记为大家介绍的关于大数据和cv哪个火的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。