入门准备
入门解惑
数据分析、机器学习与人工智能的区别
作者 : 老饼 日期 : 2022-06-26 09:39:46 更新 : 2022-09-11 11:22:42
本站原创文章,转载请说明来自《老饼讲解-机器学习》ml.bbbdata.com


辨识数据分析、数据挖掘、机器学习与人工智能的区别,

主要是帮助我们选定学习目标和当前的学习定位。

这几个概念/岗位的知识有不少重叠的部分,如果不清晰,则在学习时可能会点错技能点。

本文通过辨识四者,帮助大家选择好自己的学习定位。



一、名词解释


先看百度百科上的名词解释


  数据分析  


数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,
将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。
数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

《陶皖主编.云计算与大数据:西安电子科技大学出版社,2017.01:第44页》


  数据挖掘  


数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关,
并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

《刘宇主编;倪问尹副主编;边耐政主审.中国网络文化发展二十年(1994-2014)网络技术编:湖南大学出版社,2014.11:第150页》


   机器学习  


机器学习是一门多学科交叉专业,
涵盖概率论知识,统计学知识,近似理论知识和复杂算法知识,
使用计算机作为工具并致力于真实实时的模拟人类学习方式,
并将现有内容进行知识结构划分来有效提高学习效率。

《基于机器学习方法的智能机器人探究 .万方.2019[引用日期2019-08-03]》


  人工智能  


人工智能(Artificial Intelligence),英文缩写为AI。
它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。



二、实际岗位与任务目标


我们不从它的定义出发,我们从它实际岗位出发。


  1、数据分析  


顾名思义,对数据进行分析。 
分为了三种:


 (1) 传统公司小数据分析                      
 
使用Excel等进行数据统计,分析。
 
 (2) IT行业数据分析(常见于互联网公司)
 
数据用数据库存储,使用SQL搭配python等语言进行业务分析。
 
 (3) 高级数据分析                              
 
需要一定的建模能力,与数据挖掘有一定的交叉。


  2、数据挖掘/数学建模/机器学习  


一般使用传统的模型和算法,通过业务数据的训练,
完成业务上的一些聚类、分类(识别)、预测的任务。
例如:产品推荐、用户质量预测(评估)、用户画象、数据关系挖掘等等。



  3、人工智能  


目前根据处理问题的对象,和基础业务背景,
明确分为三块:文本挖掘NLP、图象处理、音频处理。
 (1) 文本挖掘NLP
 
主要任务为词法分析、句法分析、语义分析、文档分析,用于序列标注、文本分类、机器翻译、问答系统等

 (2) 图象处理
 
实例分割、图像分割、特征提取、字符识别 用于人脸识别、OCR识别、图像目标检测、目标跟踪、模板匹配

 (3)音频处理
 
音频信号处理、数字滤波器,时频分析等,用于音频降噪、啸叫抑制、回声消除、语音增强、语音识别、声纹识别、声音事件检测等

还有其它综合性更强的、或非指定类型问题岗位。




三、与业务的关系


预先说明,以下的观点不是一板子打死的,不是绝对的,

且为个人观点,仅作分享,如果有不同的观点,欢迎交流。


三者的界限不是完全泾渭分明的,

我们选择数据分析的下限、机器学习的中限、人工智能的上限进行比较:


(1) 数据分析:技术服务于业务


从属于业务,一切从业务需求出发,
服务于业务,对业务问题进行分析、产出相关报告。


(2) 机器学习:技术赋能于业务


有一定的技术空间,
作为一个独立组织,
产出业务模型等产品,
对业务进行赋能。


 (3)人工智能:技术反哺于业务


技术上的突破,能带给业务压倒性优势。
技术上有一定的研究性、挑战性。

如果考虑上限,
三者则是 技术服务并赋能于业务、赋能并反哺于业务、反哺于业务。




  四、新进的从业、研究对象  


新进人群的学历水平分布主要如下:


(1) 数据分析:


专科、本科


(2)数据挖掘/数学建模/机器学习


本科、研究生


(3)人工智能


研究生、博士生




五、所需技能


它们的技能要求也是叠进的


1、数据分析


初级技能:excel、分析思维、
中级技能:SQL、python、用户画像
高级技能:线性回归、逻辑回归、SVM、决策树



  2、数据挖掘/数学建模/机器学习  


初级技能: 语言:SQL、python;模型:线性回归、逻辑回归、SVM、决策树
 高级技能:神经网络、深度学习                                                                    



  3、人工智能  


base语言或框架:python+TensorFlow、Pytorch框架, 拓展:C++
base算法:神经网络、深度学习(CNN、RNN等)、迁移学习、强化学习等。
应用方向知识:不同方向需要不同专业知识,例如文本分析、图象处理、音频处理等。

目前较明确的三个方向各自需要不同的base算法或库:


 (1) 文本挖掘(NLP)
文本处理基础技能,如分词等
算法:BERT、Transformer、GPT-3、图神经网络、知识图谱等
语言或框架:python+
(2) 图像处理
图像基础知识,图像库OpenCV等
(3) 音频处理
音频信号处理、数字滤波器等



   六、总结   


  总结   



数据分析、数据挖掘、机器学习、人工智能,
这几者不管是从技能、焦点、和难度都是叠进的关系。


  对新人的建议  


建议从中级数据分析、或者数据挖掘入手。
对于人工智能,有太多的Base知识,对于低端数据分析,对各位人才又不具挑战性,
所以,笔者认为,从中级数据分析或者数据挖掘入手,是最适合的。


  老饼对数据分析的看法  


👉以下仅为个人看法:
在技术链上,数据分析是底端的,
但是,这仅是技术链。
在做数据团队的管理岗时,
数据分析似乎又站到了顶端,
真是天道好轮回~!



联系小饼