您好、欢迎来到现金彩票网!
当前位置:秒速快三 > 数据和信息 >

什么是数据分析?

发布时间:2019-08-25 13:33 来源:未知 编辑:admin

  可选中1个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问题。

  数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

  在统计学领域,将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。

  探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。

  数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。

  识别信息需求是确保数据分析过程有效性的首要条件,可以为收集数据、分析数据提供清晰的目标。识别信息需求是管理者的职责管理者应根据决策和过程控制的需求,提出对信息的需求。

  就过程控制而言,管理者应识别需求要利用那些信息支持评审过程输入、过程输出、资源配置的合理性、过程活动的优化方案和过程异常变异的发现。

  有目的的收集数据,是确保数据分析过程有效的基础。组织需要对收集数数据分析示意图据的内容、渠道、方法进行策划。策划时应考虑:

  1)将识别的需求转化为具体的要求,如评价供方时,需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据。

  分析数据是将收集的数据通过加工、整理和分析、使其转化为信息,通常用方法有:

  新七种工具,即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。

  数据分析是质量管理体系的基础。组织的管理者应在适当时,通过对以下问题的分析,评估其有效性:

  1)提供决策的信息是否充分、可信,是否存在因信息不足、失准、滞后而导致决策失误的问题。

  2)信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致,是否在产品实现过程中有效运用数据分析。

  3)收集数据的目的是否明确,收集的数据是否真实和充分,信息渠道是否畅通。

  知道合伙人互联网行家采纳数:3061获赞数:40695毕业南阳理工学院计算机科学与技术专业,本科学位。互联网行业从业3年工作经验,读过编程类相关书籍多本。向TA提问展开全部

  数据分析是基于商业目的,有目的的进行收集、整理、加工和分析数据,提炼有价信息的一个过程。

  茫茫人海中,通过观察、跟踪、记录等手段找到生命中最想爱的那个人,进而根据对方的喜好,成功的展示了自己的优点,改进了自己的缺点,并且说服了对方的父母,承诺终身与ta为伴的一项工作。

  喜欢上一个姑娘,会搜集她的兴趣、爱好、星座、闺密、乃至三围,等等各种信息,然后想自己怎么能搭讪上、约出来,碰壁了会继续找原因、想办法,这里面都有在做数据分析操作。

  知于数字营销应用平台是国内首个专业的大数据轻应用自助平台,提供传播管理、舆情管理、网站管理等大数据轻应用解决方案。无论是学术研究还是业界实践,解决问题都是生产力的关键。而解决问题,首先要定义问题。当经验不可靠,实验做不了(或者成本太高)的时候,我们只能依赖历史信息帮助我们做关于未来的决策,特别是在与人有关的社科和商科领域。方法我们大体可以分为两大类,一大类是定性方法,一大类是定量方法。定性方法在社会学和心理学领域等领域仍然发挥着巨大的作用,不过不是本文的讨论重点;另一大类是定量方法,随着统计学方法和计算机技术的发展,定量方法变得越来越可靠,因此发展迅速。大家概念中的“数据分析”或者“数据科学”,通常指的就是定量地定义问题、并基于历史观测数据(而不是实验数据)和定量方法解决问题,让数据自己讲故事而不是通过经验或者通过实验讲故事。因此,所有有可靠的可定量的数据的问题都可以基于数据分析方法解决,而远不止商业问题。那么怎么定量的定义问题和怎么使用历史观测数据定量地解决问题呢?

  第一步,把问题目标定量地定义成因变量y。比如说,CPP最近在组织发放问卷的助研项目,那么我们的问题就可以被定义为“助研团队发放的总问卷数”。

  第二步,把可能的因素定量地定义成自变量x。比如说,给助研更多的激励可以刺激更多助研加入,从而提高总问卷发放数量;给问卷做更多的培训可以让助研更有经验,从而提高每个人平均发放的问卷数。

  第三步,找出y和x的关系,即y=f(x)+e。这里的f是一个映射关系,不一定一定要是一个含参数的线性或者非线性函数,e是误差项。这里的关系有两大类,一大类是相关关系,关注E(yx)或者E(yobserve(x)),可以用来做预测,统计学和机器学习比较多关注预测关系或者统计上的因果关系(即如何预测,而不是真正的因果关系);另一大类是因果关系,关注E(ydo(x)),可以用来做因果解释,通常要求我们在前者的基础上结合问题背景和学科背景的准实验方法让observe可以当成do来处理(比如经济学中的自然实验、IV、DID、断点回归等简化模型方法),或者基于问题背景和学科背景的可以解释x到y的逻辑以及do(x)如何影响y的方法(比如经济学中的结构模型方法),这是计量经济学关注的重点。我们希望得到的结论是,有(observe)哪些身体特征(自变量x)的病人更可能得以及在多大程度上可能(相关关系)胃病(因变量y),或者吃了(do)什么药(自变量x)更可能以及多大程度上可能(因果关系)让病人的病好(因变量y,是否病好可以是0、1变量)。

  第一步,获取数据。巧妇难为无米之炊,基于观测数据解决问题,首先就要有观测数据。这个问题可以简单也可以复杂,解决这个问题的方法也越来越多。比如大家熟悉的网页爬虫,就是常见的一种收集海量互联网公开数据的方法,网页爬虫技术的进步帮助很多问题提供了数据源。

  第二步,清洗数据。原始数据通常是很混乱的,很难直接用作分析。比如说,从天猫或者京东获取的商品名通常是极度混乱的,比如“徐同泰豆捞酱油寿司海鲜火锅澳门豆捞调味品生抽日本日式刺身调料”(徐同泰豆捞酱油寿司海鲜火锅澳门豆捞调味品生抽日本日式刺身调料猫),这是一个酱油,但是如果直接看名字……我们经常需要通过各种自动化程序甚至大量的人工来处理掉这些乱七八糟的情况,通常这部分会占一个数据分析项目80%以上的工作量。

  第三步,特征提取。传统问题下提取特征是比较容易的,比如说数一下某类商品的数量、把年龄按某个规则分为几组,把字符串变量打标签成离散变量等等。在大数据背景下,我们需要从海量的数据里面挖出新的信息作为自变量x,比如说我们需要挖掘文本的特定词语的词频特征做这个文本的特征,特征提取本身就会成为一个巨大的麻烦。

  第四步,描述统计。描述统计包括两类,单变量特征和变量之间的联系。比如我们可以去看某一个x或者y的均值、方差、极值、分布等特征,或者去看某一个x和y的关系(比如散点图),或者根据某一个x分组的y的分布,或者根据某一个y分组的x的特征。业界常说的用户画像的一类工作就是基于多变量的描述统计来看根据某一个特征标记的某一用户群体的特征。

  第五步,建立模型。无论是预测类问题还是解释性问题,通常情况下都可以从相关关系开始,如果需要理解因果关系,再结合相关问题背景和理论背景构建更进一步的模型。根据y是连续变量还是离散变量,可以把定量模型分为离散模型和连续模型两大类,两类模型在建立相关关系和因果关系的处理上有一定的不同,此处不再深入展开。当x是离散变量,特别是分类变量时,也要特别注意在解释模型结果的时候是几个不同类数据的区别,而不是一个增加x可以增加或者减少y的关系。

  第六步,评估模型。无论是预测类问题还是解释性问题,我们都希望模型本身是可靠的、经得起检验的。最可靠的检验方式自然是放在未来某个(数据分析师/数据科学家认为)不超过模型的解释能力范围的场景下检验预测结果和实际结果是不是一致。次可靠的方法是从现有数据中取出一部分来做测试,具体方法有很多。如何定义评估模型的目标呢?统计学和机器学习通常用loss function来作为模型的可靠性的指标,最常用的loss function是MSE,在线;传统的计量经济学经常更关注E(yx)是否有偏;其他的问题背景可能数据分析师或者数据科学家会自定义相对可靠的评估方法。

  数据分析一定比传统方法更好吗?不一定,因为可靠的数据分析才更可能比传统方法发现更多insight,而达到“可靠”这个指标通常非常困难,特别是从相关性到因果性这一步特别容易惨死。知乎上有很多打着“数据分析”的名头的文章是有逻辑漏洞的,比如

  @慧航 老师有很多写的非常精准的批评(比如,慧航:如何评价「城市数据团」的文章《远离你终将衰落的家乡》?),大家可以去阅读一下。在避免了逻辑错误导致的混淆因果、弄反影响方向(系数弄反符号)等不可原谅的错误的前提下,即使是结论比较局限的数据分析也是有意义的,甚至有时候反思清楚错误的结论以后也可以发现局限所在,而这些局限可以帮助我们更好地了解这个复杂问题的一角,很可能就是未来完整解决方案的一角。比如说,我们控制了n个条件以后,我们发现某个线性回归的计量结果可以解释x到y的因果,但是R^2只有不到0.1(这种情况很常见……),从计量角度来说,这是一个有意义的结论;但是从统计学来说,这是一个没有预测力的结论,还可能有很多复杂的因素(x_1,x_2, ..., x_10^10,...)影响y,y这个大问题可能还没有被回答完,还需要进一步更深入的研究。

  建模一定比不建模好吗?不一定,要看问题是不是一定需要模型才能说清楚。建模比不建模复杂,当简单的描述统计就可以看出相关关系甚至因果关系(比如可以假设其他条件相同,E(yx=1)-E(yx=0)0,treatment effect为正,正向因果关系成立)的时候,建模不一定能获取更多信息,错误的建模甚至会得到错误信息或者无效信息,浪费成本。实习的时候有次主管让我做个分组统计,我想看一下模型是不是更好,就没做描述之前直接做了一个logit,结果得到了很奇怪的结果,后来画了散点图才发现y=1和0的数据密密麻麻地分布在每一个x上(数据量很大),所以导致用不合适的模型反而不如不做模型来的直观。当数据量很大的时候,直接从不同的角度描述就有可能得到很多很多有用的信息,很多时候已经可以满足需求,再进一步研究可能对关注的重点没有什么帮助,建模可能成为很低效的问题。

http://harpoolbrothers.com/shujuhexinxi/1084.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有