最新消息:孤狼工作室文章系统正式上线!

从零开始数据分析:一个数据分析师的数据分析流程

微信爆文 上海数据分析 1253浏览

学习数据分析,做大数据时代紧缺人才!

来源:199IT

数据分析百科给出准确定义:

指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

简而言之就是有目的的收集数据、分析数据,使之成为信息的过程。

数据分析过程

1、探索性数据分析

初步获取的数据是杂乱无章的,通过图表形式对数据进行整合,找寻数据之间存在的关系。

2、模型选定分析

通过探索性数据分析,归纳出一类甚至是多类数据模型,通过对模型再次整合,进一步分析出一定的模型。

3、推断分析

通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。

数据分析流程

1. 识别信息需求

识别信息需求是确保数据分析过程有效性的首要条件,可以为收集数据、分析数据提供清晰的目标。

2.数据采集

了解数据采集的意义在于真正了解数据的原始面貌,包括数据产生的时间、条件、格式、内容、长度、限制条件等。


帮助数据分析师更有针对性的控制数据生产和采集过程,避免由于违反数据采集规则导致的数据问题;同时对数据采集逻辑的认识增加了数据分析师对数据的理解程度,尤其是数据中的异常变化。

在数据采集阶段,数据分析师需要更多的了解数据生产和采集过程中的异常情况,能很大程度上避免“垃圾数据进导致垃圾数据出”的问题。

3.数据存储

在数据存储阶段,数据分析师需要了解数据存储内部的工作机制和流程,最核心的因素是在原始数据基础上经过哪些加工处理,最后得到了怎样的数据。由于数据在存储阶段是不断动态变化和迭代更新的,其及时性、完整性、有效性、一致性、准确性很多时候由于软硬件、内外部环境问题无法保证,这些都会导致后期数据应用问题。

4.数据提取

数据提取是将数据取出的过程,数据提取的核心环节是从哪取、何时取、如何取。

在数据提取阶段,数据分析师首先需要具备数据提取能力。常用的Select From语句是SQL查询和提取的必备技能,但即使是简单的取数工作也有不同层次。

第一层:从单张数据库中按条件提取数据的能力,where是基本的条件语句;

第二层:掌握跨库表提取数据的能力,不同的join有不同的用法;

第三层:优化SQL语句,通过优化嵌套、筛选的逻辑层次和遍历次数等,减少个人时间浪费和系统资源消耗。

5.数据挖掘

数据挖掘是面对海量数据时进行数据价值提炼的关键,以下是算法选择的基本原则:

  1. 没有最好的算法,只有最适合的算法,算法选择的原则是兼具准确性、可操作性、可理解性、可应用性。

  2. 没有一种算法能解决所有问题,但精通一门算法可以解决很多问题。

  3. 挖掘算法最难的是算法调优,同一种算法在不同场景下的参数设定相同,实践是获得调优经验的重要途径。

在数据挖掘阶段,数据分析师要掌握数据挖掘相关能力:

  1. 数据挖掘、统计学、数学基本原理和常识

  2. 熟练使用一门数据挖掘工具,Clementine、SAS或R都是可选项,如果是程序出身也可以选择编程实现;

  3. 需要了解常用的数据挖掘算法以及每种算法的应用场景和优劣差异点。

6.数据分析

分析数据是将收集的数据通过加工、整理和分析、使其转化为信息,通常所用的方法有:

老七种工具

  • 排列图

  • 因果图

  • 分层法

  • 调查表

  • 散步图

  • 直方图

  • 控制图

新七种工具

  • 关联图

  • 系统图

  • 矩阵图

  • KJ法

  • 计划评审技术

  • PDPC法

  • 矩阵数据图

数据分析相对于数据挖掘更多的是偏向业务应用和解读,当数据挖掘算法得出结论后,如何解释算法在结果、可信度、显著程度等方面对于业务的实际意义,如何将挖掘结果反馈到业务操作过程中便于业务理解和实施是关键。

7.数据可视化

数据分析界有一句经典名言,字不如表,表不如图。别说平常人,数据分析师自己看数据也头大。这时就得靠数据可视化的神奇魔力了。除掉数据挖掘这类高级分析,不少数据分析师的平常工作之一就是监控数据观察数据。

8.数据应用

数据应用是数据具有落地价值的直接体现,这个过程需要数据分析师具备数据沟通能力、业务推动能力和项目工作能力。

数据沟通能力:深入浅出的数据报告、言简意赅的数据结论更利于业务理解和接受。

业务推动能力:在业务理解数据的基础上,推动业务落地实现数据建议。

项目工作能力:数据项目工作是循序渐进的过程,无论是一个数据分析项目还是数据产品项目,都需要数据分析师具备计划、领导、组织、控制的项目工作能力。


———— / END / ————

上海CPDA第42期

7月14日开班

快来报名吧

点击阅读原文,了解课程详情!

转载请注明:孤狼工作室 » 从零开始数据分析:一个数据分析师的数据分析流程