数据采集数据分析数据清洗 数据采集数据分析数据清洗速卖通

编辑整理：整理来源：抖音，浏览量：93，时间：2022-07-09 10:07:02

数据采集数据分析数据清洗，数据采集,数据清洗,数据存储，数据清洗 数据挖掘

前沿：数据采集数据分析数据清洗

数据分析是数据处理的基础。

数据分析中所处理的数据分为定性数据和定量数据。只能归入某一类而不能用数值进行测度的数据称为定性数据。定性数据中表现为类别，但不区分顺序的，是定类数据，如性别、品牌等；定性数据中表现为类别，但区分顺序的，是定序数据，如学历、商品的质量等级等。 

数据分析的目的：

数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。

这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。

例如设计人员在开始一个新的设计以前，要通过广泛的设计调查，分析所得数据以判定设计方向，因此数据分析在工业设计中具有极其重要的地位。 

---

数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游，大致可以分为：

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台（Hadoop，HBase，Spark等）集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。

数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

数据清洗：

原始的日志，数据是千奇百怪的

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。

数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

---

补充拓展：数据采集数据分析数据清洗

1. 获取：主要来源包括——自有（关系数据库同步）、自采（探针/爬虫等手段）、外购（合法的白色数据、非法的灰色数据、违法的黑色数据）；涉及的关键点：数据的维度定义；探针节点的选择及采集方式（依据具体业务而定，一般无非是部署在数据产生者随路式或者数据产生者必经路径上蹲点式两种，各有优劣）；外购数据源的选择及价值识别（可信度等）。数据来源两种，移动式（某德地图、某度地图这一类）和定点式（测速摄像头、监控摄像头），假定都是未分析的原始数据。
2. 清洗入库：对数据源进行清洗及其他所需的预处理入库。本文的重点，见正文。
3. 分析、给数据打标签以用于后续的挖掘：基于业务需求选择所需的字段并分析，比如哪些路段拥堵、拥堵程度如何。
4. 挖掘：这就看开脑洞的程度了，比如红绿灯时长优化预测、车辆流向优化（禁左、禁右、单行等）效果预测这种相对简单的的以及未来突发交通热点预测等等各种复杂的。 （推荐答案！）

行业热门话题：

【数据采集数据分析数据清洗心得】【数据采集数据分析数据清洗的小论文】【数据采集数据分析数据清洗速卖通】【数据采集 数据清洗 数据分析】【数据采集 数据清洗】【数据分析 数据清洗】【数据清洗 分析】【数据采集清洗挖掘分析】【数据清洗 数据挖掘】【数据采集,数据清洗,数据存储】