数据采集存储与数据分析应用分开-数据采集和存储
Time:2024-05-03 00:08:14
关于数据采集存储与数据分析应用分开的问题，我们总结了以下几点，给你解答：
数据采集存储与数据分析应用分开
原文《大型集团企业数据资源管理平台建设方案》WORD格式。主要从数据资源管理平台建设方案、数据仓库架构设计（数据仓库框架、数据源定义、组件架构定义、元数据管理定义、）、数据仓库方案设计（传统数据仓库方案、大数据平台参考技术架构）等进行建设。
来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库
数据资源管理平台建设目标支持多层次的数据应用，包括ODS、数据仓库及数据集市层；采用整合的数据模型，同时利用企业服务总线和数据整合平台，建立XX集团统一的企业数据管理，提供准实时数据服务和批量数据服务，实现跨部门、跨应用系统的数据共享；数据仓库具备大数据采集、存储、计算能力扩展，支撑后续业务应用大数据挖掘需求。数据仓库架构设计传统数据存储、分析技术已无法支撑大数据的存储，挖掘，大数据能力作为传统数据仓库的重要增强、组成部分，能够灵活满足业务分析需求。
数据仓库框架根据XX公司在数据仓库规划与建设项目中积累的经验，对比全球公共事业行业领先实践案例，并结合XX集团公司实际现状与未来发展需求，提出了XX集团数据仓库框架。
此框架主要描述了XX公司数据仓库建设所需要具备的各种组件与相关架构，其主要组成部分包括：
数据源 — 临时存放将要传入数据仓库内的数据。这些数据包括：各业务应用系统的应用数据、银行缴费交易等外部业务系统应用数据，社交数据、网站数据、设备运行状态等数据。架构组件 — 架构组件指数据仓库中数据从数据源流向最终用户的过程中用来对数据处理、存储和访问提供支持的软件与硬件系统。数据仓库架构框架主要包括ETL架构、前端展现架构、数据仓库存储架构、运维管理与开发架构几类。元数据管理 — 使数据信息能够正确定义、收集并发布的工具与技术，主要包括用户数据的业务含义与技术特征。数据源定义数据源是存放最终用户报表所需各类信息的源头，是操作型与交易处理型业务应用系统（如燃料管控系统、人力资源系统、财务系统等）内收集和存放的数据集合。数据仓库一般是从满足报表与分析需求的单独数据源头或者多个数据源开始，在整个数据仓库生命周期内逐渐扩展，并且逐步按照需要纳入更多数据源与外部系统的数据。
随着物联网、移动互联网的发展及应用，手机、智能终端、网上商城、社交网络、电子通讯、卫星定位，任何操作都附带产生大量的各种类型的数据。数据成为社会生活中举足轻重的生产要素，数据在当今数字化社会中的发挥的作用日益关键。为支撑XX集团后续在大数据的分析挖掘需求，后续需要考虑大数据源的梳理及定义。
组件架构定义数据仓库存储架构
数据仓库存储架构由数据仓库内包含的全部数据存储区域组成。同时，这一架构还包括了数据与处理的物理分布，以及支撑这些数据存储区域的硬件与软件系统。
尽管数据仓库是一种集中式的数据集合，但是，为了满足用户对于性能、可用性以及可伸缩性方面的需求，企业可以通过多条路径来实现端到端的数据仓库技术架构。数据仓库存储架构实现路线的目标是构建能够满足用户与操作需求的数据存储方法与物理分布方式。
数据仓库存储架构内的数据存储区域主要包括：数据缓冲区（Staging）、数据仓库区（Data Warehouse）、操作数据存储区（ODS）、数据集市（Data Mart）、大数据存储等几部分，并且数据仓库存储架构的构成由于最终用户实际业务需求的不同而多种多样。
ETL架构
ETL架构主要提供数据转储以及数据移动控制相关的各种流程与服务，用于完成数据导入数据仓库的工作。ETL架构主要由以下几个能够确保数据定期被正确地导入数据仓库的服务组成：任务调度、批量文件控制、错误处理、异常处理、文件与数据传输、审核与验证。
前端展现架构
前端展现架构主要负责通过各种前端展现工具将数据仓库内的数据展现给最终用户。
元数据管理定义元数据管理包括对元数据的定义、收集、控制和发布。由于元数据管理存在于数据仓库的每一格组建内，因此，它是数据仓库架构框架内比较独立的部分。所以，数据仓库需要拥有规范的元数据定义、收集与利用机制。
元数据是关于数据的数据，将业务术语与物理数据库建立一个对应。利用元数据，分别以业务视图和技术视图描述存储在数据仓库中的数据。元数据在开发过程中并非全新的概念。通常，我们利用元数据来定义文件结构，定义数据模型内数据属性的命名、数据长度与标准，以及定义数据属性到数据属性与数据属性到报表间的映射关系。
元数据主要包括业务元数据与技术元数据：
业务元数据业务元数据是最终用户所需要的描述具体业务信息意义、质量和时效性的数据。比较关键的业务元数据包括：
描述数据仓库内应该具有哪些数据的业务规则业务层次以及关键绩效指标（KPI）的定义数据元素的通用业务定义与计算方法业务环境内数据的转换规则源系统名称与位置用户安全特性技术元数据技术元数据主要用于确保数据仓库内存放的数据能够有效、及时并且精确地反映源系统中所抽取数据的信息。技术元数据还用于控制未来的系统修改与增强。下面给出了比较重要的技术元数据列表：
数据仓库属性长度与定义源系统到目标系统内数据属性间的映射关系查询相应时间查询使用以及聚集表数据仓库内数据加载、更新与归档计时批量文件传输计时与验证数据仓库方案设计数据仓库由大数据平台及传统数据仓库两部分构成，分别提供大数据存储挖掘，业务运营数据存储分析能力，支撑近期XX集团财务集中管控平台建设及后期业务发展需求。
传统数据仓库
通过数据集成工具（ETL），批量/实时从业务系统中抽取数据，集中存储业务运营数据，为业务运营分析及管理辅助决策提供数据支撑，同时提供运营数据查询功能。
传统数据仓库可为大数据平台提供大数据分析所需要的业务运营数据，大数据平台分析结果可存储在传统数据仓库内。
大数据平台
作为传统数据仓库的补充，用于接入并存储传感器数据、设备状态数据、社交媒体、网站日志等大数据日记，并提供大数据分析处理能力。大数据分析处理结果可以作为数据仓库中数据集市的输入；同时数据仓库中ODS、数据集市中的数据可为大数据平台提供数据源。
传统数据仓库方案数据仓库由操作数据存储区(ODS)、企业数据仓库区(DW)、数据集市区构成。
ODS区是XX集团数据仓库架构中重要的功能区域，它集成了来自不同数据库的相同业务类型的数据，为终端用户提供一致的企业数据集成视图；详细的交易数据在被处理载入数据仓库前都将以符合三级范式的形式存储在操作数据存储区（ODS）中，操作数据存储区由三层构成：
源系统数据层：用于存放从业务系统直接抽取出来的数据，这些数据在数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中能够降低数据转换的复杂性；
数据整合层：用于存放经过整合和模型化后的数据，按主题进行组织和管理，保持当日全量数据，数据整合层也是数据仓库区的唯一数据来源。支撑非实时日常分析（周、月统计）、运行数据查询提供T+1天、1个月内应用系统的明细数据，进行版本控制。
数据共享层：数据共享层为外部应用系统提供数据共享服务。数据共享的方式根据对响应时间和返回的数据量的不同，可分为实时数据共享和批量数据共享,从而满足各类数据共享的需求。
实时数据共享：通过企业服务总线对外部系统实时提供数据共享，通常一次只输出少量数据，但时效性要求较高（小于T+1）；批量数据共享：通过数据集成工具（ETL）为应用系统提供批量数据共享服务，一般返回大量数据，执行的时间通常也较长。数据仓库区是XX集团数据仓库架构中最核心的数据存储区域，它包含一个相对稳定的、企业级的数据仓库数据模型，支撑大部分的数据应用。数据仓库通过对ODS输入数据做进一步清洗转换，存储汇总和整合级数据，并按照第三范式格式保存和保留较长时间的明细数据，为后续的决策支持性应用提供数据的支撑。
为了更好的支持海量数据操作与并发用户访问，数据仓库区必须进行物理优化并且采用轻量级索引。在复杂的海量数据环境中，数据仓库会由多个用于处理数据集成与求和并集中放置的数据存储区组成。
数据仓库区内的数据按照主题存放，数据粒度与ODS一致或粗于ODS区，这些数据主要是企业级数据与历史信息，数据在线存储的周期一般较长；数据仓库管理的数据包含了集成之后的多年历史数据，数据量巨大；数据仓库区的数据是由ODS区的数据按照数据模型的要求进行整合后形成，这一数据模型应该满足第三范式，并用作支撑大部分的基于数据仓库的应用。数据应被合理的规划、组织、存储，分片和索引，保证数据的管理和使用的高效性。主要功能如下：
仓库模型数据存储，数据仓库中大部分存储的是汇总数据和部分明细数据；数据共享，数据仓库提供批量和联机数据共享服务，其范围是决策分析型数据的共享。数据的时效性根据不同的业务需求的统统上通常会大于T+0,且非原始操作型数据，除部分历史数据外，多数为汇总数据。设计数据仓库存储模型时，需要考虑以下几点：
能灵活满足各种分析型业务的需求快速的响应性能数据集中管理具有灵活的扩展能力数据集市是一组部门级的、特定业务主题的应用，用于决策与分析的数据集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式可以通过对数据结构进行汇总和索引。通过数据集市可以保障数据仓库的高可用性、可扩展性和高性能。
数据集市是针对部门级的、特定业务主题的应用，用于决策与分析。
主要功能如下：
数据集市数据存储，数据集市中存储的是各数据集市所需要的数据；数据共享，数据集市也提供批量和联机数据共享服务，其范围是面向主题的数据共享。一般数据服务周期>=T+1,且数据粒度为针对某个特定业务主题的汇总数据以及部分细节数据。数据集市建设考虑因素：
数据集市的建立方式：在数据集市创建的过程中应首先考虑采用逻辑集市（视图）的方式，仅当逻辑集市无法满足系统需求时，才使用物理集市。逻辑集市（视图方式）和物理集市。其中逻辑集市具有开发周期短，易扩展，节省存储空间的优点，其缺点是性能较低；物理集市往往可以获得较高的性能，但其开发设计周期相对较长、扩展性低、对于存储空间要求较高。数据集市的数据不应从源数据系统直接抽取。因为，如果数据集市从源数据系统直接向数据集市提供数据则可能导致数据的不一致，也可能导致多个额外进程产生，这些进程在源系统中将占用额外的系统资源，进而造成资源上的浪费。建议XX集团数据仓库与数据集市采用使用分布式结构来提高整个系统的可用性、可扩展性和高性能。结合XX集团实际情况，公司数据仓库中数据集市所存放数据根据应用类型的不同而采用不同类型的数据模型，如OLAP联机分析选用星形模式（Satr-Schema），数据挖掘应用则应选用数据宽表（Broad Table/CAR）结构等，其存储数据周期根据应用需求而定。数据集市区的数据由数据仓库区的数据经过转换后形成，直接支撑前端的应用需求。数据集市的数据通常会作为OLAP服务和应用服务的数据输入。综上所述，ODS、DW、DM的很多方面都是互补的，可以支持分析型应用、均使用数据集成技术，但它们也有以下区别，为了更好的展示和阐述ODS、DW、DM三层数据层的层次关系，整理对照表如下所示：
对照子项
操作型数据-ODS
数据仓库-DW
数据集市-DM
使用用户
主要用一线业务和管理人员日常查询
针对于专业分析人员和企业中高层管理人员，支持其长期趋势分析和战略决策
特定业务部门或业务主题的专业分析人员和管理人员
用户访问
查询（根据未来需要可以增加、修改、删除操作）
查询
查询
存储目的
支持跨业务条线、面向特定业务需求的应用
面向主体的、集成的数据存储，支持中、长期决策分析支持
面向特定业务主体的决策支持
业务对象
介于面向应用和面向主题之间
面向主题
面向主题
数据粒度
主要提供细粒度运营数据，也可以存储粗粒度的汇总数据
按数据主题（如：关系人，条件，协议等）的数据建模方式来组织数据，保存细节数据，也保存粗粒度汇总数据
保存针对某个特定业务主题的汇总数据以及部分细节数据
数据稳定性
动态
相对稳定
相对稳定
更新频率
实时、近实时或批量更新
定期批量更新
定期批量更新
数据时效性
主要保存当期数据和详细数据，或只有有限周期的历史数据，如：大部分数据保存13个月历史数据，少量数据根据业务需求确定保留期限。
主要保存历史数据和部分细节数据，如：汇总数据保存5年，细节数据至少保存7年。
根据业务需求决定，一般大于等于13个月。
服务水平
ODS理论上能够支持高性能数据处理（秒级），但性能指标需要根据业务需求来制定，
从国内其他大型企业的实践看，数据服务周期<=T+1，且在有实际业务需求的时候，实现Active Warehouse，提供T+0服务
一般数据服务周期>=T+1
大数据平台参考技术架构基于对业界大数据平台、解决方案的调研和分析，结合业界大数据技术发展趋势，XX集团大数据平台技术参考架构图如下；
数据获取
通过ETL抽取、文件适配器、网络抓取、实时数据采集等多种技术从外部数据源导入结构化数据（关系库记录）、半结构化数据（日志、邮件等）、非结构化数据（文件、视频、音频、网络数据流等）及实时数据。
数据采集是将各类数据从外部数据源导入（清洗、转换）大数据存储系统，以备计算、分析的过程。数据集成从时效角度可分成实时、非实时，从数据量角度分成批量、增量，从数据类可分成结构化数据、半结构化数据、非结构化数据。针对不同类型、不同时效要求的数据，需采多种不同的采集、集成技术。
数据采集的数据源可以是：数据库、数据中心、网络、应用系统、终端、传感器等。
大数据分布式存储
负责进行大数据的存储，针对全数据类型和多样计算需求，以海量规模存储、快速查询读取为特征，存储来自外部数据源的各类数据，支撑数据处理层的高级应用。通常情况下，非结构化数据存储在分布式文件系统中，半结构化数据采用列式数据库或键值数据库，结构化数据采用行式存储数据库存储，实时性高、计算性能要求高的数据存储在内存数据库或实时数据库。
数据存储主要面向全类型数据（结构化、半结构化、实时、非结构化）的存储、查询，以海量规模存储、快速查询读取为特征。在低成本硬件（X86）、磁盘的基础上，采用包括分布式文件系统、行式数据库（分布式关系型数据库、键值数据库、实时数据库、内存数据库）、列式数据库等业界典型功能系统，支撑数据处理高级应用。
大数据存储的关键在于采用分布式技术和低成本存储设备。
实时流处理
流式计算是一种高实时性的计算模式，是指当一定时间窗口内应用系统产生的流动数据到达后不进行持久化存储，而是将流式数据直接导入内存进行实时计算，从流动的、无序的数据中获取有价值的信息输出，流式数据具有实时性、易失性、突发性、无序性、无限性等特征。
数据处理
数据处理技术是大数据技术框架中的核心层，是由计算（数据查询、内存计算、批量计算等）、数据分析算法以及分析挖掘工具组成的数据处理功能集合。
大数据计算的核心能力是分布式计算，通过分布式计算能将一台计算机无法处理的任务分解到多个节点上。以分布式计算为核心，发展出其他计算模式构成可适应多种计算场景的计算框架。
挖掘算法分为适用于结构化数据的通用数据挖掘算法和适用于非结构化数据的专用分析算法。
数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、统计学技术，通过对原始数据自动化的分析处理，做出归纳性的推理，得到数据对象间的关系模式，这些关系模式反映了数据的内在特性，是对数据包含信息的更高层次的抽象。与侧重于根据已知训练数据做出预测的机器学习相比，数据挖掘更关注于发现未知的信息。数据挖掘任务可以分两类：描述性和预测性。描述性挖掘任务刻画数据的一般特性，主要基于非监督学习算法；预测性挖掘任务在当前数据上进行推断，以进行预测，一般基于监督学习算法。
数据采集和存储
数据采集器作用有数据财经、数据输送、数据删除和系统管理等。这里就这几个功能具体来分析每个功能所发挥的作用。
1、数据采集作用
是将产品的条形码通过扫描装置读入，对产品的数量直接精选确认或通过键盘录入的过程。在数据采集器的存储器中以文本数据格式储存，格式为条形码，数量。
2、数据输送作用
主要实现对产品条形码、名称和数量的上传和下载。数据下载是将需要的数据采集器进行确认的产品信息从计算机中输送到数据采集器中，通过数据采集器与计算机之间的通讯接口，在计算机管理系统的相应功能中运行设备厂商所提供的数据输送程序。下载可以方便的在数据采集时，显示当前读入条形码的产品名称和需要确认的数量。数据上传是将采集到的产品数据通过接口将数据输送到计算机中去，在通过计算机系统的处理，将数据转换到数据库中。
3、数据删除作用
数据采集器中的数据在完成向计算机系统的输送后，需要将数据删除，否则会导致再次数据读入的叠加，造成数据错误。有些情况下，数据可能会向计算机输送多次，待数据确认无效后，方可实行删除。
4、系统管理作用
主要是检查磁盘空间系统，日期时间的校对。
数据采集器作用:
具备实时采集、自动存储、即时显示、即时反馈、自动处理、自动传输等功能
数据采集存储与数据分析应用分开的原因
数据分析与数据挖掘的目富整段川元一抗的不一样，数据分析是有明确的分析群体，就是对群体进行各个维度的拆、分、组合，来找到问题的所在，而数据发挖掘的目标群体是不确定的，需要我们更多是是从数据的内在联系上去分析，从而结合业务、用户、数据进行更多的洞察解读。
数据分析与数据挖掘的思考方式不同，一般来讲，数据分析是根据客观的数据进行不断的验证和假设，而数据挖掘是没有假设的，但你也要根据模型的输出给出你评判的标准。
我们经常做分析的时指木掉待有大宪提越敌候，数据分析需要的思功某欢绝半则由维性更强一些，更系坐的轮钟谁陆孙力土合多是运用结构化、MECE的思考方式，类似程序中的假设。
分析框架（假设）+客观问题（数据分析）=结论（主观判断）
而数据挖掘大多数是大而全，多而精，数据越多模型越可能精确，善载导投龙优天呼时十婷变量越多，数据之间的关系越明确
请点击输入图片描述
数据分析更多依赖于业务知识，数据挖掘更多侧重超区策促械元父球复班于技术的实现，对于业务的要求相稳展未充些稍微有所降低，数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高需要比较强的编程能力，数学能力和机器学习的能力破项斗创准划耐采。如果从结果上来看，数据分析更多侧重的是结果的呈现，需要结合业务知识来进行解读。而数据挖掘的结果是一个模型，通过这个模型来分析整个数据的规律，一次来实现对于未来的预测，比如判断用户的特点，用户适合什么样的营销活动。显然，数据挖掘比数据分析要更深一个层次。数据分析是将数据转化为信息的工具，而血周视具纪约苦究数据挖掘是将信息转化为认知的工具。