业务数据的采集处理及分析建模

编辑整理：整理来源：腾讯视频，浏览量：91，时间：2022-07-05 20:56:01

业务数据的采集处理及分析建模，数据采集与分析技术，数据采集与数据分析

前沿：业务数据的采集处理及分析建模

大数据建模的具体好处如下：1、基于大数据形成用户画像，获取用户偏好和使用习惯，可以使企业的产品更有竞争优势。2、通过客户精准营销提高消费体验和顾客粘度，增加销售及提升企业名牌形象。3、通过数据挖掘和在此基础上的科学预测，及时发现企业短板或管理漏洞，降低企业损失。4、利用数据反馈指导企业的下一轮产品设计方向，有利于企业的产品创新。
对于想要进行数字化转型的企业，应该对大数据分析建模的步骤重视起来。首先需要开展业务调研和数据调研工作，明确分析需求;其次应开展数据的准备工作，即选择数据源、进行数据抽样选择、数据类型选择、数据标准化、数据簇分类、异常值检测和处理、变量选择等。随后应对数据进行处理工作，即进行数据采集、数据清洗、数据转换等工作，最后开展数据分析建模及展现工作。

想要学习了解更多大数据挖掘的信息，推荐CDA数据分析师课程。CDA旨在提升全民数字技能，助力企业数字化转型，推动行业数字化发展课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。点击预约免费试听课。

---

在实际工作中，需求分析工作可以有多种分类方法，对于大型、集成型信息系统的需求分析，通常可以区分为业务需求、功能需求、数据需求、性能需求与安全需求。其中数据分析可以发挥作用的方面是业务需求、功能需求、数据需求。本文以本人（艾威培训商业分析师CBAP学员）负责的某事业单位在行事行政审批工作时所用信息系统的需求分析工作为例，讲述业务分析工作与数据分析的关系。

数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。

一、识别信息需求

（一）业务需求

可以包括业务范围分析、用户需求、具体业务需求、具体服务需求、监管与统计分析需求。

（二）功能需求

包括具体业务、具体服务、监管与统计分析、业务协同需求（系统间接口需求）。

（三）数据需求

包括数据交换共享需求、信息资源整合需求、数据完整性与一致性需求、存储量估算。

二、收集数据

在企业中进行数据收集，收集数据后将进行数据的获取、清洗、整理。

（一）业务需求

业务需求的数据收集途径不同

1.文本途径。对于业务范围分析，通过文本资料途径较为常见，如制度守则、工作流程、会议纪要等，搭建分析指标体系，得到目标企业或部门的现有业务需求边界。

2.用户访谈。通过用户访谈、调查问卷等得到用户的真实需求。

3.埋点采集。通过观察企业实际业务运行情况，并埋点采集数据，收集具体的业务需求、服务需求、监管与统计分析需求。

（二）功能需求

通过相关人员会议形式确定内容，并通过接口测试部署确定业务协同需求（系统间接口需求），在此可以进行数据处理和分析模板。

（三）数据需求

通过访谈、问卷调查收集系统数据使用和对接部门、人员的对于数据交换共享需求、信息资源整合需求、数据完整性与一致性需求、存储量估算。如果收集的材料包含非结构化数据，需要语义引擎去提炼规范数据。

三、分析数据

（一）业务需求

通过收集来的数据整理后将进行建模分析，并对模型进行测试，通过测试结论多次迭代优化模型。也将对数据进行描述分析，得出洞察结论。

1.业务范围分析。分别为服务事项调整、服务流程改造与服务协同办理。

2.用户需求。分别为社会公众和企业单位、窗口工作人员、审核部门、投诉举报中心、系统运维人员的不同系统需求统计与分析。

3.具体业务需求。现有办事流程的变更，使用数理统计方法推断分析。

4.具体服务需求。办事流程的新增，使用数理统计方法推断分析。

5.监管与统计分析需求。服务监管与服务报表指标体系的形成，也会借助估计的可靠程度和精确程度作出推断。

（二）功能需求

1.具体业务需求。包含新增政务服务，功能改造与优化，使用描述性统计方法。

2.具体服务需求。包含事项办理的单点登录、咨询服务、网上申报、材料提交、网上预约、信息服务查询、网上告知、事项引导维护等，使用数理统计方法对估计作出推断。

3.监管与统计分析。包含政务服务事项监管、服务数据关联分析、服务运行情况报告及报表、服务总额和管理、数据管理、督察管理、考核管理、咨询知识库管理。在此处应用了描述性统计分析、关联分析、用户画像等多种形式。

4.业务协同需求（系统间接口需求）。与其他各平台传输数据及内容，使用描述性统计方法。

（三）数据需求

1.数据交换共享需求。对于需要整合的企业、人员、审批事项、知识库信息，使用数理统计方法对估计作出推断。

2.信息资源整合需求。在信息资源整合过程中进行描述分析和迭代优化。

3.数据完整性与一致性需求。在明确数据完整性与一致性过程中要把握好数据质量和数据管理，使用数理统计方法对估计作出推断。

4.存储量估算。通过对基础信息数据、事项的办理和审批数据进行估算，应用数据分析的时间序列预测存储量。

四、评价并改进数据分析的有效性

经过数据分析辅助需求分析工作，形成了对业务的改进优化，包括对事业单位人员和信息资源的合理分配，并提高了审批系统多部门用户服务体验的改进。也促使更多的行政审批业务和服务发现机会。数据分析帮助工作人员发现日常管理中的漏洞，并发现新的业务机会，两者相辅相成，创造了更佳的营商服务价值。

---

补充拓展：业务数据的采集处理及分析建模

我只回答网页数据采集，数据分析不懂；

数据采集用采集软件，但大多数都是要下载软件安装，还要懂代码才能用，你可以百度搜索一下，前面那几个就是做的比较久的；

我自己最近在用的就是简数数据采集平台，不用安装任何软件，打开网站即可使用，还支持可视化操作，智能化选择，大大提高采集效率，不用老是看代码配置半天，也意味着不懂代码的新手也能熟练操作，能导出Excel格式，大数据分析应该也能用；

你每个产品的情况都类似吗？都有点轻微椭圆？不知道你们的产品要求，但是一般来说，控制圆的话，除了直径，还要控制圆度。你这三个值之间的差别，其实是圆度有问题，圆度至少在0.18,mm。说到CPK计算上来，其实一般工程图纸直径定义就是平均值，所以你这三个值取平均作为一个值来收集数据就好了。但是这种情况必须明确圆度的要求。也就是直径和圆度要分别计算CPK。如果你的图纸上没有圆度要求，还是跟产品/设计部门确认一下。另外根据国标，圆度也有未注公差，应等于直径的公差值。
数据采集指的是数据存储在各业务系统中，或者手动录入数据库里。这里就要提到一个功能叫数据填报。数据填报功能是亿信华辰新一站式数据分析平台ABI中数据采集的一个特色功能。数据填报功能可对报表进行数据回填设置，对缺失的数据进行补录，也可以制作全新的填报表单用于录入数据，真正的实现了数据分析填报一体化。回填报表支持导入excel数据，让大数据量填报不再是困扰，同时支持数据审核，确保数据正确性。
亿信ABI是一款融合了数据源适配、ETL数据处理、数据建模、数据分析、数据填报、工作流、门户、移动应用等核心功能的工具。除了数据采集功能以外，数据分析和数据可视化也是其核心功能。

行业热门话题：

【数据采集分析与处理】【数据采集数据处理】【数据采集与数据分析】【数据采集模型】【数据采集与处理】【业务建模与数据挖掘】【数据采集与分析技术】【数据采集和数据分析】【数据采集与分析的案例】【数据采集分析应用】