数据采集关键因素及发展趋势分析 悦来镇数据采集系统的研究现状

编辑整理：整理来源：腾讯视频，浏览量：66，时间：2022-07-08 02:21:01

数据采集关键因素及发展趋势分析，数据采集系统的发展，常见数据采集的特点及其采集技术

数据正重塑着经济与社会。从生产到生活，从工业到服务业，从产业端到消费端，越来越多的东西呈现出了数据化的态势，数字已经开始重新定义一切。

过去几年里，数据治理作为数据的核心管理手段，得到了政府、企业、个人的高度关注， 伴随着理论、法律、政策、产业的一系列实质性变化 ，各方正在将数据治理纳入到政务活动、企业治理、经营管理等领域， 数据治理的理念、法规、方法、工具也得到了蓬勃发展。

随着各行业、各组织对于数据治理实践的推进，一些变化与趋势正在逐步显现。

— 01 —

趋势一：数据治理成为数字化转型的核心要素

2022年，数字经济热度不减，作为增长新引擎持续发力，“十四五”时期，我国数字经济转向深化应用、规范发展、普惠共享的新阶段，“数字化转型”仍是很多企业今年的重要战略部署之一。

同时，以云计算、大数据、人工智能、区块链等为代表的数字技术不断涌现，快速向各领域进行融合渗透，加快了数字化转型的进程，数据量和数据的价值密度都呈现爆炸式增长。据IDC公司预测，到2025年全球每年产生的数据将从 2018 年的 33ZB（1ZB=10 万亿亿字节）增长到 175ZB，相当于每天产生 491EB（1EB=1.1529e+18 字节）的数据。

海量的数据资源，对企业的数据采集、存储、分析、处理的工具、计算、建模应用等方面的数据能力提出了更高的要求。企业需要依托数据治理来实现数据、技术、流程和组织的智能协同、动态优化和互动创新，深入挖掘数据资产价值，使数据成为数字化转型的关键驱动要素，赋能企业战略、运营与业务的创新发展。

— 02 —

趋势二：数据编织或将成为数据治理优化的新方向

人脸识别、人工智能、 AI 安防、物联网、 5G 等新技术新业务在各个领域得到了迅速应用，再加上云计算、边缘计算的兴起，数据环境越来越复杂，传统的集中式架构已无法满足新业务的应用和数据增长带来的更高的容量与性能需求，于是，采用去中心化、分布式的数据网络架构就成为必然选择。

在此背景下，数据编织作为一种跨平台的数据整合方式兴起。它是利用对现有、可发现的元数据资产的持续分析，以支持跨所有环境（包括混合云和多云平台）设计、部署和利用集成和可重用数据，这将为数据治理带来更多的便利性。

据Gartner预测：数据编制利用分析功能来持续监控数据管道，通过对数据资产的持续分析，支持各种数据的设计、部署和使用，缩短集成时间30％，缩短部署时间30％，缩短维护时间70％。

虽然目前数据编织并没有被纳入常规数据治理体系，但在日益多样化、分布式和复杂的环境中，数据编织的架构可以被看作是实现数据管理和集成现代化的稳健的解决方案。

— 03 —

趋势三：人工智能的发展促进数据治理走向智能化

数据治理和人工智能作为近几年的两大浪潮，二者之间一直存在着相辅相成的关系。

一方面，数据治理为人工智能奠定基础。通过数据治理，企业可以提升数据质量、增强数据合规性，从而为人工智能的应用提供高质量的合规数据。

另一方面，人工智能对数据治理存在诸多优化作用。人工智能帮助实现概念模型与计算机模型的完美融合，从而优化数据模型管理；能实现对非结构化数据的采集和关键信息的提取，并帮助维护、整合元数据；能帮助企业识别主数据，并帮助定义和维护数据匹配规则，助力企业的主数据管理；能定义转换规则，提取数据质量评估维度，同时，通过监督学习、深度学习来实现对数据清洗和数据质量的效果评估，最大化地实现数据质量的动态提升；能推进数据分级分类，促进数据安全保障体系完善，进一步保障数据安全……

随着数据治理和人工智能两个领域的各自快速发展，二者的融合会使得更多场景和商业模式涌现。

例如互联网企业可以使用机器学习分析用户点击过哪些链接，为用户生成画像，打上特定的标签，用来做商品、内容的推荐和优化用户搜索结果。在金融行业中，目前银行的信用卡发卡部门已经开始利用机器学习技术，来识别不合规的申请人，以及虚假的申请信息等。企业可以充分的利用人工智能技术，共享和开放一部分数据或数据加工结果，对外提供服务，提升企业竞争力。

— 04 —

趋势四：数据治理从成本中心向价值中心演进

传统的数据治理往往聚焦于政府或者企业的内部数据能力建设。但在目前数字化转型的大背景下，数据要素的激活、数据价值的发挥、数据服务的建立与开放逐渐成为政府、企业在进行数据治理时的关注重点，数据治理的定位逐渐向价值中心演进，更注重效能。

宝马领悦数据治理思路的调整就是一个典型的例子。宝马领悦在进行数据治理之初是以自上而下的方式，搭建起了企业的数据治理框架和基础能力，但在这个过程中遇到了一些挑战和质疑，主要问题产生在数据治理的效果与业务支撑之间的巨大鸿沟方面。

随后宝马领悦便调整了数据治理的思路，数据治理不再仅仅聚焦于诸如元数据管理、主数据管理、数据质量管理、数据认责管理、数据安全管理等一系列能力建设，而是对于业务需求去进行一些有针对性的工作，让数据治理真正支撑业务，在技术应用、业务应用以及安全合规方面都起到了非常好的支撑作用，进而逐步强化了数据治理工作在企业内部的受重视程度，推进了宝马品牌的数字化转型。

— 05 —

趋势五：数据将进一步开放与共享

数字经济时代，数据已成为基础性战略资源，作为新型生产要素之一，数据资产化已是必然趋势，而数据的开放共享是则是深入挖掘数据资产价值的基础。

从2015年9月国务院发布《促进大数据发展行动纲要》至今，政府数据的开放共享正不断推进，各方面资源进行了有效整合，综合治理能力大幅提升。2021年，《数据安全法》第五章专章规定“政务数据安全与开放”，在基本形成跨部门数据资源共享共用格局后，由政府主导打通政府部门、企事业单位间数据壁垒的数据共享开放平台，进一步推动实现政府公共数据的普遍开放。

2022年，随着全社会的数据存储、数据挖掘、数据使用、数据参与意识逐渐觉醒，数据价值化的条件将进一步成熟，数据的所有权、使用权、增值权及数据红利的释放权、分配权有望在新的一年里确定更加清晰的边界，数据要素价值将得到更有效的释放。

此外，在数据不断标准化、开放化的同时，行业的数据标准建设进程也将进一步加快，无论是政府、行业数据，还是企业内部数据，都将遵循一个相互认可的数据标准、处理规程。这也将进一步推动企业建立起适合自身的数据治理标准、路径和方法。

— 06 —

趋势六：数据安全仍是贯穿数据治理各环节的核心重点

海量、多元和非结构化已经成为了数据发展的新常态，而这给企业的数据管理带来了许多安全隐患。根据风险基础安全（Risk Based Security）的数据显示，2020年全球数据泄漏达到360亿条，创历史新高。

数据治理，安全先行，数据安全治理仍是2022年各组织进行数据治理的核心重点之一。

加强数据安全治理的驱动之一来自于组织内部。

近年来数据安全事件频发，Gartner指出，近75%的IT组织将面临一次或多次勒索软件攻击。而且数据安全的威胁更加多样化，不再局限于病毒木马等传统攻击手段，数据权限滥用、API接口攻击等问题层出不穷。

新技术的应用使数据安全问题进一步显现。当前云计算的发展已进入成熟期，基于云原生的低代码开发平台受到追捧。虽然云原生可以通过提供一套完整的技术体系和方法论,来帮助企业在系统功能越来越复杂的环境下能够实现敏捷开发并保证系统的可用性，但于此同时，机遇与风险并存：《Sysdig 2022云原生安全和使用报告》发现，超过75%的运行容器存在严重漏洞。数据安全治理愈发成为企业进行数据治理中的关键环节。

驱动之二则来自政策方面。

数据安全正步入法制化和战略性轨道。截至2021年，我国的数据安全监管框架已经基本成型：《网络安全法》、《数据安全法》、《个人信息保护法》三法为数据安全护航；此外，在银行、通信、工业、能源等各领域也已经有一系列条例规章从实践角度推动产业内数据安全治理体系的落地。

2022年，与数据安全相关的政策还在继续细化。国家互联网信息办公室颁布《网络安全审查办法》修订版，将网络平台运营者开展数据处理活动影响或者可能影响国家安全等情形纳入网络安全审查；国家九部委联合发文规范平台企业发展，再次针对互联网企业合规经营，强调防止数据过度采集，打击黑市数据交易、大数据杀熟等滥用行为；2月10日，工信部发布通知，再次公开征求对《工业和信息化领域数据安全管理办法（试行）》的意见。可见，与数据安全相关的管理办法等细则正在加速落地。

— 07 —

小结

2022年，数字时代的新图景正徐徐展开。可以预见的是，各组织的数据治理正迈向更加成熟的方向迈进。数据治理是一个长期的过程，把握趋势，不断调整优化，才能更好地发挥数据价值，真正让数据赋能发展。

行业热门话题：