平台数据采集及分析技术规范 数据采集 标准
编辑整理：整理来源：百度知道，浏览量：59，时间：2022-11-23 10:14:01
平台数据采集及分析技术规范，数据采集与分析技术，数据采集系统标准
“
随着科技的飞速发展，我们已然由工业1.0时代进入到工业4.0时代。在工业4.0时代，由于需求的快速变动以及人力成本上升，企业需要通过搭建数字工厂实现现场设备数据的采集、处理和分析，根据数据分析结果制定生产策略并下发到现场设备，从而实现企业的智能化生产。那么，什么是数字工厂？
”
数字工厂是在计算机虚拟环境中，对整个生产过程进行仿真、评估和优化，并进一步扩展到整个产品生命周期的新型生产组织方式，在组成上主要分为设备层、执行层和决策层三个部分。设备层中的传感器、智能仪表等设备负责提供生产数据，为决策层制定生产策略提供数据来源；设备层中的PLC等控制器负责执行决策层和执行层分发的生产计划，对现场设备进行生产控制。执行层中的SCADA系统负责设备层数据的采集和监控，MES系统负责整个工厂的生产管理以及调度执行。决策层中的仿真系统和ERP系统负责根据分析和优化后的生产数据制定生产策略。
在数字工厂中，为了实现企业的智能化生产，往往需要基于设备层提供的数据源，对工厂的整个生产流程进行模拟，并将结果反馈给相关系统验证其可行性，进而优化工厂生产过程，协助决策者制定最佳的生产策略。因此，设备层数据的采集对数字工厂至关重要。
物联网数据采集难题在数字工厂的建设过程中，往往需要通过物联网技术采集工厂中各个生产环节的设备数据，并将这些物联网数据汇聚于终端，进而实现整个工厂数据的互联互通。然而，由于我国工业数据的发展还处于起步阶段，工厂中还存在很多信息孤岛，使得工厂物联网数据的采集变得非常困难，其中主要存在以下几个难题：
1协议多样性
由于现场的实际需要以及后期的产线升级，客户往往需要购买西门子、三菱、欧姆龙等不同品牌的PLC，以及支持Modbus、OPC DA、OPC UA等不同协议的传感器设备来保证生产工作的正常运行。设备协议的多样性使得现场设备之间的联系不够紧密，进而增加现场数据的互联互通的难度。
2老旧设备数据的采集
随着工业4.0的快速推进以及科技的飞速发展，越来越多的新技术逐渐应用于工业现场中。为了保证市场的竞争力，企业必然需要淘汰一些老旧设备，引入一些新设备来实现产线的升级。在升级改造过程中，如果继续使用老旧设备，那么将会给企业带来额外的维护成本；如果直接淘汰老旧设备，那么企业将会面临巨大的开销和折旧费用；如果混合使用新旧设备，那么由于新旧设备之间协议的不兼容，导致新旧设备无法进行数据交互，企业难以实现数据的统筹管理。
3OT和IT的融和
在OT领域，现场设备支持的协议大部分都是Modbus、OPC、Profibus、EtherCAT等工业协议。但是在IT领域，IOT平台和云平台等平台支持的是HTTP、MQTT等协议，协议的不一致性使得企业难以实现OT和IT的融和。
各类数据的采集方案为了解决物联网数据采集的难题，虹科提供了一系列的数据采集解决方案，帮助用户高效、快速、可靠地实现工厂设备互联以及信息共享。
01PLC和传感器数据的采集
面对现场支持多种协议类型的PLC和传感器等设备，如何采集这些设备的数据并汇聚于管理终端？虹科多功能物联网HMI/网关帮您实现现场PLC和传感器等设备的数据采集与传输。
在数据采集和传输方面，虹科物联网HMI/网关支持200+通讯协议，包括主流PLC协议以及现场总线协议，支持同时运行8种通讯协议，而且最多支持10000万点数据，最大程度地帮助用户采集现场多种类型设备数据；支持MQTT和OPC UA（客户端和服务器）协议，实现PLC和传感器等设备和云平台、IOT平台以及SCADA之间的数据交互；支持MySQL、PostgreSQL、MariaDB以及ODBC驱动的数据库，实现数据的存储和统筹管理。
在数据可视化和远程监控方面，虹科物联网HMI/网关预置2000+现代风格控件，支持趋势、警报、配方、报表以及调度器等功能，帮助用户实现可视化界面的绘制；内置Web、VNC、SSH以及SNMP等服务器，用户通过Web浏览器以及VNC客户端等工具实现可视化界面的远程监控。
在设备控制方面，虹科物联网HMI/网关集成了CODESYS PLC Runtime，通过扩展I/O模块和通信模块实现软PLC功能，帮助用户实现设备的逻辑控制。
在边缘计算方面，虹科物联网HMI/网关支持JavaScript脚本编写，预置丰富的函数库，帮助用户实现KPI和OEE分析。
虹科物联网HMI不仅仅是HMI，更是一款集数据采集和传输、数据可视化、边缘计算以及软PLC等功能于一体，具有物联网网关功能的HMI。同时，虹科物联网网关也具有HMI画面，为客户提供全面、可靠、高性价比的物联网解决方案。
02OPC数据的采集
上世纪九十年代，传统OPC通信技术的诞生为不同生产商的工业设备通讯建立一整套开放的接口、属性和方法标准集，进而实现了不同协议设备和上位机之间的通讯。尽管随着OPC UA的快速发展，传统OPC技术处于逐渐被淘汰的阶段，但是企业现场中仍然有很多支持传统OPC技术的设备，需要对其数据进行采集和存储。为此，虹科提供了一种采集OPC数据并存储到数据库的解决方案——OPC Easy Archiver软件，软件整体架构如下图所示。
在数据采集方面，虹科OPC Easy Archiver支持OPC DA、OPC HDA和OPC AE等规范，进而帮助用户采集现场设备中的实时数据和历史数据；支持连接本地或远程OPC服务器，并且支持同时连接多个OPC服务器，帮助用户实现多设备的数据采集。
在数据存储方面，虹科OPC Easy Archiver支持MySQL、SQL Server、Oracle、PostgreSQL，以及ODBC、OLEDB驱动的数据库，最大程度地满足客户的数据存储需求；支持OPC服务器和数据库之间的双向数据传输，而且支持网络中断后的重新连接以及数据恢复，防止出现由于通讯故障而导致数据丢失的现象。
在数据管理方面，虹科OPC Easy Archiver支持用户自定义规则，实现关键标签以及OPC服务器和数据库通信状态的监控，并支持邮件通知、数值覆盖以及软件服务启停等执行动作，进而满足客户在实际应用中的多样化需求。
通过虹科OPC Easy Archiver软件，用户可以对现场支持OPC协议的设备进行数据采集和存储，为后续的数据分析和处理，以及整个现场设备的数据统筹管理打下坚实的基础。
03OPC UA数据的采集
传统OPC通信是基于Windows系统的COM/DCOM技术，无法应用于Linux系统中，存在一定的局限性。此外，在通信前还需要对OPC客户端和服务器进行复杂的DCOM配置，而且通信容易受到其他应用的影响，使得通信不稳定。为了传统OPC存在的问题，OPC基金会开发出新一代OPC技术——OPC UA。随着OPC UA技术的快速发展，越来越多的现场设备支持OPC UA，而且大量的OPC UA数据正在不断产生。为了安全有效地存储、检索和管理OPC UA数据，越来越多的企业采用数据库进行数据存储，进而实现OPC UA数据的高效存储和管理。为此，虹科提供了一种采集OPC UA数据并存储到数据库的解决方案——Ogamma Visual Logger for OPC软件（以下简称OVL），软件整体架构如下图所示。
在软件部署方面，虹科OVL软件支持部署在Windows、Linux、Docker、树莓派以及Azure IoT Edge等设备中，能够满足不同客户的软件部署需求。
在数据采集方面，虹科OVL软件同时连接的OPC UA服务器数量无限制，同时采集的OPC UA变量数量无限制，可以实现每秒30万点OPC UA数据的采集，高效、快速地帮助用户完成大量OPC UA服务器数据的采集。对于支持传统OPC的设备，可以使用虹科OPC UA Wrapper软件实现传统OPC和OPC UA的转换；对于既不支持传统OPC，又不支持OPC UA的设备，可以使用虹科OPC UA SDK将OPC UA功能集成到设备中，进而实现通过OPC UA采集现场设备数据。
在数据存储方面，虹科OVL软件支持MySQL、PostgreSQL、SQL Server等传统关系型数据库，InfluxDB、TimescaleDB、Kafka等时间序列数据库，以及微软、亚马逊、谷歌等IOT平台，满足客户存储数据的多样化需求。
通过虹科OVL软件，用户可以快速完成项目配置，完成现场OPC UA服务器设备以及支持其他协议设备的数据采集和存储，为后续的数据处理和分析提供数据来源。
用户案例01西门子/GE/安川PLC数据上传到IOT平台
客户现场有西门子、GE、安川等多种品牌的PLC，客户想要将这些PLC数据通过MQTT协议上传到客户自己开发的IOT平，进而实现设备状态参数的远程监控。考虑到客户的实际需求，我们推荐客户使用具有虹科物联网HMI/网关功能的软件方案——虹科PC Runtime，该方案与虹科物联网HMI/网关（硬件方案）功能相同，部署在客户的X86设备中，快速赋予原有X86设备物联网HMI/网关功能，实现数据采集和传输。
通过配套的虹科JMobile Studio组态软件，客户进行简单配置便完成了PLC协议和标签参数配置，以及MQTT数据聚合策略和推送策略的制定，实现了现场PLC数据和IOT平台的数据交互。
02组态王OPC服务器数据存储亚控数据库
客户上位机上装有组态王软件，并且已经配置好了OPC服务器功能，客户想要把OPC服务器数据存储到亚控数据库。考虑到客户的实际需求，我们推荐客户使用虹科OPC Easy Archiver软件。
客户首先在软件上添加组态王OPC服务器，然后通过ODBC或者OLEDB驱动连接客户的亚控数据库，并进行数据库表格映射，最终实现组态王OPC服务器数据存储到亚控数据库。软件配置简单易上手，而且提供详细的说明文档，最快地帮助客户实现软件功能。
03多个UA服务器数据存储PostgreSQL数据库
客户现场有几十台OPC UA设备，现在想要采集这些设备数据并存储在工控机中的PostgreSQL数据库中，同时通过Grafana软件实现数据库数据的可视化。考虑到客户的实际需求，我们推荐客户使用虹科OVL软件。
通过软件提供的Web配置界面以及我们提供的详细操作文档，客户快速完成了OPC UA服务器及其数据变量的添加、虹科OVL软件和PostgreSQL数据库之间连接，以及Grafana软件和PostgreSQL数据库的连接，实现了现场几十台OPC UA设备数据的采集、存储和可视化。
总结通过虹科提供的一系列物联网数据采集方案，不仅可以解决由于现场设备协议多样异构以及新旧设备协议不兼容导致的信息孤岛问题，还可以将现场设备数据上传到数据库、IOT平台以及云平台，使得IT和OT的数据融和成为可能，进而帮助用户实现数字工厂中物联网设备的数据采集，推动了数字工厂的建设以及企业的智能化生产。