大数据采集存储分析利用架构-大数据采集存储分析利用架构方法

编辑整理：整理来源：腾讯视频，浏览量：73，时间：2023-01-11 05:13:01

大数据采集存储分析利用架构，大数据采集存储分析利用架构方式，大数据采集存储分析利用架构技术

以大数据项目为主线，技术理论与项目实践相结合，按照大数据项目的开发流程逐步推进，本文主要讲解项目的需求分析、架构设计以及离线和实时数据流程设计，然后提前规划好大数据项目需要的集群，按照项目的实现逻辑，结合具体的技术组件详细讲解整个大数据项目的开发流程。

一、项目需求分析

需求分析是基础，需求分析贯穿整个项目的始终，是对客户需求的深入了解。整个项目自始至终都需要与客户或用户进行交流。大数据项目需求是以数据为中心，在需求分析阶段就强调数据的分析。大数据项目的需求分析主要分为以下四阶段。

● 概念需求分析

● 场景需求分析

● 界面需求分析

● 细节需求分析

接下来以壮族自治区糖业大数据平台项目项目，糖业数据采集+存储+治理+分析+可视化应用+共享的案例来进行需求分析，具体需求如下。

1.场景需求分析

场景需求分析阶段体现了系统的总体构思与设计，目的是为了了解系统的组织形式和功能需求的全貌，解决“是什么”的问题。结合该项目案例的需求，满足实时计算场景，需要设计大数据实时分析系统，当然同时也可以设计离线分析系统。分析系统包含数据采集、数据存储、数据过滤清洗、数据统计分析以及数据可视化等结构，最终需要统计分析蔗糖从生产到销售的全生命周期数据管理。

2.概念需求分析

概念需求分析的任务是对系统中涉及的概念、数据内容等进行分析，解决“有什么”的问题。该项目数据主要包含为涉农应用提供蔗农、蔗地块精准数据，5大分析域、21个应用场景，主要以日志的形式写到日志服务器本地磁盘。需要利用用户浏览日志数据统计分析相应的需求结果，数据需要经过以下流程。

（1）数据采集∶蔗糖数据落盘到日志服务器之后，可以利用Flume采集工具完成数据采集。

（2）数据存储与交换∶根据离线和实时应用场景，可以将采集的数据存储到HBase或Kafka。

（3）数据计算∶利用离线和实时计算框架完成对数据的统计分析，最后将结果输出到数据库。

（4）数据可视化∶对数据库中的数据进行可视化，完成数据大屏展示。

3.细节需求分析

细节需求分析是解决“怎么做”的问题。详细的需求分析包括采用怎样的大数据技术架构、详细的数据流程架构设计以及数据库设计等。

4.界面需求分析

客户能否用好大数据系统最终决定项目的成败，良好的可视化界面也是不可忽视的。系统界面的好坏并不是追求界面的炫酷，而是根据可视化界面能否分析出有价值的信息，帮助决策者快速做出决策，梯度科技提供综合性糖业监管全息可视化平台。最终的可视化界面要准确反映糖业数据的实时变化情况，分析蔗糖从生产到销售不同阶段变化情况，以及实现糖业全产业链、价值链、供应链互联互通，助力蔗糖产业走向智能化创新发展新方向。

行业热门话题：