编辑整理:整理来源:腾讯视频,浏览量:84,时间:2023-01-11 05:13:01
大数据采集存储分析利用架构,大数据采集存储分析利用架构方式,大数据采集存储分析利用架构技术
以大数据项目为主线,技术理论与项目实践相结合,按照大数据项目的开发流程逐步推进,本文主要讲解项目的需求分析、架构设计以及离线和实时数据流程设计,然后提前规划好大数据项目需要的集群,按照项目的实现逻辑,结合具体的技术组件详细讲解整个大数据项目的开发流程。
一、项目需求分析
需求分析是基础,需求分析贯穿整个项目的始终,是对客户需求的深入了解。整个项目自始至终都需要与客户或用户进行交流。大数据项目需求是以数据为中心,在需求分析阶段就强调数据的分析。大数据项目的需求分析主要分为以下四阶段。
● 概念需求分析
● 场景需求分析
● 界面需求分析
● 细节需求分析
接下来以壮族自治区糖业大数据平台项目项目,糖业数据采集+存储+治理+分析+可视化应用+共享的案例来进行需求分析,具体需求如下。
1.场景需求分析
场景需求分析阶段体现了系统的总体构思与设计,目的是为了了解系统的组织形式和功能需求的全貌,解决“是什么”的问题。结合该项目案例的需求,满足实时计算场景,需要设计大数据实时分析系统,当然同时也可以设计离线分析系统。分析系统包含数据采集、数据存储、数据过滤清洗、数据统计分析以及数据可视化等结构,最终需要统计分析蔗糖从生产到销售的全生命周期数据管理。
2.概念需求分析
概念需求分析的任务是对系统中涉及的概念、数据内容等进行分析,解决“有什么”的问题。该项目数据主要包含为涉农应用提供蔗农、蔗地块精准数据,5大分析域、21个应用场景,主要以日志的形式写到日志服务器本地磁盘。需要利用用户浏览日志数据统计分析相应的需求结果,数据需要经过以下流程。
(1)数据采集∶蔗糖数据落盘到日志服务器之后,可以利用Flume采集工具完成数据采集。
(2)数据存储与交换∶根据离线和实时应用场景,可以将采集的数据存储到HBase或Kafka。
(3)数据计算∶利用离线和实时计算框架完成对数据的统计分析,最后将结果输出到数据库。
(4)数据可视化∶对数据库中的数据进行可视化,完成数据大屏展示。
3.细节需求分析
细节需求分析是解决“怎么做”的问题。详细的需求分析包括采用怎样的大数据技术架构、详细的数据流程架构设计以及数据库设计等。
4.界面需求分析
客户能否用好大数据系统最终决定项目的成败,良好的可视化界面也是不可忽视的。系统界面的好坏并不是追求界面的炫酷,而是根据可视化界面能否分析出有价值的信息,帮助决策者快速做出决策,梯度科技提供综合性糖业监管全息可视化平台。最终的可视化界面要准确反映糖业数据的实时变化情况,分析蔗糖从生产到销售不同阶段变化情况,以及实现糖业全产业链、价值链、供应链互联互通,助力蔗糖产业走向智能化创新发展新方向。
大数据采集存储分析利用架构,大数据采集存储分析利用架构方式,大数据采集存储分析利用架构技术
作者:整理来源:腾讯视频,时间:2023-01-11 05:13,浏览:85