南塘镇数据采集系统可行性分析
编辑整理：整理来源：抖音，浏览量：63，时间：2022-10-01 05:21:01
数据采集系统可行性分析，数据采集系统可行性分析表，分析系统的可行性
前沿：数据采集系统可行性分析
RFID(Radio Frequency Identification)即射频识别技术，属非接触式自动识别技术，通过射频信号自动识别目标对象获取相关数据，无须人工干预，可用于各种恶劣环境，并可识别高速运动物体及多个标签。 电子标签是RFID的通俗叫法，由标签、解读器、数据传输和处理系统四部分组成，其基本工作原理是：电子标签中有约定格式的数据，分别为被动标签和主动标签。被动标签进入磁场后，接收解读器发出的射频信号，凭借感应电流所获得的能量发送出存储在芯片中的产品信息（Passive Tag，无源标签或被动标签），或者主动发送某一频率的信号（Active Tag，有源标签或主动标签）；解读器读取信息并解码后，送至中央信息系统进行有关数据处理。 RFID的特点：第一，可以识别单个的非常具体的物体，而不是像条形码那样只能识别一类物体；
第二，其采用无线电射频，可以透过外部材料读取数据，而条形码必须靠激光来读取信息；
第三，可以同时对多个物体进行识读，而条形码只能一个一个地读。此外，储存的信息量也非常大。 RFID 技术在物流行业中的运用 具体来说，可以从以下四个方面来进行：在仓储库存、资产管理上，可以通过RFID技术自动记录出库、入库方面的信息，并且确定某一物品适当的库存位置，从而能够更好地了解货物存放、数量等方面的信息，降低仓储成本，提高管理效率。在产品跟踪上，可以通过RFID实现对物品进行追踪，了解物品的位置，实现对货物信息的采集、交换和处理，从而能够更好地确保物流速度和效率。在供应链自动管理上，可以通过RFID，使供应商了解到物品销售情况，从而能够根据需求及时进行生产，提供相应货物，这样可以减少库存积压，提高供应链的竞争力，在市场竞争中获得优势。在配送环节上，可以通过RFID，让收货处自动读取货物信息，掌握货物进出的有关情况，生成进货或发货清单，从而大大提高配送的速度和效率，便于对配送货物的管理。 物流业需要注意在物流的各个环节运用RFID技术，从而提高单独环节的效率、质量和速度，在整体上促进物流水平的提高。RFID技术使用具有专业性。因此，物流企业必须加强对物流从业人员的培训，使物流从业人员能够比较熟练地掌握RFID技术，从而使RFID技术能够更好地发挥作用，实现产品的生产、存储、运输、销售整个供应链过程的智能化。 GPS在物流中普及应用后,通过互联网实现信息共享,实现三方应用,车辆使用方、运输公司、接货方对物流中的车货位置及运行情况等都能了如指掌,透明准确,利于三方协调好商务关系,从而获得最佳的物流流程方案,取得最大的经济效益。 GIS应用于物流分析，主要是指利用GIS强大的地理数据功能来完善物流分析技术。GPS在物流领域的应用可以实时监控车辆等移动目标的位置，根据道路交通状况向移动目标发出实时调度指令。而GIS、GPS和无线通讯技术的有效结合，再辅以车辆路线模型、最短路径模型、网络物流模型、分配集合模型和设施定位模型等，能够建立功能强大的物流信息系统，使物流变得实时并且成本最优。GIS/GPS在物流企业应用的优势主要体现在以下几个方面： 1．打造数字物流企业，规范企业日常运作，提升企业形象。GIS/GPS的应用，必将提升物流企业的信息化程度，使企业日常运作数字化，包括企业拥有的物流设备或者客户的任何一笔货物都能用精确的数字来描述，不仅提高企业运作效率，同时提升企业形象，能够争取更多的客户。 2．通过对运输设备的导航跟踪，提高车辆运作效率，降低物流费用，抵抗风险。GIS/GPS和无线通讯的结合，使得流动在不同地方的运输设备变得透明而且可以控制。 ·结合物流企业的决策模型库的支持，根据物流企业的实际仓储情况，并且由GPS获取的实时道路信息，可以计算出最佳物流路径，给运输设备导航，减少运行时间，降低运行费用。 ·利用GPS和GIS技术可以实时显示出车辆的实际位置，并任意放大、缩小、还原、换图；可以随目标移动，使目标始终保持在屏幕上，利用该功能可对重要车辆和货物进行跟踪运输。对车辆进行实时定位、跟踪、报警、通讯等的技术，能够满足掌握车辆基本信息、对车辆进行远程管理的需要，有效避免车辆的空载现象，同时客户也能通过互联网技术，了解自己货物在运输过程中的细节情况。比如在草原牧场收集牛奶的车辆在途中发生故障，
1、项目概况
2021 年 10 月 26 日印发《2030 年前碳达峰行动方案》，我国政府进一步明确了双碳战略的路线图。此后，各地方政府和能源监管机构对于“碳排放管理”相关业务需求激增。
本项目开发的碳排放大数据管理运营平台能够针对各级政府碳排放管理的多种业务需求灵活组态，实现敏捷开发、快速构建满足不同业务需求的碳排放大数据管理系统。该平台可以应用于包含碳盘查/排放检测、支撑政府建设碳排放大数据中心、为政府提供碳排放全景数据采集分析展示、碳排放监测与预警、碳排放算法与标准管理、辅助决策减碳管理等类型的项目。
本项目基于公司服务碳达峰、碳中和战略部署，充分发挥公司在电力行业已有优势，依托电力数据和能源消费结构数据，综合运用大数据、云计算等新兴技术，具备碳排放数据云采集、数仓存储、并行运算、靶向分析、分诊监测、柔性辅助决策和碳排放大数据全景展示等核心业务功能构件，能够支撑排放总量控制、总体分析、碳排放区域行业管控、企业碳排放控排量分析和碳排放总体监测等应用功能，为各级政府推进碳达峰、碳中和专项工作提供强大支撑。
2、项目的必要性
（1）本项目是适应国家践行“双碳战略”的需要
“十四五”发展规划和碳达峰、碳中和国家战略规划，指明了我国“双碳”发展目标及路径。另外，我国“十四五”规划中的“完善能源消费总量和强度双控制度，重点控制化石能源消费。实施以碳强度控制为主、碳排放总量控制为辅的制度，重点企业率先达到碳排放峰值”内容，也为在全国范围普遍开展碳排放大数据检测系统提出了宏观需求。但现阶段，缺乏统一规范的碳排放核算体系，各级地方政府碳排放“家底”尚未摸清，碳市场设计实践存在难点，缺乏有效的以碳排放大数据为基础的监测体系支撑。
“十四五”规划还指出未来“非化石能源占能源消费总量比重提高到 20%左右。推动煤炭生产向资源富集地区集中，合理控制煤电建设规模和发展节奏，推进以电代煤”，未来我国能源结构会发生深刻变化，清洁能源将在能源结构中占具较高比例。在推进节能减排和绿电的同时，对煤炭消费清洁高效利用，强化煤炭燃烧污染深度治理和管控，都需要有效的碳排放数据为基础支持决策。
（2）本项目是适应各级政府开展能源结构优化、推进能源革命的需要
各级政府在引导能源清洁消费、推进节能减排方面，同样需要有效的“碳数据”进行分析决策，辅助政府因地制宜地促进能源节能减排方案有效落地。
为了优化能源供应体系、推动实施能源资源综合规划，各级政府需要统筹供给侧和需求侧各类资源，编制实施能源资源综合规划，促进供给侧和需求侧资源协同优化，提升能源资源配置效率。同时，各级政府也需要以市场化手段确定天然气勘探开发、天然气发电、可再生能源发电、储能电站、油气管网、电网等能源项目投资。不论是创新能源生产机制亦或是能源建设新举措，各级政府都需要有效的碳排放数据、科学的碳排放数据实时监测以及大数据分析指导进行支撑。
因此，根据地区特点构建适合本地区经济发展目标的碳排放大数据管理信息系统正在逐渐得到各省市两级地方政府的高度重视。
（3）本项目是支持公司“双碳业务”和“综合能源业务”的需要
2022 年公司提出转型升级发展目标，进军“双碳业务”，拓展“综合能源业务”。本项目能够为省市两级政府快速部署适合本省（市）管理需求的碳排放大数据管理信息系统。在支持碳排放大数据集成、共享与应用的同时，还能及时通过与相关政府部门合作了解当地的实际能源消费情况，发现“综合能源”项目商机，快速推进公司综合能源业务发展。
3、项目的可行性
（1）国家和各级政府对碳排放监测高度重视
2021 年 10 月生态环境部发布《关于做好全国碳排放权交易市场数据质量监督管理相关工作的通知》，通知要求各省加强企业碳排放数据质量监督管理，保障碳排放交易市场平稳有序运行，切实提高对做好全国碳市场数据质量监督管理工作的认识，迅速开展数据质量自查工作，配合做好发电企业温室气体排放专项执法，建立碳市场排放数据质量管理长效机制。公司先后参加了多地政府及大型央企关于碳排放数据系统建设的咨询、方案制定及数据平台开发等工作，通过总结发现，虽然各级政府及企业的碳排放管理业务需求存在一定的地区差异，但是因地制宜地建设本地碳排放检测系统的需求非常强烈，并且都是“十四五”的重点工作之一。
（2）公司具备深厚的技术储备
长期以来恒实科技在大数据物联网领域积累丰富，具有自主知识产权的技术中台产品（H-iTMG）、大数据分析产品（H-VBI）、可视化物联网实时采集监控平台（H-ARIoT），具备快速搭建碳排放大数据管理运营平台的能力。同时，公司长期以来在能源、大数据等领域的技术积累能够为本项目研发提供强有力的支撑，相关核心技术如下：
（3）公司具备成熟的技术团队及管理团队
公司的高级管理人员大部分都具有资深的行业技术经验和丰富的管理经验；同时，公司不断引进高素质的高级职业管理人才，逐渐丰富、完善管理团队。通过建立科学的规章制度体系，公司在决策、经营、科研等各方面都有较为完善的制度保证，保证公司管理团队的稳定。
4、项目建设方案
（1）总体架构方案
碳排放大数据管理运营平台包括碳排放管理全景展示控件集、碳排放数据分析应用控件集、碳排放数据存储控件集和碳排放数据采集控件集，总体架构方案具体如下图所示：
（2）建设内容
①碳排放管理全景展示控件开发
基于恒实科技 H-VBI 技术支撑平台开发碳排放管理全景展示技术与扩展控件集，具体包括：
A、开发碳排放大数据演示全景设计面板控件，针对碳排放多维信息展示需求，提供布局设计、控件组合和数据链接技术支撑，实现一步设计三端输出（一步设计是指在面板上完成一次性设计，三端输出是指设计结果同时能自动适应大屏、桌面终端和移动终端），支撑敏捷开发和快速部署。
B、开发碳排放全景展示控件，开发基于 GIS 的碳排放热力图技术、开发三维趋势图显示技术、开发碳排放人机交互三维钻取技术、开发球面坐标系 3 维动态贴图算法等 H-VBI 扩展业务组件，支撑碳排放大数据全景展示。
C、开发碳排放可视化数据集配置控件，实现交互式展示数据集配置，支撑大数据钻取的复杂需求。
②碳排放数据分析应用控件开发
研究碳排放数据分析技术体系并建立碳排放监控分析指标体系，包括：研究碳排放总体分析技术、行业碳排放分析技术、能源分类碳排放分析技术、企业碳排放分析技术、碳排放对比分析技术、碳排放监测技术、减碳分析技术、碳排放指标管理技术，并开发相应的控件集合，具体包括：
A、碳排放总体分析控件：通过大数据分析技术，对所在地区近若干年度、月度总体碳排放情况进行钻取分析，获取碳排放总量、碳排放强度和碳排放趋势更关键指标数据。
B、行业碳排放分析控件：以国标行业分类以及能源统计年鉴行业分类为依据，实现对不同区域、不同行业年度碳排放情况的监测分析。
C、能源分类碳排放分析控件：针对地区不同的能源类型生产消费过程中产生的排碳量进行时间、空间多维度钻取分析。
D、企业碳排放分析控件：面向地区内规模以上企业进行碳排放大数据分析，以国家规定的企业年二氧化碳排放量（2.6 万吨二氧化碳当量）为编辑条件，精准甄别重点排放单位。
F、碳排放对比分析控件：包括 GDP 能耗对比分析控件和碳排强度对比分析控件两大类，将地区单位 GDP 能源消耗数据、地区碳排强度数据分别与上下级
辖区数据进行时空对比分析，为政府相关部门决策提供数据支撑。
G、碳排放监测控件：主要围绕重点行业和重点企业碳排放监测大数据，建立基于碳排控制总量的三级预警机制。碳排控制总量是规定重点排放行业和企业可获得的配额数量上限，为监管机构提供了预先的确定性。建立碳排控制总量三级预警机制，能帮助重点行业及企业及时掌握碳排量情况，当碳排量达到预警值时，能及时发现问题，提早进行调整处置。
H、减碳分析控件：研究碳足迹追踪算法并开发碳足迹优化技术，初期面向电力生产消费产业链条，重点研究电代煤、电代油两个领域的碳足迹时空优化算法，构建减碳分析技术体系雏形。
I、碳排放指标管理控件：根据 GDP 每年预计增长量，对单位 GDP 能耗、五项能源消费及碳排放控制总量目标值进行计划管理，从而实现对碳排放控制总量指标目标管理、碳排放指标跟踪管理和碳排放指标考核管理，为各级政府部门科学合理开展双碳监管和实现双碳目标提供科学决策支撑。
③碳排放数据存储控件开发
研究开发碳数据贴源层数据模型、碳数据基础层数据模型、碳数据汇总层数据模型；研究开发碳排放标准库管理控件和碳排放算法集和模型集控件，具体包括：
A、碳排放标准库管理控件：研究语义定义控件和自然语言检索控件，实现碳排放各类各层级标准适用范围、术语和定义、碳排放核算边界、核算方法、质量保证、报告内容和格式规范等相关国家碳排放核算标准自然语言信息的抽象化建模和定义存储和查询。
B、碳排放算法集与模型集控件：研究算法集控件，实现碳排放算法的导入、算法版本管理、算法检索；研究行业碳排放算法，实现基于国家标准针对七大行业碳排放算法开发；研究分项能源碳排放基础测算算法，分别针对国家标准及地方标准，按五类能源分类的碳排放基础测算算法；研究能耗碳排量测算算法；研究电力碳排放预测模型算法，构建电力碳排放预测模型。
④碳排放数据采集控件开发
A、研究开发碳排数据源管理控件，研究数据源配置技术和数据接口配置技术，支撑异构系统灵活接入。
B、研究开发碳数据采集控件，支撑实时数据采集、接口数据采集、库-库数据采集和批量数据采集。
C、研究开发碳排数据解析校验控件，实现可自定义的解析校验算法，支撑各种未知的、异构的数据交互需求。
5、项目实施主体
本项目的实施主体为南塘镇恒泰实达科技股份有限公司。
6、项目投资概算
本项目预计投资人民币 7,393.62 万元，拟使用募集资金投入 6,993.62 万元，具体投资构成如下：单位：万元
7、项目经济效益分析
本项目预计财务内部收益率（税后）为 22.01%，税后静态投资回收期为 5.13年（含建设期），具有良好的经济效益。
8、项目建设期
本项目建设周期为三年。
9、项目备案及审批情况
本项目相关报批事项正在办理过程中。
此报告为正式可研报告摘取部分，个性化定制请咨询思瀚产业研究院。
补充拓展：数据采集系统可行性分析
1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。 （推荐答案！）
生活在数据裸奔的时代，普通人在喊着如何保护自己的隐私数据，黑心人在策划着如何出售个人信息，而有心人则在思考如何处理大数据，数据的处理分几个步骤，全部完成之后才能获得大智慧。
大数据处理流程完成的智慧之路：
头一个步骤叫数据的收集。
首先得有数据，数据的收集有两个方式：
头一个方式是拿，专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的：它把网上的所有的信息都下载到它的数据中心，然后你一搜才能搜出来。比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面？就是因为他把数据都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时候，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。
第二个方式是推送，有很多终端可以帮我收集数据。比如说小米手环，可以将你每天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。
第二个步骤是数据的传输。
一般会用队列方式进行，因为数据量实在是太大了，数据必须经过处理才会有用。可系统处理不过来，只好排好队，慢慢处理。
第三个步骤是数据的存储。
现在数据就是金钱，掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么？就是因为它有你历史的交易的数据，这个信息可不能给别人，十分宝贵，所以需要存储下来。
第四个步骤是数据的处理和分析。
上面存储的数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。
比如盛传的沃尔玛超市的啤酒和尿布的故事，就是依靠对人们的购买数据进行分析，发现了男人一般买尿布的时候，会同时购买啤酒，这样就发现了啤酒和尿布之间的相互关系，获得知识，然后应用到实践中，将啤酒和尿布的柜台弄的很近，就获得了智慧。
第五个步骤是对于数据的检索和挖掘。
检索就是搜索，所谓外事不决问Google，内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎，因此人们想寻找信息的时候，一搜就有了。
另外就是挖掘，仅仅搜索出来已经不能满足人们的要求了，还需要从信息中挖掘出相互的关系。比如财经搜索，当搜索某个公司股票的时候，该公司的高管是不是也应该被挖掘出来呢？如果仅仅搜索出这个公司的股票发现涨的特别好，于是你就去买了，其实其高管发了一个声明，对股票十分不利，第二天就跌了，这不坑害广大股民么？所以用各种算法挖掘数据中的关系，形成知识库，十分重要。
最近写了好多大数据分析的文章，《大数据分析十八般工具》、《剖析大数据分析就业前景》、《大数据分析是什么》、《大数据分析12大就业方向》等，好多同学问我大数据分析流程是什么，要小编姐姐整理一下，分享出来，今天我们就说说大数据分析流程是什么?
一、大数据分析流程图
1.1 数据处理流程
该项目是一个纯粹的大数据分析项目，其整体流程基本上就是依据数据的处理流程进行，依此有以下几个大的步骤：
1) 数据采集
首先，通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志;然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中;一个综合分析系统，数据源可能不仅包含点击流数据，还有数据库中的业务数据(如用户信息、商品信息、订单信息等)及对分析有益的外部数据。
2) 数据预处理
通过mapreduce程序对采集到的点击流数据进行预处理，比如清洗，格式整理，滤除脏数据等
3) 数据入库
将预处理之后的数据导入到HIVE仓库中相应的库和表中
4) 数据分析
项目的核心内容，即根据需求开发ETL分析语句，得出各种统计结果
5) 数据展现
将分析所得数据进行可视化
1.2 项目结构
由于本项目是一个纯粹大数据分析项目，其整体结构亦跟分析流程匹配，并没有特别复杂的结构，如下图：
其中，需要强调的是：系统的大数据分析不是一次性的，而是按照一定的时间频率反复计算，因而整个处理链条中的各个环节需要按照一定的先后依赖关系紧密衔接，即涉及到大量任务单元的管理调度，所以，项目中需要添加一个任务调度模块
1.3 数据展现
数据展现的目的是将分析所得的数据进行可视化，以便运营决策人员能更方便地获取数据，更快更简单地理解数据，下面是对独立访客的数据分析展现示例：
二、大数据分析的5个方面
1.、Analytic Visualizations(可视化分析)
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。零基础学大数据分析现实吗
2.、Data Mining Algorithms(数据挖掘算法)
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
3.、Predictive Analytic Capabilities(预测性分析能力)
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
4.、Semantic Engines(语义引擎)
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
5.、Data Quality and Master Data Management(数据质量和数据管理)
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据分析能给我们带来的好处，而不仅仅是挑战。
6、数据存储，数据仓库
数据仓库是为了便于多维分析和多角度展示数据按特定模式进行存储所建立起来的关系型数据库。在商业智能系统的设计中，数据仓库的构建是关键，是商业智能系统的基础，承担对业务系统数据整合的任务，为商业智能系统提供数据抽取、转换和加载(ETL)，并按主题对数据进行查询和访问，为联机数据分析和数据挖掘提供数据平台。
三、大数据项目开发步骤：
第一步：需求：数据的输入和数据的产出;
第二步：数据量、处理效率、可靠性、可维护性、简洁性;
第三步：数据建模;
第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构;
第五步：再次思考大数据系统和企业IT系统的交互;
第六步：最终确定选择、规范等;
第七步：基于数据建模写基础服务代码;
第八步：正式编写第一个模块;
第九步：实现其它的模块，并完成测试和调试等;
第十步：测试和验收;
四、大数据分析流程
从流程角度上看，整个大数据分析处理可分成4个主要步骤。
第一步是数据的搜集与存储;
第二步是通过数据分析技术对数据进行探索性研究，包括无关数据的剔除，即数据清洗，与寻找数据的模式探索数据的价值所在;
第三步为在基本数据分析的基础上，选择和开发数据分析算法，对数据进行建模。从数据中提取有价值的信息，这其实是真正的阿里云大数据的学习过程。这当中会涉及很多算法和技术，比如机器学习算法等;
最后一步是对模型的部署和应用，即把研究出来的模型应用到生产环境之中。
1) 数据采集：定制开发采集程序，或使用开源框架flume
2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品
五、案例分享
1、提出需求-需要和多个部门负责人进行协商：关于项目的可行性分析
2、需求分析-进行需求调研(研究竞品)、市场调研，如果是给甲方做产品，需要和甲方协商需求细则
3、技术选型-需要多个开发部门的人员参与协商：考虑的角度：数据的生成、数据采集、源数据的存储、数据清洗、消息中间件、数据分析引擎、结果数据的存储、数据的展示
4、可行性分析-预研工作：搭建技术平台，测试可行性
5、指标分析-需求和指标之间的转换，需求的细化
6、数据对接-数据采集、清洗、源数据存储、中间件(项目前期是一个非常重要而且有难度的工作)
7、数据分析-把指标转换为代码的过程
8、结果的存储
9、数据展示-运营部门