网络数据采集分析系统
编辑整理:整理来源:百度知道,浏览量:53,时间:2022-10-13 14:00:01
网络数据采集分析系统,网络数据采集技术,数据分析采集技术
提供一些技术建议:
数据采集,数据清洗,数据加工,数据建模,分析,得出结果。
数据采集需要将网站的招聘数据采集下来,可能需要大量的数据,并且是相当一段时间的数据,不能是一个短时间的数据;
数据清洗:将垃圾数据和不规范的数据进行处理,要分析,肯定会有很多分析的维度,分类什么的,要统一;
数据加工:将不规范的数据进行二次处理,统一规则;
数据建模:可简可繁,根据实际情况建模吧,首次做还是简单点
分析得出结果:这就简单了,根据已有数据输出数据样本;
数据采集:可用网络矿工采集器,可实现采集和数据的初步加工
ETL工具可用 KETTLE ,开源的
数据库,自己选择吧,比较多
输出数据:可以自己来做,也可以选择第三方的,不过无论如何也许用点工具,简单的话,用excel
1. 爱的欢乐寓于爱之中,享受爱情比唤起爱更加令人幸福。 —— 拉罗什富科
很多麻烦的统计处理结果取决于您选择的样品,
我是这么认为的
你这很麻烦,后期统计处理的结果基本取决于你选择的样本,
我是这么觉得的
网友热门话题评论:
网络数据采集分析系统完!