编辑整理:整理来源:百度知道,浏览量:75,时间:2022-12-14 08:56:01
大数据采集分析工具,大数据的数据采集工具,大数据采集分析系统
大数据:探索现实世界的规律
在通常的社会调查研究活动中,我们想要了解人们对某个社会问题的态度、行为模式或者价值观念的时候,总是会使用问卷调查这种信息收集模式。不过,问卷调查总是需要耗费大量的人力、物力,并且过程时间长,而且它不够灵活,对问卷问题设置能力有较大考验,也只能覆盖到有限的人群。
当然,在不同的调查需求上,问卷调查有其优劣势,这里拿它作为比较,是为了说明大数据的特性。问卷调查获得的资料称为样本,它的数量是有限的,且反映出的信息依赖于提前设置好的问题,今天当我们在调查活动中需要对个体进行深度挖掘时,它仍是很好的方式,但对常规的、普遍的社会行为进行探究时,对它的依赖度则下降了。
社会数字化程度的加深、计算能力的提高和存储容量的增长,使得许多情况下不必依赖有限的样本信息去推测全局,而是直接获得整体的或大范围内的数据状况。
大数据涉及的规模巨大、种类繁多,当移动互联网在社会中普及,它涵盖了人衣食住行各方面的行为数据,而随着数字化转型的深度拓展,传感器的大范围布局,生活的方方面面都逐渐数据化,大数据也进一步对现实世界实现了渗透。不过,大数据在最初被采集到时,总是非结构化的、价值密度低的、信息复杂程度高的,只有经过专业化的加工和数据分析后,才能在改善社会决策和商业模式中起到作用。
总体来说,大数据是以数量的优势、全面的优势、速度的优势,反映出复杂的现实世界中各事件的相关关系,发现规律,从而对未来进行预测。
“最佳选择”
大数据正在改变社会的运行形式,为生产生活提供了便利的工具,就像望远镜让人能观察到彼时彼地的情况,当信息更加对称和充足,就能帮助人在行为决策时做出“最佳选择”。
大数据的应用在日常生活中已随处可见。疫情防控中,通过感染者的时空大数据可以及时地进行流调,避免疫情进一步扩散,通过感染区域分布、规模、密度等可以即时反映地区疫情,从而使政府部门合理分配资源、明确工作重点,帮助公众掌握疫情动态。大数据越是精准,疫情防控越能科学合理,减少不必要的社会损失。
在公共交通中,大数据的作用体现得更为明显,电子地图利用用户的出行数据能实时掌握城市整体的出行状况,从而为用户导航最佳路线,即时反馈公交的到站时间;物流行业通过大数据可以制定最佳路径,降低物流成本,提高配送效率,还能及时反馈给用户当前的配送进度;以及被市场看好、正在快速发展的自动驾驶,首先就要进行大量的数据采集,通过大数据实现对周边环境的分析和判断。
另一方面,商业信息、商业行为的数字化,使得大数据正逐渐成为商业变革的主导因素。
大数据通过丰富的标签体系去了解用户的基础特征,地域、性别属性、消费特点、兴趣爱好等,从而了解目标用户的真实需求,实现用户洞察,推动产品设计的改良和最终销售量的提升;数据作为新的生产资料,同时释放出了更具效率的生产力,在生产制造活动中,大数据能够推动柔性、定制化生产,提高了生产效率也降低了生产成本;在商业营销中,数字化营销模式正在实现对传统营销方式的取代,它不仅能做到触达人群广,还能实现个性化的精准推荐,在互联网时代成为拓客引流的重要工具。
大数据为过去主要依靠人的主观商业洞察和联想提供了佐证和精确性,发掘出了新的价值组合方式,得到了过去无法企及的商机。
大数据带来的伦理挑战
大数据“杀熟”是近几年受到广泛关注的社会议题之一,不仅有旅游服务平台被曝在同一产品下针对不同类型消费者设置不同价格,更有高校教授带领团队研究发现使用不同品牌手机的用户在使用某打车平台软件叫车时存在接单的车型差异和时间差异。
以全方位收集消费者个人信息为基础的大数据分析,在社会生活、商业创新方面创造了不可估量的价值的同时,也带来了挑战社会伦理价值的隐忧,它不仅体现在可能出现的市场价格歧视上,也包括数据质量、数据安全、数据隐私等范围。
既要最大程度上发挥出大数据的效用,又要使其符合社会伦理和共同利益的要求,一方面要从技术上找方法,例如,针对数据隐私保护问题,当下有联邦学习等隐私安全计算方面的探索,从而实现共享数据有价值的部分但又不必牺牲其中的隐私数据;在数据安全问题上,也有如敏感数据识别、数据分级分类管控、数据加密等以防止重要数据泄露的方式。
另一方面,更重要的是用法律法规作为底线去约束对个人信息的过度采集行为、商业中的隐私侵犯与不合理的价格歧视、大数据中的数据泄露等现象。近年来,已有《网络安全法》《个人信息安全规范》《民法典》、APP专项治理行动等对数据合规做出了新的要求,对于互联网平台企业的监管也日益趋严,不过,数字经济时代下,必然会涌现许多新的、原有的法律法规不能完美解释的问题,要激发数据的价值,维护社会和商业伦理,保障公众权益,需要摸着石头过河,以解决具体个例实现政策引导与市场监管。
(文/野藏)