问题分析与数据采集 数据分析解决哪些问题
编辑整理：整理来源：油管，浏览量：73，时间：2022-06-17 16:56:01
问题分析与数据采集，数据采集存在的问题，用数据分析问题
关于问题分析与数据采集内容导航：
问题分析与数据采集
谈一些个人的工作经验，希望对后来人有帮助。首先总结下平时数据分析的一般步骤。---------------------------浓缩精华版--------------------------------
第一步：数据准备：（70%时间）
获取数据（爬虫，数据仓库）
验证数据
数据清理（缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集）
使用python进行文件读取csv或者txt便于操作数据文件（I/O和文件串的处理，逗号分隔）
抽样（大数据时。关键是随机）
存储和归档
第二步：数据观察（发现规律和隐藏的关联）
单一变量：点图、抖动图；直方图、核密度估计；累计分布函数
两个变量：散点图、LOESS平滑、残差分析、对数图、倾斜
多个变量：假色图、马赛克图、平行左边图
第三步：数据建模
推算和估算（均衡可行性和成本消耗）
缩放参数模型（缩放维度优化问题）
建立概率模型（二项、高斯、幂律、几何、泊松分布与已知模型对比）
第四步：数据挖掘
选择合适的机器学习算法（蒙特卡洛模拟，相似度计算，主成分分析）
大数据考虑用Map/Reduce
得出结论，绘制最后图表
循环到第二步到第四步，进行数据分析，根据图表得出结论完成文章。
------------------------------业务分析版--------------------------------
“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹，就像金矿等待发掘。但是首先你得明确自己的业务需求，数据才可能为你所用。
1. 数据为王，业务是核心
了解整个产业链的结构
制定好业务的发展规划
衡量的核心指标有哪些
有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
2. 思考指标现状，发现多维规律
熟悉产品框架，全面定义每个指标的运营现状
对比同行业指标，挖掘隐藏的提升空间
拆解关键指标，合理设置运营方法来观察效果
争对核心用户，单独进行产品用研与需求挖掘
发现规律不一定需要很高深的编程方法，或者复杂的统计公式，更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉，因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示，需要使用直觉与观察（数据可视化技术来呈现）。
3. 规律验证，经验总结
发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。
P.S.数学建模能力对培养数感有一定的帮助
推荐两个论坛：
数学建模与数学应用论坛(Mathematical Modeling and Mathematical Applications Forum)
数学中国 (数学建模)-最专业的数学理论研究、建模实践平台 本回答被提问者和网友采纳
数据库查询—SQL
数据分析师在计算机的层面的技能要求较低，主要是会SQL，因为这里解决一个数据提取的问题。有机会可以去逛逛一些专业的数据论坛，学习一些SQL技巧、新的函数，对你工作效率的提高是很有帮助的。
统计知识与数据挖掘
你要掌握基础的、成熟的数据建模方法、数据挖掘方法。例如：多元统计：回归分析、因子分析、离散等，数据挖掘中的：决策树、聚类、关联规则、神经网络等。但是还是应该关注一些博客、论坛中大家对于最新方法的介绍，或者是对老方法的新运用，不断更新自己知识，才能跟上时代。
行业知识
如果数据不结合具体的行业、业务知识，数据就是一堆数字，不代表任何东西。是冷冰冰，是不会产生任何价值的，数据驱动营销、提高科学决策一切都是空的。
一名数据分析师，一定要对所在行业知识、业务知识有深入的了解。例如：看到某个数据，你首先必须要知道，这个数据的统计口径是什么？是如何取出来的？这个数据在这个行业，在相应的业务是在哪个环节是产生的？数值的代表业务发生了什么（背景是什么）？对于A部门来说，本月新会员有10万，10万好还是不好呢？
而怎么才能发展为数据分析专家，这不仅需要扎实的理论基础之外，还需要能够从团队出发开始思考问题，能够走出团队，开始与业务部门谈合作和规划，能够通过数据产品解决业务上的问题。
业务为核心，数据为王
了解整个产业链的结构
制定好业务的发展规划
了解衡量的核心指标
有了数据必须和业务结合才有效果。
需要懂业务的整体概况，摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
思考指标现状，发现多维规律
熟悉产品框架，全面定义每个指标的运营现状对
比同行业指标，挖掘隐藏的提升空间
拆解关键指标，合理设置运营方法来观察效果
争对核心用户，单独进行产品用研与需求挖掘
业务的分析大多是定性的，需要培养一种客观的感觉意识。定性的分析则需要借助技术、工具、机器。而感觉的培养，由于每个人的思维、感知都不同，只能把控大体的方向，很多数据元素之间的关系还是需要通过数据可视化技术来实现。
规律验证，经验总结
发现了规律之后不能立刻上线，需要在测试机上对模型进行验证。
Excel是否精钻？
除了常用的Excel函数（sum、average、if、countifs、sumifs、offset、match、index等）之外，Excel图表（饼图、线图、柱形图、雷达图等）和简单分析技能也是经常用的，可以帮助你快速分析业务走势和异常情况；另外，Excel里面的函数结合透视表以及VBA功能是完善报表开发的利器，让你一键轻松搞定报表。
你需要更懂数据库
常用的数据库如MySQL，Sql Server、Oracle、DB2、MongoDB等；除去SQL语句的熟练使用，对于数据库的存储读取过程也要熟练掌握。在对于大数据量处理时，如何想办法加快程序的运行速度、减少网络流量、提高数据库的安全性是非常有必要的。
掌握数据整理、可视化和报表制作
数据整理，是将原始数据转换成方便实用的格式，实用工具有Excel、R、Python等工具。数据可视化，是创建和研究数据的视觉表现，方便业务方快速分析数据并定位具体问题，实用工具有Tableau、FineBI、Qlikview.
如果常用excel，那需要用PPT展示，这项技能也需要琢磨透。如果用tableau、FineBI之类的工具做数据可视化，FineBI有推送查看功能，也就是在企业上下建立一套系统，通过权限的分配让不同的人看到权限范围内的报表。
多学几项技能
大多数据分析师都是从计算机、数学、统计这些专业而来的，也就意味着数学知识是重要基础。尤其是统计学，更是数据分析师的基本功，从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。
现在社会心理学也逐渐囊括到数据分析师的能力体系中来了，尤其是从事互联网产品运营的同学，需要了解用户的行为动向，分析背后的动机。把握了整体方向后，数据分析的过程也就更容易。
数据采集分析与处理
信号不好或者通讯模块问题，召测的时候检查通讯模块的信号灯是否闪烁，电表时间是否异常，电池是否有电
数据的采集与分析
检查表主要应用于数据收集。 检查表是使用简单易于了解的标准化图形，人员只需填入规定之检查记号，再加以统计汇整其数据，即可提供量化分析或比对检查用，此种表格称为点检表或查核表。 以简单的数据，用容易理解的方式，制成图形或表格，必要时记上检查记号，并加以统计整理，作为进一步分析或核对检查之用。 一般而言检查表可依其工作的目的或种类分为下述两种： 1.点检用查检表。在设计时即已定义使用时，只做是非或选择的注记，其主要功用在于确认作业执行、设备仪器保养维护的实施状况或为预防事故发生，以确保使用时安全用，此类查验表主要是确认检核作业过程中的状况，以防止作业疏忽或遗漏，例如教育训练查检表、设备保养查检表，
网友评论：
热搜弹幕：问题分析与数据采集，数据采集存在的问题，用数据分析问题