南京数据采集中的误差来源的分析
编辑整理：整理来源：维基百科，浏览量：45，时间：2022-10-17 01:42:02
数据采集中的误差来源的分析，数据测量过程中的误差源分析，数据采集中的误差来源的分析是什么
前沿：数据采集中的误差来源的分析
1、源误差，来源：数据年代；数据的空间覆盖范围；地图比例尺；观测密度数据的可访性，数据格式；数据与用途的一致性；数据的采集处理方式等。2、由自然变化或原始测量引起的误差，来源：位置误差；属性误差，质量和数量方面的误差；数据偏差；输入输出误差，观测者偏差，自然变化等。
3、GIS处理过程中引起的误差，来源：计算机字长引起的误差；拓扑分析引起的误差，逻辑错误、地图叠置操作；分类与综合引起的误差，分类方法，分类间隔，内插方法等。
字数统计：3324字 预计阅读时间：约6分钟
前言
测量系统分析（MSA）是指通过统计分析的手段，对构成测量系统的各个影响因子进行统计变差分析和研究以得到测量系统是否准确可靠的结论。ＭＳＡ的目的就是通过对测量系统输出变差的分析，判断测量系统是不是可接受的，如果不可接受，进而采取相应的对策。MSA不仅在生产过程中运用较多，在很多持续改进活动中，也需要运用MSA。
1 什么是“测量系统分析”
什么是测量系统分析？也许我们不能解释得很清楚，但其实每个人在我们初中化学课上都已经研实践了：读取试管中溶液量的时，为确保读取值的准确度我们需要让视线与页面平直，这是一个简单的测量系统分析的问题。
简单地说测量系统分析就是“对测量系统所作的分析“。我想这么解释恐怕很难被接受，所以，为了理解MSA的含义，我们可以把它分解成两个部分，一个是“测量系统“，一个是“分析“。
1.什么是测量系统？
我们知道测量就是一个对被测特性赋值的过程，测量系统其实就是这个赋值过程涉及到的仪器或量具、标准、操作、方法、夹具、软件、人员、环境等要素的集合。系统中各个要素对测量结果的影响可能是独立的，也可能是相互影响的（交互作用）。
2.什么是“分析”？
其实，如果要较个真，我们可以说测量系统分析的根本对象不是测量系统，更不是零件，而是测量系统输出的变差。所以也有用测量变差分析 Measurement Variation Staudy（MVS）替代测量系统分析MSA的。不管叫什么名头，这里的“分析”都代表了一系列的分析方法，关于具体方法，下文将介绍。
MSA要回答的问题是：我们测量出来的数据在多大程度上代表了真实的数据？尽管我们永远不能确保测量出绝对准确的数据，但如果采集的数据偏差过大，那么这些数据就没有分析意义，可见MSA是非常关键的。
2MSA的重要性
在进行产品生产之前需要明确的搞清楚产品成品所定义的规格，接下来就必须对产品相对应的规格订定量测的方法，而如何准确地测量产品品质特性，这是整个制造活动最最重要确定事项，在任何改善案件中，当问题定义下来后，紧接著就是来讨论如何精准地且有效地对关键特性进行量测，所以在进行DMAIC改善活动中M阶段是整个改善活动中最重要的一个阶段（如图一），无法准确地量测就无法准确地检视现阶段的状况与衡量改善成效。
图一：DMAIC流程图
在生产制程上所产生的变异来源也分为两类：
1.产品的实际品质变异
2.量测上的变异
所以我们若能缩小量测上所带来的变异，不但可以精准地对品质好坏进行测量与定义之外，对于生产制程的整体改善也会有一定程度的帮助。
图二：生产制程总变异来源
3MSA的主要术语
1、分辨力
区别能力是指测量系统所能量测之小数点位数，通常区别能力越小代表这量具可以量测到的数值越小，拥有较好的区别能力，至于区别能力，我们可以用以下的尺归图进行说明，通常我们定义好的区别能力至少应该是产品规格或制程变异宽度的十分之一。
图三：分辨力说明
二、准确度
说明到准确性的特性包含了以下两项，分别为1. 偏差、2. 线性，以下将针对这两项目进行详细说明。
1.偏差（Bias）
是指仪器或设备量测数值之平均值和真值或参考值的差距。我们可以由下图（图四）可以清楚了理解偏差所代表的意义，真值或参考值是一个可接受的、能追踪的参考标准。而偏差的来源可以分为以下两项：
操作人员：不同操作员对相同物件量测，产生不同之平均值。
仪器或设备：不同仪器对相同物件量测，产生不同之平均值。
图四：偏差说明
2.线性（Linearity）是指在量具之操作范围内，对准确性及精密性差异的量测。说白了，就是量具在设计测量的产品范围，是否会因为不同的产品规格而有不同的误差范围，我们可以用下图（图五）来说明量测线性的特性。通常我们会希望量测的变异是稳定的，不会因为我所测量的产品不同而产生不同的误差。
图五：线性说明
三、精密性
1.再现性(Reproducibility)
测量系统既有的变异，是指使用相同的操作员、相同的事前准备、相同的物件、相同的环境并且在短时间下进行重複测量，所产生的变异。通常再线性也称为仪器误差（Equipment Variation，EV）。
2.再生性(Repeatability)
不同的操作员，或不同的量测设备对相同物件在短时间下进行重複测量，所产生的差异平均值，通常再现性也称为操作员误差（Appraiser Variation，AV）。我们可以用下图（图六）对再生性进行更明确说明。
图六：再生性说明
四、稳定性（Stability）
在不同时间点下对准确性与精密性进行评估，确认测量系统在不同时间点下所产生的变异，通常我们在进行测量时，是不希望测量系统随著时间点的不同而产生不同的变异范围，故定期进行稳定性确认对于测量系统也是极为重要的一环。
图七：稳定性说明
五、测量能力指标（P/T）
用此指标进行测量系统的判定是为用测量系统的变异与规格的规格进行比较，以此指标我们可以知道目前的量测水准对应现有的设计规格是否能够进行准确的量测，其算法为6倍的量测变异标准差除以规格的公差，以小于10%为佳，10%~30%为堪用阶段，需要进行测量系统的改善，大于30%以上表示此测量系统的精度无法适用于此规格设计。
六、GR&R量测指标
此为我们在业界最常见的测量系统平量总和，通常以此来判断测量系统的好坏，此为6倍的量测变异标准差除以6倍的制程变异标准差，以小于10%为佳，10%~30%为堪用阶段，需要进行测量系统的改善，大于30%以上表示此测量系统的精度无法适用于此规格设计，此评量方法虽然比较通用，但是首要前提须确认制程能力必须能够满足现有的规格，不然此指标也是无法应用在实际的生产应用中。
测量系统品质特性本身即算是一个流程 （process）。任何流程都存在固有的变异，当然也包含测量系统流程。为了正确了解制程之变异，测量系统之误差必须尽量降低。我们可以将测量系统所测量出来的品质结果视为一个y值，而上述各项影响测量系统项目的设定为影响y值的x，对于测量系统的各个项目进行分析以确认重要影响y值的x项目，以对整体的测量系统进行改善，达到制程变异的真实显现以及产品品质好坏的正确判定。
4做MSA常见的十大错误问题
Q1：只做GR&R分析, 其它的偏倚,线性,稳定性不用做,理由是仪器校准过了!!
回答：校准针对的只是该量具是否准确，而MSA是对整个测量系统的统计分析。
Q2：做偏倚/线性分析时, 基准值直接选取为本次测量数据的平均值？
回答：在上述情况下，得出来的偏倚永远为零！因为是自己跟自己比较，有用吗?基准值应用更高精度的测量系统得出来。
Q3：做偏倚时不分析其直方图,直接输入数据后看EXCEL给的判定?
回答：此为懒人行为，不想动脑筋的人，分析直方图可以得知此次测量有无出现特殊原因， 否则偏倚、不合格时你都不知道怎么回事，除非你老是想造假数据。
Q4：做线性分析时, 不区分量具的工作量程和固有量程?
回答：很多时候工程师都不先考虑此量具的工作行程到底是多少，而按其固有量程进行分析，所以经常做无用功。还有一种情况就是根本就不覆盖其整个工作量程。这是不认真的态度。
Q5：稳定性分析时, 未考虑时间和环境的变化, 每天固定时间进行测量?
回答：请问这样做稳定性分析有什么意义？
Q6：GR&R分析时, 不根据测量系统的目的来区分TV的不同?
回答：TV可以用过程变差来计算，可以用公差来计算，可以用PV及GR&R来计算。具体选取哪一个，应考虑测量系统的目的。测量系统用于判定时，TV用公差计算，测量系统用于过程控制及过程研究时，用过程的变差(即6西格玛)来计算。如对测量系统的持续适宜性或为了确定过程方向，TV用PV来计算，后两种样品应覆盖整个过程范围才有意义。
Q7：GR&R分析时, 样品的分布未覆盖整个过程变差范围?
回答：所以NDC数显得很低，因为其默认为样品分布是覆盖过程变差范围的，所以得出的仪器分辨力NG，不能区分出产品间的区别。
Q8：GR&R分析时, 将测量值四舍五入.?
回答：这是乱来的，关键是这样乱来的人还很多.
Q9：计数型测量系统分析时,样品的特性值不典型，不取在模糊区间的样品？
回答：例，规格限为80-120,在其中则判定为OK,<80或>120即判NG，取样时， 样品都在 50或150 左右，分析出来量具100%可靠，晕！！！
请取在模糊区间的样品, 如 79/ 81/ 118/ 121等， 否则有人会信服你的测量系统吗？
Q10：做完MSA报告就完毕, 未将其结果输出给控制计划?
回答：说实话， 这个比较难。但对于GR&R大于10%、<20%仍接受的测量系统，最好将其考虑到CP中去。
因为在线控制中, 经常出出现测量值稍微超出控制限或规格限的情况, 这时候你能分清楚是测量系统的原因还是产品本身的原因吗?
补充拓展：数据采集中的误差来源的分析
4.1空间数据质量控制常见的方法有： 4.1.1传统的手工方法 质量控制的人工方法主要是将数字化数据与数据源进行比较，图形部分的检查包括目视方法、绘制到透明图上与原图叠加比较，属性部分的检查采用与原属性逐个对比或其他比较方法，这要求操作人员具有较高水平的专业素质和一定的耐心。例如，在地图数字化过程中，不可避免地会出现空间点位丢失或重复、线段过长或过短、区域标识点遗漏等问题。几何数据错误如图所示，其中(a)为区域标识点遗漏，(b)为线段过长。为此,可采用目视检查逻辑检验和图形检验等方法进行检查与处理。 4.1.2地理相关法 用空间数据的地理特征要素自身的相关性来分析数据的质量。例如，从地表自然特征的空间分布着手分析，山区河流应位于微地形的最低点，因此，叠加河流和等高线两层数据时，若河流的位置不在等高线的外凸连线上，则说明两层数据中必有一层数据质量有问题，如不能确定哪层数据有问题时，可以通过将它们分别与其他质量可靠的数据层叠加来进一步分析。因此，可以建立一个有关地理特征要素相关关系的知识库，以备各空间数据层之间地理特征要素的相关分析之用。 4.1.3元数据方法 元数据(Metadata)是描述数据的数据.在地理界,最典型的元数据便是各种地图中的图例内容,如图名、比例尺、精度、生产者、出版单位和日期以及其它可以在地图图廓上找到的标识信息等。使用元数据的目的就是促进数据集的准确、高效利用，其内容包括对数据集中各数据项、数据来源、数据所有者及数据生产历史等的说明;对数据质量的描述，如数据精度、数据的逻辑一致性、数据完整性、分辨率、比例尺等；对数据处理信息的说明；对数据转换方法的描述;对数据库的更新、集成等的说明.通过使用元数据，可以检查数据质量,跟踪数据加工处理过程中精度质量的控制情况。例如在数据集成中，不同层次的元数据分别记录了数据格式、空间坐标、数据类型、数据使用的软硬件环境、数据使用规范、数据标准等信息，这些信息在数据集成的一系列处理中，如数据空间匹配、属性一致化处理、数据在各平台之间的转换使用等是必要的。这些信息能够使系统有效地控制系统中的数据流。 4.2以地图数字化生成地图数据过程为例说明空间数据质量控制的方法 地图数字化是数据采集的重要手段。在地图数字化过程中，为了控制数字化过程的质量，我们应从数据预处理、数字化设备及软件的选用、地图配准、数字化方式以及数据精度检查等环节加以控制。 4.2.1数据预处理 首先对原始地图、表格等进行整理、誊清或清绘。对于质量不高的数据源，如散乱的文档和图面不清晰的地图，通过预处理工作不但可减少数字化误差，还可提高数字化工作的效率。对于扫描数字化的原始图形或图像，还可采用分版扫描的方法，以减少数字化误差，提高数字化的工作效率。为了减少图纸在数字化过程中变形对数据精度的影响，保证纸质地图存放环境有适宜的温度和湿度，以减小地图由于环境原因造成的变形，对质量不好的纸质地图应将其复印到变形小于0.2‰的聚脂薄膜上。另外，对地图上的封闭曲线或较长的线状要素应将其进行分段，因为大多数GIS软件能存贮的线状实体顶点数有限，而且对线状要素进行分段处理有利于减少数字化误差，提高数字化精度。 4.2.2正确选择数字化软件设备 数字化仪的分辨率和精度对数字化的质量有着决定性的影响。所以在选用数字化设备时应考虑其分辨率和精度等参数不应低于设计的精度要求。一般数字化仪的分辨率应达到0.025 mm，精度达到0.2 mm，扫描仪的分辨率不低于0.083 mm。此外，软件误差也是影响矢量化精度的一个极重要因素。现在通常采用半自动矢量化方式，进行人机交互操作。因此在选择软件时不应仅仅关心自动化程度，还要特别注意是否具有以下功能：智能去斑、裁剪、扭曲校正、比例控制、水平校正、光栅编辑和交互式矢量化等。 4.2.3地图定向 地图数字化时数字化跟踪头采集地图上点的坐标是数字化仪平面坐标，这种坐标定义取决于数字化仪的精度和配置，同时这些点还有其地理坐标意义。因此在数字化过程中，还需要将地图上点的数字化仪平面坐标转换为该点的实际地理坐标，也就是地图定向。地图定向实现了地图的数学法则及设备坐标到实际地理坐标的转换，同时它对控制数据采集的精度有重要的意义。实际操作中，在图面上均匀选取适当的控制点，控制点的选取应不少于4个，标准分幅地图在内图廓四角上的4个图廓点可作为控制点并标有相应的实际地理坐标，图面上往往还有大地测量控制点可共选择。当没有现成可供选择的控制点或需要增加控制点时，控制点的选取应尽可能选取在明显地物点上，如线状地物的交点，最好是正交的点上，并在图幅上大致均匀分布，这样有利于提高数字化的精度。例如在Super Map软件的支持下，导入一幅南京市政区图进行矢量化。首先确定投影方式，这是保证数据精度的数学法则；其次进行地图配准，选取图廓的4个内角点或政区图的4个方向的最远点即四至点为控制点，系统称之为参考点，其坐标为设备坐标，再输入控制点实际坐标即大地坐标，确定后就实现了精确的地图定向。 4.2.4数字化方式 跟踪数字化一般有点方式和流方式。所谓点方式是指操作员每按键一次，获取并向计算机发送一个点的坐标数据；流方式是指操作员按下按键，沿曲线移动游标时，能自动记录经过点的坐标。实践证明，点方式所产生的误差要比流方式小得多，实际应用中多采用点方式。数字化时，地理要素图形本身的宽度、密度、复杂程度对数字化结果的质量有显著影响，如粗线比细线更易引起误差，复杂曲线比平直线更易引起误差，密集要素比稀疏要素易引起误差。这就要求数字化操作者有熟练的技术和丰富的经验，注意适当的采集密度,兼顾数据量的大小和精度。 4.2.5数字化的精度检查 数字化的误差可以被定义为数字化点、线对原地图上点、线的偏差，其图形部分的检查可通过目视检查：将数字化的结果打印到透明图上与原图叠加，属性数据与原图逐个对比。要求直线地物和独立地物的误差小于0.2 mm，曲线地物和水系一般小于0.3 mm，边界模糊的要素小于0.5 mm；接边误差小于0.3 mm时可改动其中一个要素，使两者吻合；当接边差为0.3～0.6 mm时，两要素各改一半；当误差大于0.6 mm时，查找原因并记录。其中，点状地物主要检查其中心位置是否与原图重合；线状地物主要检查其中心线位置是否与原图重合；面状地物是由线划围成的空间填充而成，其精度的检查主要是核对其边界线是否与原地物的边界线重合。数字化误差来源：1、表示坐标的计算机字长有限；2、所有矢量输出设备包括绘图仪在内，尽管分辨率比栅格设备高，但也有一定的步长；3、矢量法输入时曲线选取的点不可能太多；4、人工输图中不可避免的定位误差。减小误差的方法：良好的原始录用数据是首要的。