大数据采集案例分析 衢江区对采集的大数据进行有效分析
编辑整理：整理来源：搜狗问问，浏览量：55，时间：2022-07-06 02:42:02
大数据采集案例分析，数据采集与分析的案例，数据采集与分析的案例
鲁宾天文台的 LSST 相机将从智利的一座山顶拍摄极其详细的夜空图像。在山下，高速计算机会将数据发送到世界各地。中间会发生什么？
几年后，当 Vera C. Rubin 天文台开始拍摄夜空时，其核心3,200 兆像素的时空巡天相机将为从宇宙学家到追踪可能撞击地球的小行星的个人提供大量有用的数据。
您可能已经阅读过鲁宾天文台的西蒙尼巡天望远镜将如何从宇宙中收集光线并将其照射到能源部的LSST 相机上，研究人员将如何管理来自相机的数据，以及他们将尝试的无数事情了解我们周围的宇宙。
你还没有读到的是研究人员如何从世界上最大的数码相机的背面，沿着光缆，将大量非常详细的照片送入计算机，然后将它们从智利的 Cerro Pachón 传输到全球.
美国能源部SLAC 国家加速器实验室的科学家 Gregg Thayer是 Rubin 数据采集系统的负责人，负责处理这一关键过程。在这里，他带领我们完成了一些关键步骤。
鲁宾天文台数据系统的初始步骤 图片来源：Greg Stewart/SLAC National Accelerator Laboratory
数据采集系统从焦平面的背面开始，由 189 个数字传感器组成，用于拍摄夜空图像，另外还有几个用于在拍摄图像时排列相机。71 块电路板将原始像素从传感器中取出，并为下一步做好准备。
在这一点上，需要发生两件事。首先，数据需要从低温恒温器中取出，低温恒温器是一个高真空、低温，并且，Thayer 说，它是容纳焦平面和周围电子设备的“拥挤”的腔体。其次，需要将数据转换为光信号，以供连接到相机底座的光纤使用。
由于低温恒温器内的空间太小，Thayer 和他的团队决定将这些步骤结合起来：电信号首先进入穿透低温恒温器背面的电路板。这些电路板将数据转换为光信号，这些光信号被馈送到低温恒温器外部的光缆中。
为什么是光纤？如果你沿着信号电缆走得足够远，数据不可避免地会变成噪音，而且这里的电缆必须很长——大约 150 米或 500 英尺，才能从望远镜顶部到基地。每秒 3 吉比特的数据速率使问题更加复杂，比标准互联网快大约一百倍；电源低功率以减少数码相机传感器附近的热量；以及机械限制，例如急弯，需要在丢失更多信号的情况下进行电缆互连。Thayer 说，为电信号设计的铜线无法在所需的距离内以足够快的速度传输数据，即使可以，它们也太大太重，无法满足系统的机械要求。
鲁宾天文台数据系统的最后步骤 图片来源：Greg Stewart/SLAC National Accelerator Laboratory
一旦信号从相机传下来，它就会输入 SLAC 开发的 14 个计算机板，作为通用数据采集系统的一部分。每块板都配备了 8 个板载处理模块和 10 Gb/秒的以太网交换机，将板连接在一起。（每块板还将光信号转换回电信号。）其中三个板从相机中读取数据，并准备将其发送到山下并发送到美国 SLAC 数据设施和欧洲另一个数据设施。Thayer 说，另外三个模拟相机本身——本质上，它们允许从事该项目的研究人员在相机本身不可用时练习获取数据、执行诊断等。
最后八块板服务于一个关键但容易被忽视的目的。“有一条电缆从山顶下山到拉塞雷纳，在那里它可以通过长途网络连接到美国和欧洲的数据设施，”塞耶说。“如果那条电缆由于某种原因被切断，我们可以缓冲最多三天的数据，以便望远镜在维修期间继续运行。”
从望远镜的底部，这是下山的最后一站，然后数据采集就完成了。是时候让数据走向世界了——但您可以在此处、此处和此处阅读相关内容。
Vera C. Rubin 天文台是由美国国家科学基金会和能源部科学办公室联合资助的联邦项目，早期建设资金来自 LSST 公司的私人捐赠。由 NSF 资助的 LSST（现为鲁宾天文台）建设项目办公室成立，作为天文学研究大学协会（AURA）管理下的运营中心。美国能源部资助的建造鲁宾天文台 LSST 相机 (LSSTCam) 的工作由 SLAC 管理。