网站日志数据的采集-网站日志数据的采集原则

编辑整理：整理来源：油管，浏览量：67，时间：2022-12-02 02:42:02

网站日志数据的采集，日志信息采集是什么，数据库日志采集

简介：2022年6月29日，阿里云iLogtail开源后迎来首次重大更新，正式发布完整功能的iLogtail社区版。本次更新开源全部C++核心代码，该版本在内核能力上首次对齐企业版，开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。本次发布新增日志文件采集、容器文件采集、无锁化事件处理、多租户隔离、基于Pipeline的新版配置方式等诸多重要特性，全面增强社区版的易用性和性能，欢迎广大开发者关注、共建。

作者 | 迅飞、烨陌来源 | 阿里开发者公众号

2022年6月29日，阿里云iLogtail开源后迎来首次重大更新，正式发布完整功能的iLogtail社区版。本次更新开源全部C++核心代码，该版本在内核能力上首次对齐企业版，开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。本次发布新增日志文件采集、容器文件采集、无锁化事件处理、多租户隔离、基于Pipeline的新版配置方式等诸多重要特性，全面增强社区版的易用性和性能，欢迎广大开发者关注、共建。

可观测性数据采集挑战

可观测性是通过检查其输出来衡量系统内部状态的能⼒。该术语起源于⼏⼗年前的控制理论，最早是匈牙利裔工程师鲁道夫·卡尔曼提出。在分布式IT系统中，可观测性典型使⽤种类型的遥测数据⸺⽇志、指标和跟踪来度量基础设施、平台和应用程序，以了解他们的运行状态和过程。这些数据的收集通常由一个与被观测对象共同运行的采集Agent完成。基于云原生和微服务的现代系统架构下，这些观测对象比以往分布更加分散，数量更多且变化更快，使得采集Agent面临如下挑战：

高性能，低开销：现代应用程序通常在数据中心、公共云和边缘处汇集了数以千计的服务器、虚拟机、容器中运行，采集Agent的每一点性能开销都会被数以千计地放大。目前众多开源Agent的设计更多的是偏重功能而非性能，单核处理性能普遍在2-10M/s左右，而我们希望能达到单核100M/s的性能。在采集目标增加、数据量增加、采集延迟、服务端异常等情况下，开源Agent内存都会呈现爆炸式增长，而我们希望即使在各种环境下，内存也能处在较低的水位。采集稳定准确，故障多级隔离：可观测性需要比被观测的系统至少可靠一个数量级。数据采集Agent的稳定性，除了保证数据本身采集的准确性外，还需要保证不能影响业务应用，否则将带来灾难性的后果。另一方面，无论怎样出现问题，都需要尽可能的隔离问题，例如一个Agent上有多个采集配置，一个配置出问题，不能影响其他配置。大规模配置企业级管控：可观测数据的应用范围广泛，一个企业内部往往存在大量配置，需要Agent支持中心化、自动化配置管理能力，代替手工登录机器修改配置的方式，并且能够保证配置Reload期间数据不丢不重。当Agent有多个采集配置时，合理安排资源，既要优先把内存带宽等资源供给高优先级配置，又要确保低优先级的配置不被“饿死”，其需要在波峰过后有足够的Burst能力快速追齐数据。更原生友好的K8s支持：K8s提供了强悍的运维部署、弹性伸缩、故障恢复能力，极大地便利了分布式系统的开发和管理，然而日志采集的问题也随之而来。K8s多样的数据输出使得同一个Agent需要同时支持采集宿主机日志、容器内日志、容器stdout等多种数据源。K8s的对业务部署的弹性伸缩能力，要求Agent具备容器动态发现、打标的能力，同时也对如何保证数据采集完整性提出了更高的要求。

点击链接查看原文，关注公众号【阿里开发者】获取更多福利！https://mp.weixin.qq.com/s/Cam_OjPWhcEj77kqC0Q1SA

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

行业热门话题：

【网站日志数据的采集方法】【网站日志数据的采集方式】【网站日志数据的采集原则】【系统日志采集的数据】【数据库日志采集】【日志信息采集是什么】【日志采集系统】【日志采集器】【采集日志数据有什么意义】【日志数据采集工具】