5.加载摄取管道.md 假设Elasticsearch输出已启用,用于解析日志行的 ingest pipelines 会在您第一次运行FileBeat时自动设置。如果您要向Logstash发送事件,则需要手动加载 ingest pipelines。为此,请使用指定的--pipelines选项运行setup命令。您还需要启用modules和fileset,这可以通过以下方式来完成。 首先,您可以使用--modules选项来 2023-12-05 运维 > ELK > filebeats > How to guides
7.去重复数据.md Beats框架保证至少一次交付,以确保当事件发送到支持确认的输出时不会丢失数据,例如Elasticsearch、Logstash、Kafka和Redis。如果一切按计划进行,这很好。但是如果FileBeat在处理过程中关闭,或者在事件被确认之前连接丢失,您最终可能会得到重复的数据。 是什么导致Elasticsearch中的重复?当输出被阻塞时,Fileball中的重试机制会尝试重新发送事件,直到它 2023-12-05 运维 > ELK > filebeats > How to guides
8.使用摄取管道解析数据.md When you use Elasticsearch for output, you can configure Filebeat to use an ingest pipeline to 预处理 documents before the actual indexing takes place in Elasticsearch. 当您想对数据进行一些额外处理但不需要Logstash的全部功能时,摄 2023-12-05 运维 > ELK > filebeats > How to guides
9.在配置中使用环境变量.md 您可以在配置文件中使用环境变量引用来设置部署期间需要可配置的值。为此,请使用: ${VAR} 其中VAR是环境变量的名称。 每个变量引用在启动时都被环境变量的值替换。替换是区分大小写的,并且发生在解析YAML文件之前。除非您指定默认值或自定义错误文本,否则对未定义变量的引用将被空字符串替换。 要指定默认值,请使用: ${VAR:default_value} 2023-12-05 运维 > ELK > filebeats > How to guides
filebeat命令参考.md 下述功能有些需要付费。 命令 export 将配置、索引模板、ILM策略或仪表板导出到标准输出 help 显示任何命令的帮助 keystore 管理密钥库 modules Manages configured modules. run 运行filebeat。如果您在未指定命令的情况下启动filebeat,则默认使用此命令。 setup 设置初始环境,包括索引模板、 2023-12-05 运维 > ELK > filebeats > 设置并运行
密钥库.md 对于密码等敏感的数据,除了通过设置文件系统权限来进行保护,还可以储存到密钥库。 密码存储到密钥库时指定KEY,后续通过${KEY}来引用密码。 注意:FileBeat密钥库不同于Elasticsearch密钥库。Elasticsearch密钥库允许您按名称存储elasticsearch.yml值,FileBeat密钥库允许您指定可以在FileBeat配置中引用的任意名称。 要创 2023-12-05 运维 > ELK > filebeats > 设置并运行
目录布局.md 类型 说明 默认位置 配置项 home filebeat的安装目录 path.home bin 二进制文件的位置 {path.home}/bin config 配置文件的位置 {path.home} path.config data 持久数据文件的位置 {path.home}/data path.data 2023-12-05 运维 > ELK > filebeats > 设置并运行
ES索引模板.md filebeat.yml配置文件的setup.template部分指定用于在Elasticsearch中设置映射的索引模板。如果启用了模板加载(默认),FileBeat会在成功连接到Elasticsearch后自动加载索引模板。 加载索引模板需要连接到Elasticsearch。如果配置的输出不是Elasticsearch(或Elasticsearch Service),则必须手动加载模板。 2023-12-05 运维 > ELK > filebeats > 配置
Kibana dashboards.md FileBeat附带了示例Kibana仪表板、可视化以及在Kibana中搜索可视化FileBeat数据。 To load the dashboards, you can either enable dashboard loading in the setup.dashboards section of the filebeat.yml config file, or you can run the 2023-12-05 运维 > ELK > filebeats > 配置
Kibana endpoint.md Kibana仪表板通过 Kibana API 加载到Kibana。这需要Kibana endpoint配置。有关对KibanaAPI进行身份验证的详细信息,请参阅身份验证。 在filebeat.yml配置文件的setup.kibana部分配置 endpoint。 这是一个示例配置: setup.kibana.host: "http://localhost:5601" 您可以在filebeat.y 2023-12-05 运维 > ELK > filebeats > 配置
SSL.md 您可以在配置时指定SSL选项: outputs that support SSL the Kibana endpoint 启用SSL的示例输出配置: output.elasticsearch.hosts: ["https://192.168.1.42:9200"] output.elasticsearch.ssl.certificate_authorities: ["/etc/client/c 2023-12-05 运维 > ELK > filebeats > 配置
一般设置.md 您可以配置filebeat.yml来控制FileBeat的一般行为。包括: 全局选项:用于控制诸如发布者行为和某些文件的位置等内容。 一般选项:所有 Elastic Beats 都支持的常规选项。 全局配置这些选项位于filebeat命名空间中。 registry.path注册表的根路径。如果使用相对路径,则认为它是相对于data path的。有关详细信息,请参阅目录布局部分。默认值为 $& 2023-12-05 运维 > ELK > filebeats > 配置
模块.md 模块是可选的。如果您使用的是不受支持的日志类型,或者您想使用不同的设置,您可以决定手动配置输入。 模块提供了一种快速开始处理常见日志格式的方法。它们包含默认配置、Elasticsearch ingest pipeline definitions 和Kibana仪表板,可帮助您实施和部署日志监控解决方案。 您可以在modules.d目录(推荐)或FileBeat配置文件中配置模块。 在启用模块的情况 2023-12-05 运维 > ELK > filebeats > 配置
索引生命周期管理(ILM).md 使用Elasticsearch中的索引生命周期管理(ILM)功能来管理您的FileBeat随着数据流的老化,它们的支持索引。FileBeat会自动加载默认策略并将其应用于FileBeat创建的任何数据流。 可以在Kibana的 Index lifecycle policies UI中查看和编辑策略。有关使用UI的详细信息,请参阅索引生命周期策略。 示例配置: setup.ilm.enabled: 2023-12-05 运维 > ELK > filebeats > 配置
配置.md 要配置FileBeat,请编辑配置文件。默认配置文件是filebeat.yml,文件的位置因平台而异。 还有一个完整示例配置文件filebeat.reference.yml,它显示了所有未弃用的选项。 有关配置文件结构的更多信息,请参阅配置文件格式。 inputs若要手动配置FileBeat(而不是使用模块),请在filebeat.yml输入的filebeat.inputs部分指定输入列表,指 2023-12-05 运维 > ELK > filebeats > 配置
配置文件加载.md FileBeat可以加载输入和模块的外部配置文件,允许您将配置分成多个较小的配置文件。 加载外部配置文件Input config对于输入配置,您可以在filebeat.yml文件的filebeat.config.inputs部分指定option选项。例如: filebeat.config.inputs: enabled: true path: inputs.d/*.yml 提示:每个外部 2023-12-05 运维 > ELK > filebeats > 配置
配置项目路径.md filebeat.yml 配置文件的路径部分包含配置选项,这些选项定义FileBeat查找其文件的位置。例如,FileBeat在配置路径中查找Elasticsearch模板文件,并在日志路径中写入日志文件。FileBeat在数据通路中查找其注册表文件。 示例配置: path.home: /usr/share/beat path.config: /etc/beat path.data: /var/l 2023-12-05 运维 > ELK > filebeats > 配置
HTTP Endpoint.md 此功能处于测试阶段,可能会发生变化。设计和代码不如官方GA功能成熟,并且按原样提供,没有保证。测试功能不受官方GA功能支持SLA的约束。 2023-12-05 运维 > ELK > filebeats > 配置 > inputs
HTTP JSON.md 使用htpjson输入从带有JSON payloads的HTTP API读取消息。 This input supports: Auth Basic OAuth2 Retrieval at a configurable interval:以可配置的间隔检索 Pagination:分页 Retries:重试 Rate limiting:速率限制 Proxying:代理 Request trans 2023-12-05 运维 > ELK > filebeats > 配置 > inputs