在本地运行Elasticsearch.md 建议使用Docker试用Elasticsearch和Kibana。 从Elasticsearch 8.0开始,首次启动Elasticsearch时,会自动配置TLS加密,为elastic用户生成密码,并创建Kibana注册令牌,以便您可以将Kibana连接到受保护的群集。 启动Elasticsearchdocker network create elastic docker pull docker 2023-12-05 运维 > ELK > Elasticsearch
filebeats是怎么工作的.md FileBeat 由两种组件组成:inputs(输入) 和 harvesters(采集器)。这些组件协同工作,跟踪文件并将事件数据发送到指定的输出。 harvester直译:收割机 一个 harvester 负责读取单个文件的内容。harvester 逐行读取每个文件,并将内容发送到输出。每个文件启动一个 harvester。harvester 负责打开和关闭文件,这意味着文件描述符在 harv 2023-12-05 运维 > ELK > filebeats
安装Elasticsearch.md 拉取Elasticsearch镜像docker pull docker.elastic.co/elasticsearch/elasticsearch:8.5.3 可以启动 单节点 或 多节点 集群。 启动单节点集群启动单节点Elasticsearch集群,将自动为您启用和配置安全性。当您第一次启动Elasticsearch时,会自动发生以下安全配置: 为传输层和HTTP层生成 证书和密钥。 安 2023-12-05 运维 > ELK > Elasticsearch > Set up Elasticsearch
0.配置Elasticsearch.md Elasticsearch具有良好的默认值,并且需要很少的配置。可以使用 Cluster update settings API在正在运行的集群上更改大多数设置。 配置文件应该包含特定于节点的设置(如node.name和路径),或者节点为了能够加入集群而需要的设置,如cluster.name和network.host。 配置文件位置Elasticsearch有三个配置文件: elasticsea 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
1.重要的Elasticsearch配置.md Elasticsearch只需要很少的配置即可开始使用,但在生产中使用集群之前,必须考虑以下几点: Path settingspath: data: /var/data/elasticsearch logs: /var/log/elasticsearch 不要修改data目录中的任何内容,也不要运行可能干扰其内容的进程。 Cluster name setting集群中的所有节点应该配置相 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
2.安全设置.md 目前,所有安全设置都是特定于节点的,必须在每个节点上具有相同的值。 可重载的安全设置就像 elasticsearch.yml 的设置一样,对密钥库内容的更改不会自动应用于正在运行的Elasticsearch节点。重载设置需要重启节点。但是,某些安全设置被标记为可重载。Such settings can be re-read and applied on a running node. 所有安全设置 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
3.审计设置.md 您可以使用 审核日志 记录与安全相关的事件,例如身份验证失败、拒绝连接和数据访问事件。此外,还会记录通过API对安全配置的更改,例如创建、更新和删除本机和内置用户、角色、角色映射和API密钥。 审核日志仅在某些订阅级别上可用。有关详细信息,请参阅 https://www.elastic.co/subscriptions. 如果已配置,则必须在集群中的每个节点上设置审 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
4.断路器设置.md Elasticsearch包含多个断路器,用于防止操作导致OutOfMemoryError(内存溢出)。每个断路器都指定了它可以使用多少内存的限制。此外,还有一个父级断路器,它指定了可以跨所有断路器使用的内存总量。 除非另有说明,否则这些设置可以在实时集群上使用 cluster-update-settings API动态更新。 有关断路器错误的信息,请参见 断路器错误。 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
5.集群级分片分配和路由设置.md 分片分配是将分片分配给节点的过程。这可能发生在初始恢复、副本分配、重新平衡或添加或删除节点时。 有许多设置可用于控制分片分配过程: 集群级分片分配设置 控制分配和重新平衡操作。 基于磁盘的分片分配设置 解释了Elasticsearch如何考虑可用磁盘空间以及相关设置。 分片分配感知 和 强制感知 控制分片如何跨不同机架或可用性区域分布。 集群级分片分配过滤 允许将某些节点或节点组排除在分配之外, 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
8.形成集群和发现节点设置.md discovery.type (Static) 单节点集群:single-node;多节点集群:multi-node(默认)。 discovery.seed_hosts (Static) 指定群集中其他节点,发现集群主机。 需要注意的时,如果使用域名,当域名解析出多个 ip 时,Elasticsearch 会尝试连接所有 ip。 如果没有给出端口,则通过按顺序检查以下设置来确定: transpo 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
9.缓存字段数据设置.md 缓存包含字段数据和全局序号,它们都用于支持某些字段类型的聚合。由于这些是堆上数据结构,因此监控缓存的使用非常重要。 缓存大小监测字段数据 2023-12-05 运维 > ELK > Elasticsearch > 配置Elasticsearch
1.命令行覆盖配置.md If you’re running Filebeat as a service, you can’t 指定 command-line flags. To 指定 flags, start Filebeat in the 前台. You can override any configuration setting from the command line by using flags: -E, 2023-12-05 运维 > ELK > filebeats > How to guides
10.避免YAML格式问题.md 配置文件使用YAML作为其语法。当您编辑文件以修改配置设置时,您应该知道一些事情。 使用空格缩进缩进在YAML中是有意义的。确保使用空格而不是制表符来缩进部分。 在默认配置文件和留档中的所有示例中,每个缩进级别使用2个空格。我们建议您也这样做。 查看默认配置文件的结构了解在哪里定义配置选项的最佳方法是查看提供的示例配置文件。配置文件包含Beat可用的大多数默认配置。要更改设置,只需取消注释行并更改 2023-12-05 运维 > ELK > filebeats > How to guides
11.log迁移到filestream.md 从7.14开始,filestream输入通常是可用的。因此,现在是迁移现有log输入配置的时候了。filestream输入对旧输入有许多改进,例如解析器的可配置顺序等。 虽然我们不打算从Filebeat中删除log输入,但我们不会修复新问题或对输入添加任何增强功能。我们的重点是filestream。 在本指南中,您将了解如何迁移现有的log输入配置。以下示例显示了三个log输入: filebeat 2023-12-05 运维 > ELK > filebeats > How to guides
2.加载ES索引模板.md Elasticsearch使用索引模板来定义: 控制数据流和备份索引行为的设置。这些设置包括用于在备份索引增长和老化时管理备份索引的生命周期策略。 确定如何分析字段的映射。每个映射设置用于特定数据栏的Elasticsearch数据类型。 filebeat自带了推荐的索引模板,保持filebeat.yml中的默认配置,则filebeat会在成功连接到ES后自动加载模板. 加载索引模板需要连接到 2023-12-05 运维 > ELK > filebeats > How to guides
3.更改索引名称.md FileBeat使用名为filebeat-8.5.2的数据流。要使用不同的名称,请在Elasticsearch输出中设置index选项。您还需要配置setup.template.name和setup.template.pattern选项以匹配新名称。例如: output.elasticsearch.index: "customname-%{[agent.version]}" s 2023-12-05 运维 > ELK > filebeats > How to guides
4.加载Kibana仪表板.md 要更深入地了解基础架构,可以使用Kibana中的 指标应用 和 日志应用。有关详细信息,请参阅指标监控和日志监控。 FileBeat附带示例Kibana仪表板、可视化,并在Kibana中搜索可视化FileBeat数据。在使用仪表板之前,您需要创建索引模式filebeat-*,并将仪表板加载到Kibana。 为此,可以运行setup命令(如此处所述)或在filebeat.yml配置文件中配置仪表 2023-12-05 运维 > ELK > filebeats > How to guides