使用热冻结数据层生命周期优化在 Elastic Cloud 中存储日志的成本

作者：来自 Elastic Jonathan Simon

收集数据对于可观察性和安全性至关重要，而确保数据能够快速搜索且获得低延迟结果对于有效管理和保护应用程序和基础设施至关重要。但是，存储所有这些数据会产生持续的存储成本，这为节省成本创造了一个关键机会。在 Elastic Cloud 中，你可以通过设置索引生命周期策略来优化存储费用。此策略允许你的数据从热（hot）数据层（提供超快搜索结果且存储成本较高）移动到具有成本效益的冻结（frozen）层（仍可搜索且获得相当快的结果）。

例如，在具有单个热层的部署中存储 90 天的日志将为你提供最佳性能，正如你对 Elasticsearch 所期望的那样。但在很多情况下，你不需要所有数据都具有超快的性能。有时，你只需要第一天的速度快；过去的日志检索速度可能会慢一点。这种方法将显著降低你的总拥有成本，因为冻结层可以以相同的成本存储高达热层 20 倍的数据量。

让我们开始吧。按照本分步指南为你的日志数据创建热冻结索引生命周期策略。

先决条件

具有冻结数据层的 Elastic Cloud 部署
在云中运行的本地计算机或虚拟机 (VM)，我们将从中通过系统集成提取日志数据流 - Elastic 的 400 多个内置集成之一

创建 Elastic Cloud 部署

从创建 Elastic Cloud 部署开始，我们将在 Google Cloud 中运行的虚拟机上安装系统集成，以收集虚拟机的日志。然后，我们将逐步介绍如何配置存储在 Elastic Cloud 中的虚拟机日志以使用热数据层和冻结数据层。登录 Elastic Cloud 开始。

单击 Create deployment：

输入你的部署名称并展开 Advanced 部分。

单击 +Add capacity 为冻结数据层添加容量”。

单击 Create deployment：

收集日志

现在你已经拥有启用了冻结数据层的 Elastic Cloud 部署，让我们来收集一些日志。我们可以使用系统集成来执行此操作。在你的部署中，单击顶级菜单并选择 Add integrations 按钮。

在这里，在集成页面上，你可以看到我已经搜索了 System 集成。

选择 System 集成将显示其概览页面。要将此集成添加到客户端主机，你可以单击 Add System。

单击 Install Elastic Agent。

复制代理安装代码。我们将复制 Linux Tar 选项卡下的代码，因为我们的云 VM 运行的是 Linux 版本。

在连接到虚拟机的 SSH Cloud Shell 中，粘贴并运行刚刚复制的命令。

返回 Elastic Cloud 的系统集成页面，你应该会看到代理已成功安装的确认信息。单击 Add the integration。

在 “Set up System integration” 页面上，单击 “Advanced options”，然后输入你选择的 Namespace。对于这篇博文，我们将输入“vm_logs” 作为命名空间。单击 “Confirm incoming data”。

你将看到一个确认页面，其中预览了由虚拟机上运行的 Elastic Agent 发送的传入数据。

现在，单击顶层菜单并选择 Discover，以便我们可以看到现在正在收集的日志。

在 Discover 页面上，单击 data stream selector，从 metrics-* 更改为 logs-*。

展开其中一个日志条目以查看其详细信息。

复制日志条目的索引名称，该名称显示为日志条目详细信息中 _index 的值。

创建索引生命周期策略

单击顶层菜单并 Stack Management。

从左侧导航菜单中选择 Index Management。

在 “Index Management” 页面的 “Indices” 选项卡上，单击 “Include hidden indices”。

从 Discover 页面的日志条目详细信息中搜索你在上一步中复制的索引名称。复制 Data stream，我们将在下一步中使用该值创建热冻结索引策略。

从左侧导航菜单中选择 Index Lifecycle Policies：

单击 Create policy。

在 Create policy 页面上，单击热阶段部分下的 Advanced settings。

单击 “ Use recommended defaults” 切换按钮以编辑自定义选项。热阶段的默认持续时间为 30 天。

启用 “Frozen phase” 阶段，并在 “Move data into phase when” 输入框中输入数字零，以便值为 “0 days old.”。这意味着在 30 天的热（hot）阶段之后，受此策略控制的数据将立即移至冻结阶段。你的 “Create policy” 表单应类似于以下已完成的表单。单击 “Save policy” 以创建新的索引生命周期策略。