ps工具设计网站,网站建设集约化,微网站制作提供商推荐,wordpress excerptRedact 处理器使用 Grok 规则引擎来隐藏输入文档中与给定 Grok 模式匹配的文本。该处理器可用于隐藏个人身份信息 (Personal Identifying Information - PII)#xff0c;方法是将其配置为检测已知模式#xff0c;例如电子邮件或 IP 地址。与 Grok 模式匹配的文本将被替换为可…Redact 处理器使用 Grok 规则引擎来隐藏输入文档中与给定 Grok 模式匹配的文本。该处理器可用于隐藏个人身份信息 (Personal Identifying Information - PII)方法是将其配置为检测已知模式例如电子邮件或 IP 地址。与 Grok 模式匹配的文本将被替换为可配置的字符串例如与电子邮件地址匹配的 EMAIL或者如果愿意只需将所有匹配项替换为文本 REDACTED。
Elasticsearch 附带了许多有用的预定义模式Redact 处理器可以方便地引用这些模式。如果其中一个不符合你的需求请使用自定义模式定义创建新模式。Redact 处理器会替换匹配的每一个出现位置。如果有多个匹配项则所有匹配项都将替换为模式名称。
Redact 处理器与 Elastic Common Schema (ECS) 模式兼容。不支持旧版 Grok 模式。 注意这个 redact 处理器器需要需要订阅白金或者企业版才可以使用。 在管道中使用 Redact 处理器
Redact 选项 名称必须默认值描述 field yes - 要编辑的字段 patterns yes - 用于匹配和编辑命名捕获的 grok 表达式列表 pattern_definitions no - 模式名称和模式元组的映射定义处理器要使用的自定义模式。与现有名称匹配的模式将覆盖预先存在的定义 prefix no 使用此标记开始编辑部分 suffix no 以此标记结束编辑部分 ignore_missing no true 如果为 true 且字段不存在或为空则处理器会悄悄退出而不会修改文档 description no - 处理器的描述。用于描述处理器的用途或其配置。 if no - 有条件地执行处理器。请参阅有条件地运行处理器。 ignore_failure no false 忽略处理器的故障。请参阅处理管道故障。 on_failure no - 处理处理器故障。请参阅处理管道故障。 tag no - 处理器的标识符。对于调试和指标很有用。 skip_if_unlicensed no false 如果为真且当前许可证不支持运行修订处理器则处理器会悄悄退出不修改文档
在此示例中预定义的 IP Grok 模式用于匹配和编辑 message 文本字段中的 IP 地址。使用 Simulate API 测试管道。
POST _ingest/pipeline/_simulate
{pipeline: {description : Hide my IP,processors: [{redact: {field: message,patterns: [%{IP:client}]}}]},docs:[{_source: {message: 55.3.244.1 GET /index.html 15824 0.043}}]
} 如果没有授权我们可以看到如上所示的错误信息。我们可以启动白金试用。然后再运行和上面的命令 响应中的文档仍然包含 message 字段但现在 IP 地址 55.3.244.1 被文本 client 替换。
IP 地址被替换为单词 client因为这是 Grok 模式 %{IP:client} 中指定的。模式名称周围的 和 标记可使用前缀和后缀选项进行配置。
下一个示例定义了多个模式它们都替换为单词 REDACTED前缀和后缀标记设置为 *
POST _ingest/pipeline/_simulate
{pipeline: {description: Hide my IP,processors: [{redact: {field: message,patterns: [%{IP:REDACTED},%{EMAILADDRESS:REDACTED}],prefix: *,suffix: *}}]},docs: [{_source: {message: 55.3.244.1 GET /index.html 15824 0.043 testelastic.co}}]
} 在响应中IP 55.3.244.1 和电子邮件地址 testelastic.co 都已被 *REDACTED* 替换。 自定义模式
如果现有的 Grok 模式之一不符合你的要求可以使用 pattern_definitions 选项添加自定义模式。新模式定义由模式名称和模式本身组成。模式可以是正则表达式或引用现有的 Grok 模式。
此示例定义自定义模式 GITHUB_NAME 以匹配 GitHub 用户名。模式定义使用以文字 为前缀的现有 USERNAME Grok 模式。 注意Grok 调试器是用于构建自定义模式的真正有用的工具。 POST _ingest/pipeline/_simulate
{pipeline: {processors: [{redact: {field: message,patterns: [%{GITHUB_NAME:GITHUB_NAME}],pattern_definitions: {GITHUB_NAME: %{USERNAME}}}}]},docs: [{_source: {message: elastic-data-management the PR is ready for review}}]
} 用户名在响应中已被删除。 Grok 看门狗
看门狗会中断执行时间过长的表达式。中断后Redact 处理器会失败并出现错误。控制 Grok Watchdog 超时的相同设置也适用于 Redact 处理器。 许可
Redact 处理器是一项商业功能需要适当的许可证。有关更多信息请参阅 https://www.elastic.co/subscriptions。
可以在 redact 处理器上设置 skip_if_unlicensed 选项以控制集群许可证不足以运行此类处理器时的行为。skip_if_unlicensed 默认为 false如果集群许可证不足redact 处理器将抛出异常。但是如果将 skip_if_unlicensed 选项设置为 true则在许可证不足的情况下redact 处理器不会抛出异常它什么也不做。
