elasticsearch - 改进 ElasticSearch 索引的各种方法是什么？

Question

我正在使用 ELK 来处理和监控相当大的日志文件。我正在从本地文件系统推送日志。

但我面临几个问题：

1. 由于数据量大，使用 LogStash 进行解析非常慢。随着过滤器插件的增加，它变得更慢。（3.2GB 的日志用了 4 天！）
2. 在 Kibana 中通过这些索引进行 API 调用和构建可视化也很慢。

我该如何解决这些问题？

1. 迁移到云解决方案：AWS 还是 Google Cloud？但这些可能会增加成本。
2. 改进索引技术。我怎样才能在 ES 中实现这一点？

任何帮助都是有益的。谢谢！

预计到达时间：

我的logstash配置：

input {
    file {
        path => "/home/adb/data/**/**/*.gz" #path to subfolder (2nd level) containing .gz files
        mode => "read"
        file_completed_action => "log"
        file_completed_log_path => "/home/adb/data/log.txt"
    }
}

filter {
    csv {
        separator => "&"
        columns => ["T", "D", "CID", "RT", "RP" ...]
    }

    kv {
        source => "RP"
        target => "RP"
        value_split => "#"
        field_split => "*"
    }

    mutate {
        split => { "RT" => "*" }
    }

    date {
                match => ["T", "yyyy-MM-dd HH:mm:ss"]
                timezone => "UTC"
                target => "ET"
        }

     mutate {
                convert => {
                        "RT" => "integer"
                }
        }

}

output {
    elasticsearch {
        hosts => "localhost"
        index => "trial1"
        document_type => "A_C"
    }
    stdout {}
}

Answer 1

弹性搜索索引时，当使用 logstash 拥有大量数据时，索引可能会很慢。您可以将 apache kafka 放在您的应用程序和 logstash 之间以加快索引速度。