Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon 순차적 인 그로크 필터가 성능에 어떤 영향을 미치는가


순차적 인 그로크 필터가 성능에 어떤 영향을 미치는가


순차적 인 그로크 필터는 Logstash의 성능에 크게 영향을 줄 수 있습니다. 고려해야 할 몇 가지 핵심 사항은 다음과 같습니다.

1. 성능 저하 : 필드 덮어 쓰기가있는 순차적 그로크 필터를 사용하는 것은 불필요하게 복잡 할 수 있으며 성능이 심각하게 저하 될 수 있습니다. 이러한 복잡성은 처리 시간이 느려지고 리소스 사용량이 증가 할 수 있으며, 이는 특히 고 처리량 환경에서 문제가됩니다 [1].

2. 역 추적 및 일치 : Grok 패턴이 일치하지 않으면 Regex 엔진이 광범위한 역 추적에 관여하여 처리를 크게 느리게 할 수 있습니다. 패턴이 최적화되지 않았거나 적절한 고정없이 순차적으로 적용되는 경우이 효과는 악화됩니다 [9] [10].

3. 자원 소비 : 순차적 필터를 포함한 복잡한 구성에는 더 많은 계산 자원이 필요합니다. 각각의 추가 처리 계층은 더 많은 CPU와 메모리를 소비하여 대기 시간이 증가하고 잠재적으로 실시간 분석 기능에 영향을 줄 수 있습니다 [5].

4. 최적화 전략 : 이러한 문제를 완화하려면 패턴을 단순화하고 앵커를 사용하여 정확한 일치를 보장하며 욕심 많은 경기를 제한하는 것이 좋습니다. 또한, 여러 개의 Grok 필터를 단일의 잘 최적화 된 패턴으로 결합하면 필요한 작업 수를 줄임으로써 성능을 향상시킬 수 있습니다 [1] [10].

5. 대체 필터 : 경우에 따라,`ossect '필터와 같은 대체 필터를 사용하면 특히 구조화 된 로그를 처리 할 때 더 나은 성능을 제공 할 수 있습니다. '해부'필터는 정규 표현식에 의존하지 않으므로 특정 유형의 데이터에 대해 더 빠르고 효율적입니다 [3].

인용 :
[1] https://discuss.elastic.co/t/grok-best-practice/172871
[2] https://discuss.elastic.co/t/grok-pattern-performance/75047
[3] https://blog.leandrojmp.com/posts/en/2020/08/logstash-grok-vs-dissect
[4] https://docs.aws.amazon.com/opensearch-service/latest/developerguide/osis-best-practices.html
[5] https://moldstud.com/articles/p-filter-complexity-effects-on-logstash-performance
[6] https://docs.aws.amazon.com/athena/latest/ug/performance-tata-optimization-techniques.html
[7] https://coralogix.com/blog/logstash-grok-tutorial-with-examples/
[8] https://stackoverflow.com/questions/38324857/how-does-the-grok-filter-work-in-logstash
[9] https://www.elastic.co/blog/do-you-grok-grok
[10] https://edgedelta.com/company/blog/what-are-grok-patterns