내 특정 설정에 대한 최적의 작업자 프로세스 수를 결정하려면 어떻게해야합니까?

하드웨어 고려 사항

가장 기본적인 하드웨어 관련 요소는 기계에서 사용 가능한 CPU 코어 수입니다. 일반적으로 권장되는 기준은 CPU 코어 당 하나의 작업자 프로세스부터 시작하는 것입니다. 그런 다음 각 작업자 프로세스는 특히 I/O 바운드 시나리오에서 CPU 사이클을 더 잘 활용하기 위해 멀티 스레드로 만들 수 있습니다. 이 기준선은 CPU 코어가 과도한 컨텍스트 전환 또는 프로세스 경합을 유발하지 않고 효과적으로 활용하도록 보장합니다.

메모리 가용성도 중요한 역할을합니다. 각 작업자 프로세스는 추가 RAM을 소비하므로 프로세스가 무거워 지거나 큰 데이터를 처리하면 가용 메모리 용량을 넘어 작업자 수를 늘리면 교환이 발생하여 성능이 크게 줄어 듭니다. 따라서 프로세스 당 메모리 크기와 메모리 풋 프린트는 작업자 수를 결정할 때 설명해야합니다.

워크로드 특성

워크로드 유형은 최적의 작업자 프로세스에 큰 영향을 미칩니다. 작업자가 집중적 인 계산을 수행하는 CPU 바운드 애플리케이션은 CPU에 과부하하지 않고 활용을 극대화하기 위해 CPU 코어와 일치하는 작업자 수의 혜택을받습니다. 대조적으로, 데이터 읽기/쓰기를 기다리는 상당한 시간을 보내는 I/O 바운드 워크로드는 한 작업자가 기다리는 반면 다른 작업자는 CPU 시간을 사용할 수 있기 때문에 CPU 코어보다 많은 수의 작업자로부터 혜택을 볼 수 있습니다.

CPU 바운드 대 I/O 바운드 작업의 균형을 이해하면 작업자 번호를 조정하는 데 도움이됩니다. 예를 들어, 응용 프로그램이 I/O 및 50% 처리를 기다리는 시간의 50%를 이론적으로 사용하면 CPU 코어보다 더 많은 작업자 프로세스가 처리량을 증가시킬 수 있습니다.

운영 체제 및 스케줄러 동작

운영 체제의 프로세스 스케줄러는 여러 작업자 프로세스의 성능에 영향을 미칩니다. 과도한 작업자 수는 컨텍스트 전환 오버 헤드가 높을 수 있으며, 여기서 CPU는 자주 프로세스간에 전환하여 효율성을 줄입니다. 각 OS에는 스케줄링 알고리즘 및 커널 설계에 따라 효과적으로 관리 할 수있는 최적의 프로세스 범위가 있습니다.

응용 프로그램 및 프레임 워크 제한

특정 응용 프로그램 또는 프레임 워크는 효과적으로 활용할 수있는 작업자 프로세스 수에 제한을 부여 할 수 있습니다. 예를 들어, 일부 서버 또는 프레임 워크는 CPU 코어 수와 사용 가능한 메모리 수를 기반으로 튜닝을 권장 한 다음 작업자 당 스레드를 조정하여 성능을 최적화합니다. 일부 시스템은 또한 스레드 및 프로세스에 대한 최대 구성 가능한 한계 (예 : 데이터베이스의 최대 작업자 스레드)를 가지고 있습니다.

시스템 모니터링 및 벤치마킹

경험적 측정은 중요합니다. CPU 사용량, 메모리 소비, 응답 시간 및 다양한 작업자 수의 처리량을 모니터링하면 수익 감소 지점을 식별하는 데 도움이됩니다. 시뮬레이션 또는 실제 워크로드 하에서 벤치마킹을하면 증가하는 근로자가 더 이상 성능을 크게 향상 시키거나 저하시키지 않는 스위트 스팟을 결정할 수 있습니다.

여러 응용 프로그램에 대한 조정

여러 응용 프로그램이나 서비스가 동일한 기계에서 실행되면 작업자 수는 CPU 코어 및 메모리 리소스를 적절하게 공유하도록 조정해야합니다. 응용 프로그램에서 코어를 비례 적으로 나누거나 중요한 서비스 우선 순위를 정하면 작업자 할당을 안내 할 수 있습니다.

기타 영향력있는 요인

- 대기 시간 감도 : 대기 시간이 낮은 경우 더 많은 근로자가 요청 대기열 시간을 줄일 수 있지만 이는 리소스 제한과 균형을 이루어야합니다.
- 동시성 모델 : 근로자 내의 다중 스레딩은 높은 작업자 수의 필요성을 줄이지 만 스레드 관리 오버 헤드도 고려 사항입니다.
-GIL (Garbage Collection 및 Global Interpreter Lock) : 일부 언어 또는 런타임에는 Python의 Gil과 같은 제약 조건이있어 작업자 및 스레드 성능 및 최적의 수에 영향을 줄 수 있습니다.
- 확장 성 및 미래 성장 : 예상 부하 증가에 대한 계획은 현재 작업자 구성에 영향을 줄 수 있으며 스케일링 용량이 남아 있습니다.
- 직업 자연 : 장기 실행, 차단 또는 짧은 작업은 모두 다른 이상적인 구성을 가지고 있습니다.

최적의 근로자 수를 결정하기위한 단계 요약

1. 하드웨어 리소스 식별 : CPU 코어 수와 사용 가능한 메모리로 시작하십시오.
2. 워크로드 유형 분석 : CPU 바운드, I/O 바운드 또는 혼합으로 분류하십시오.
3. 기준으로 시작하십시오. 일반적으로 CPU 코어 당 한 작업자.
4. 작업자 당 스레드 조정 : 특히 멀티 스레드 작업자의 경우 CPU 채도를위한 스레드를 조정하십시오.
5. 측정 및 모니터 : 다양한 설정에서 처리량, 대기 시간, CPU 및 메모리 사용과 같은 성능 메트릭 벤치 마크.
6. 시스템 제한을 고려하십시오 : 스레드 및 프로세스의 OS 및 응용 프로그램 제한을 확인하십시오.
7. 여러 응용 프로그램에 대한 계정 : 자원 공유에 따라 근로자를 할당하십시오.
8. 반복 튜닝 : CPU 코어 기아 또는 과도한 컨텍스트 전환을 목표로 관찰 된 병목 현상을 기준으로 조정하십시오.
9. 쓰레기 수집, 동시성 모델 및 런타임 제약과 같은 시스템 별 요소를 고려하십시오.
10. 성장 계획 : 하중이 증가하여 스케일링을 위해 헤드 룸을 남겨 두십시오.

하드웨어 지식, 워크로드 분석, 모니터링 및 반복 튜닝을 결합함으로써 최적의 작업자 프로세스 수는 특정 설정에 대해 결정할 수 있습니다.

각 요소에 대한 자세한 설명

CPU 코어 수 및 활용

최신 멀티 코어 CPU는 여러 처리 장치를 제공합니다. 각 코어는 자체 스레드에서 작업자 프로세스를 실행하여 처리량을 최대화 할 수 있습니다. 그러나 코어보다 더 많은 근로자를 추가하면 경합과 오버 헤드로 이어질 수 있습니다. 최적의 일치는 각 코어에 전용 작업자를 갖도록하여 컨텍스트 전환 지연을 최소화하고 CPU 캐시 사용을 극대화합니다. 각 작업자 프로세스 내에서 멀티 스레딩을 통해 근로자는 여러 작업을 동시에 처리 할 수 ​​있지만 오버 헤드를 피하기 위해 균형을 이루어야합니다.

메모리 제약 조건

각 작업자 프로세스는 개인 메모리 및 공유 리소스를 포함하여 시스템 메모리를 소비합니다. 불충분 한 램은 자주 교환 또는 디스크에 페이징을 의미하며, 이는 성능을 심각하게 방해합니다. 부하에 따라 작업자 당 메모리 발자국을 모니터링하고 물리적 RAM 내에서 총 소비를 유지하는 것이 필수적입니다. 이것은 작업자 프로세스 번호의 상한을 안내합니다.

응용 프로그램 워크로드의 특성

CPU 바운드 작업은 CPU를 지속적으로 푸시하므로 작업자 번호는 코어를 초과하지 않아야합니다. I/O 바운드 작업은 근로자가 외부 리소스 (디스크, 네트워크)를 기다릴 것을 요구하므로 일부 근로자는 다른 작업자가 달리는 동안 기다리기 때문에 과도한 근로자를 사용하면 더 나은 활용도가 가능합니다. 혼합 워크로드의 경우 대기 시간과 컴퓨팅 가이드 작업자 수에 따른 대략적인 비율입니다.

스레딩 및 동시성 모델

작업자는 여러 작업을 동시에 처리하기 위해 스레드를 스폰 할 수 있습니다. 작업자 당 스레드 수는 CPU 사용 및 응답 성에 영향을 미칩니다. 너무 많은 스레드는 오버 헤드를 유발합니다. 너무 적은 동시성을 줄입니다. 올바른 균형을 결정하는 것은 작업 크기, 차단 시간 및 스레드 스케줄링 및 동기화 오버 헤드와 같은 런타임 기능에 따라 다릅니다.

시스템 및 응용 프로그램 제한

사용자 당 최대 프로세스 또는 스레드와 같은 운영 체제 제한 및 응용 프로그램 구성 (웹 서버, 데이터베이스, 프로그래밍 언어 런타임)은 작업자 수를 제한합니다. 이것을 이해하는 것은 자원 소진을 피하기위한 핵심이며, 이는 충돌 또는 성능 저하로 이어집니다.

모니터링 및 벤치마킹 도구

CPU 및 메모리 프로파일 러, 대기 시간 모니터 및 로깅 시스템과 같은 도구를 사용하면 다양한 작업자 수의 영향을 측정 할 수 있습니다. 일반적인 워크로드로 다양한 구성을 벤치마킹하면 최상의 처리량 및 응답 성을위한 최적의 설정이 나타납니다.

다중 응용 프로그램 환경

공유 환경에서는 응용 프로그램간에 CPU 코어와 메모리를 나누면 공정한 자원 할당이 가능합니다. 그런 다음 각 신청서의 작업자 번호는 부여 된 자원 또는 우선 순위 수준에 비례합니다.

실제 예제

예를 들어, Puma Ruby 웹 서버는 종종 CPU 코어 당 한 작업자를 사용하여 스레드를 조정하여 처리량을 최적화합니다. 가상 CPU가있는 컨테이너화 된 환경에서는 CPU보다 더 많은 작업자를 실험하면 더 많은 메모리가 필요할 수 있습니다. 마찬가지로 데이터베이스 서버는 CPU, 메모리 및 워크로드를 기반으로 Max Worker 스레드를 구성하여 정체 된 쿼리를 방지합니다.