Sledování pokroku migrace dat mezi střepy v MongoDB zahrnuje pochopení několika aspektů toho, jak MongoDB řídí sharded klastry, chování procesu vyvažovače a mechanismy pro sledování migrace kusu a celkové zdraví klastru.
Sharding MongoDB distribuuje data na více střepech, aby podporoval horizontální škálování. K migraci dat mezi střepy se primárně vyskytuje pomocí migrace kusů, které jsou automaticky řízeny vyvažovačem MongoDB nebo mohou být spuštěny ručně. Sledování tohoto procesu migrace je zásadní pro zajištění výkonu, dostupnosti a vyvážené distribuce dat v klastru.
Porozumění Sharding a Balancer MongoDB
V shardovaném klastru, MongoDB rozděluje data do kousků. Tyto kousky jsou distribuovány přes střepy podle klíče Shard. Balancer je proces na pozadí, který běží na primární sadě repliky konfiguračního serveru a aktivně monitoruje distribuci dat, aby udržoval rovnováhu napříč střely. Balancer rozhodne, kdy a které kousky je třeba migrovat na základě konkrétních prahů souvisejících s rozdílem velikosti dat na střepech. Dochází k migraci, aby byla zajištěna rovnoměrná distribuce dat a optimalizovala výkon dotazů.
Vyvažovač provozuje transparentně, ale lze jej podle potřeby nakonfigurovat nebo deaktivovat. Migruje kousky kontrolovaným způsobem, což umožňuje pouze jednu migraci na shard najednou, aby se minimalizoval dopad na výkon. Za podmínek vysoké nerovnováhy (např. Když rozdíl velikosti dat mezi střepy přesahuje prahovou hodnotu ve výchozím nastavení, třikrát nakonfigurovaná velikost kusu), spustí se migrace.
Kontrola stavu balanceru a migrace
Pro sledování pokroku migrace shard je užitečné několik příkazů a inspekcí protokolu:
- sh.status () nebo db.printshardingstatus (): Tyto příkazy poskytují přehled stavu shardingu, včetně distribuce kusu přes střepy pro každou shardovanou kolekci. I když neposkytují přímé procento pokroku migrace, kontext rozdělení kusů, který poskytují, může sloužit jako zástupce pro pochopení toho, jak vyvážená jsou data a zda migrace probíhají.
- Protokoly aktivity Balancer: Balancer zaznamenává své aktivity, včetně migrací kusů, do protokolů konfiguračních serverů a instancí Mongos. Sledování těchto protokolů může odhalit, které kousky se migrují, spolu s jejich zdrojovými a cílovými střepy a jakékoli chyby nebo zpoždění, ke kterým dochází během migrace.
- Současné migrace: MongoDB omezuje Shard na jednu migraci najednou, ale s více střepy může provádět několik migrací v paralelním shluku (až polovinu počtu střepů). Pozorování aktivních migrací lze provést nepřímo kontrolou protokolů vyvažovače nebo pomocí administrativních příkazů na konfiguračním serveru, abyste viděli zámky migrace a čítače související s migrací.
Příkazy a metriky pro monitorování
- Příkaz BalancerStatus: Spuštění `sh.getbalancerstate ()` nebo inspekci klastru pomocí příkazů, které odhalují aktivitu Balancer, pomáhá zjistit, zda je vyvažovač povolen nebo aktuálně aktivní.
- Počet ChunkmigrationLockTimeout: MongoDB sleduje specifické metriky, jako je „ShardingStatistics.CountDonorMoveChUnkLockTimeout“, aby pochopili, zda jsou migrace načasování načasování v důsledku zámků, které mohou naznačovat problémy s migrací nebo promátkové porovnání s výkonem.
- Příkaz Mongos ConnpoolStats: Monitorování připojení k SHARDS pomocí `db.Runcommand ({ConnpoolStats: 1})` z instance mongos pomáhá zkontrolovat, zda migrace způsobují zvýšené využití připojení nebo úzká místa na primárkách Shard. Statistiky připojení označují distribuci zatížení.
- Monitorování velikosti dat na shard: Dotazováním metadat v souladu s metadatami databáze konfigurační databáze lze zkontrolovat velikost a počet kusů přiřazených na Shard. Velký nesoulad naznačuje pokračující migrace nebo nerovnováhu.
Monitorování manuální migrace
Když jsou spuštěny manuální migrace kusu pomocí příkazů jako `moveChunk` nebo` movergange`, operace blokuje až do dokončení migrace. Toto synchronní chování umožňuje okamžité potvrzení migračního úspěchu nebo neúspěchu. Pro dlouhodobější automatizované migrace spravované vyvažovačem však MongoDB nevystaví žádné procento přímého pokroku.
Použití opakovaných kontrol stavu prostřednictvím `sh.status ()` mezi migračními kroky pomáhá odvodit pokrok pozorováním snížení kusů na Shardu zdrojovému a zvýšení cílového střepu.
Nástroje a dashboardy
MongoDB Atlas, spravovaná cloudová služba, poskytuje migrační domovskou obrazovku pro vizuální sledování migrací, včetně jejich stavu a jakékoli historické migrace. Toto rozhraní může pomoci s monitorováním v prostředí Atlas.
Při samosprávě spravovaných nasazeních administrátoři často nastavují monitorování dashboardů pomocí monitorovacích nástrojů MONGODB, jako jsou MMS (Service Management Service) nebo nástroje třetích stran, které analyzují protokoly a metriky MongoDB (např. Prometheus s Grafana). Tato nastavení mohou sledovat metriky související s aktivitou vyvažovacích aktivity, migrací kusů, využití disků a propustnosti sítě, z nichž všechny nepřímo naznačují pokrok migrace.
Manipulace s osiřelými dokumenty a čtení konzistence během migrace
Během migrace kusů jsou dokumenty v migračním kusu zkopírovány do cílového shardu a jakmile jsou potvrzeny, dokumenty na zdrojovém střevu jsou označeny jako osiřelé, dokud se nevyčistí. Toto zpoždění vyčištění (`OrphancleanupDelaysCs`) je navrženo tak, aby zajistilo, že probíhající dotazy nebudou ovlivněny.
Je důležité sledovat jakékoli zmeškané dokumenty v sekundárních čteních, protože sekundární čtení během migrace může chybět dokumenty, pokud dotazy pokrývají migrující rozsahy. Povědomí o tomto chování je nezbytné při posuzování pokroku migrace a čtení konzistence.
Shrnutí kroků monitorování
1. Zkontrolujte stav Shardingu: Pravidelně používejte `sh.status ()` pro sledování distribuce kusů.
2. Zkontrolujte Stav Balancer: Ověřte je povoleno a aktivní prostřednictvím `sh.getBaLancerState ()`.
3. Monitorové protokoly: Sledujte protokoly související s vyvažovačem a migrací na mongosu a konfiguračních serverech.
4. Sledování Chunk Počty: Kolekce metadat dotazů (jako „config.chunks`) pro pozorování kousků na shard.
5. Zkoumejte statistiky připojení: Pomocí `ConnpoolStats` detekujte neobvyklé hroty připojení během migrace.
6. Sledujte zámky a metriky migrace: Identifikujte migrační časové limity nebo problémy s uzamčením v metrikách.
7. Manuální příkazy: Pro kontrolovanou migraci a synchronní zpětnou vazbu použijte `moveCheChunk` nebo` movergange`.
8. Nástroje pro monitorování pákového efektu: Používejte obrazovky migrace Atlas nebo vlastní monitorovací dashboardy.
9. Porozumění dopadu migrace: Vytvořte si vyčištění osiřelých dokumentů a možné nekonzistence sekundárního čtení.