Ali lahko uporabim bralnik samo za naprej za nalaganje velikih datotek v S3 v Golangu

Ključne točke so:

1. Težave z upravljanjem pomnilnika: AWS SDK for Go's S3 uploader dodeli in zapolni medpomnilnike kosov za celotno datoteko, preden jih naloži. To lahko povzroči, da procesu zmanjka pomnilnika pri nalaganju velikih datotek z bralnikom, ki ne podpira funkcij `Seek` ali `ReadAt`, kot je bralnik Go `tar`.

2. Intelligent Chunking: Težava GitHub #1104 nakazuje, da bi lahko izboljšali SDK za uporabo bolj inteligentnega razdejanja, ko ukvarjanje z bralniki, ki ne podpirajo `Seek` in `ReadAt`. To bi pripomoglo k boljšemu upravljanju porabe pomnilnika med nalaganjem velikih datotek.

3. Pretakanje in večdelno nalaganje: AWS SDK za Go podpira pretakanje in večdelno nalaganje, kar lahko pomaga upravljati porabo pomnilnika med nalaganjem velikih datotek. Vendar te funkcije morda ne bodo delovale tako dobro z bralnikom samo za naprej.

4. Alternativne rešitve: rezultati iskanja predlagajo uporabo Minio SDK ali Google CDK, ki imata morda boljšo podporo za pretakanje velikih datotek v S3. Poleg tega projekt aws-s3-reader-seeker zagotavlja izvedbo bralnika po meri, ki lahko več obravnava velike predmete S3 učinkovito.

Če povzamemo, čeprav je mogoče uporabiti bralnik samo za naprej, kot je bralnik Go `tar` za nalaganje velikih datotek v S3 z uporabo AWS SDK za Go, to morda ni najbolj učinkovit ali pomnilniku prijazen pristop. Razmislek o alternativnih rešitvah ali uporabi funkcij SDK za pretakanje in večdelno nalaganje je morda boljša možnost v takih primerih.