Môžem použiť iba doprednú čítačku na nahrávanie veľkých súborov do S3 v Golang

Kľúčové body sú:

1. Problémy so správou pamäte: AWS SDK pre nahrávač Go's S3 prideľuje a vypĺňa časti vyrovnávacej pamäte pre celý súbor pred ich odovzdaním. To môže spôsobiť nedostatok pamäte procesu pri nahrávaní veľkých súborov pomocou čítačky, ktorá nepodporuje funkcie `Seek` alebo `ReadAt`, ako je čítačka Go `tar`.

2. Intelligent Chunking: Problém GitHub #1104 naznačuje, že SDK by sa dalo vylepšiť tak, aby používala inteligentnejšie chunking čo sa týka čitateľov, ktorí nepodporujú funkcie `Seek` a `ReadAt`. To by pomohlo lepšie spravovať využitie pamäte počas nahrávania veľkých súborov.

3. Streamovanie a viacdielne nahrávanie: AWS SDK for Go podporuje streamovanie a viacdielne nahrávanie, čo môže pomôcť spravovať využitie pamäte počas nahrávania veľkých súborov. Tieto funkcie však nemusia fungovať tak dobre s čítačkou určenou iba na predloženie.

4. Alternatívne riešenia: Výsledky vyhľadávania odporúčajú použiť Minio SDK alebo Google CDK, ktoré môžu mať lepšiu podporu pre streamovanie veľkých súborov do S3. Okrem toho projekt aws-s3-reader-seeker poskytuje vlastnú implementáciu čítačky, ktorá dokáže lepšie spracovať veľké objekty S3 efektívne.

Stručne povedané, aj keď je možné použiť iba doprednú čítačku, ako je čítačka Go `tar` na nahrávanie veľkých súborov do S3 pomocou AWS SDK for Go, nemusí to byť najefektívnejší prístup alebo prístup k pamäti. V takýchto prípadoch môže byť lepšou možnosťou zvážiť alternatívne riešenia alebo použiť funkcie streamovania a viacdielneho nahrávania súpravy SDK.