Bisakah saya menggunakan pembaca khusus penerusan untuk mengunggah file besar ke S3 di Golang

Poin-poin utamanya adalah:

1. Masalah Manajemen Memori: Pengunggah S3 AWS SDK for Go mengalokasikan dan mengisi buffer potongan untuk seluruh file sebelum mengunggahnya. Hal ini dapat menyebabkan proses kehabisan memori saat mengunggah file besar dengan pembaca yang tidak mendukung fungsi `Seek` atau `ReadAt`, seperti pembaca Go `tar`.

2. Pembagian Cerdas: Masalah GitHub #1104 menunjukkan bahwa SDK dapat ditingkatkan untuk menggunakan pemotongan yang lebih cerdas saat berurusan dengan pembaca yang tidak mendukung `Seek` dan `ReadAt`. Ini akan membantu mengelola penggunaan memori dengan lebih baik selama pengunggahan file besar.

3. Streaming dan Unggahan Multibagian: AWS SDK for Go mendukung streaming dan unggahan multibagian, yang dapat membantu mengelola penggunaan memori selama unggahan file besar. Namun, fitur ini mungkin tidak berfungsi dengan baik pada pembaca yang hanya meneruskan.

4. Solusi Alternatif: Hasil pencarian menyarankan penggunaan Minio SDK atau Google CDK, yang mungkin memiliki dukungan lebih baik untuk streaming file besar ke S3. Selain itu, proyek aws-s3-reader-seeker menyediakan implementasi pembaca khusus yang dapat lebih menangani objek S3 besar efisien.

Singkatnya, meskipun dimungkinkan untuk menggunakan pembaca hanya-depan seperti pembaca `tar` Go untuk mengunggah file besar ke S3 menggunakan AWS SDK for Go, ini mungkin bukan pendekatan yang paling efisien atau ramah memori. Mempertimbangkan solusi alternatif atau menggunakan fitur streaming dan unggahan multibagian dari SDK mungkin merupakan pilihan yang lebih baik dalam kasus seperti itu.