검색 결과에 따르면 Go용 AWS SDK를 사용하여 Amazon S3에 대용량 파일을 업로드할 때 Go `tar` 리더와 같은 정방향 전용 리더를 사용하는 것이 어려울 수 있는 것으로 보입니다.
핵심 사항은 다음과 같습니다.
1. 메모리 관리 문제: Go용 AWS SDK의 S3 업로더는 파일을 업로드하기 전에 전체 파일에 대한 청크 버퍼를 할당하고 채웁니다. 이로 인해 Go `tar` 리더와 같이 `Seek` 또는 `ReadAt` 기능을 지원하지 않는 리더를 사용하여 대용량 파일을 업로드할 때 프로세스의 메모리 부족이 발생할 수 있습니다.
2. 지능형 청킹: GitHub 문제#1104는 다음과 같은 경우에 보다 지능적인 청킹을 사용하도록 SDK를 개선할 수 있음을 시사합니다. `Seek` 및 `ReadAt`를 지원하지 않는 독자를 처리합니다. 이렇게 하면 대용량 파일을 업로드하는 동안 메모리 사용량을 더 잘 관리하는 데 도움이 됩니다.
3. 스트리밍 및 멀티파트 업로드: Go용 AWS SDK는 스트리밍 및 멀티파트 업로드를 지원하므로 대용량 파일 업로드 중 메모리 사용량을 관리하는 데 도움이 될 수 있습니다. 그러나 이러한 기능은 정방향 전용 리더에서는 제대로 작동하지 않을 수 있습니다.
4. 대체 솔루션: 검색 결과는 대용량 파일을 S3로 스트리밍하는 데 더 나은 지원을 제공할 수 있는 Minio SDK 또는 Google CDK를 사용하는 것을 제안합니다. 또한 aws-s3-reader-seeker 프로젝트는 대규모 S3 객체를 더 많이 처리할 수 있는 사용자 지정 리더 구현을 제공합니다. 효율적으로.
요약하자면, Go용 AWS SDK를 사용하여 대용량 파일을 S3에 업로드하기 위해 Go `tar` 리더와 같은 정방향 전용 리더를 사용할 수 있지만 가장 효율적이거나 메모리 친화적인 접근 방식은 아닐 수 있습니다. 이러한 경우 대체 솔루션을 고려하거나 SDK의 스트리밍 및 멀티파트 업로드 기능을 사용하는 것이 더 나은 옵션일 수 있습니다.
인용:[1] https://github.com/aws/aws-sdk-go/issues/1104
[2] https://github.com/nikolaydubina/aws-s3-reader/blob/master/aws_s3_reader_seeker.go
[3] https://www.reddit.com/r/golang/comments/131bq42/need_to_stream_large_files_to_s3_using_go/
[4] https://www.linkedin.com/pulse/golang-uploading-files-aws-s3-bucket-using-pre-signed-tiago-melo
[5] https://pkg.go.dev/github.com/SnellerInc/sneller/aws/s3