Q: Amazon S3 にはどれだけのデータを保存できますか?
Amazon S3 に格納可能なデータの総量とオブジェクトの数には制限はありません。個別の Amazon S3 オブジェクトのサイズは、最低 0 バイトから最大 5 TB までさまざまです。1 つの PUT にアップロード可能なオブジェクトの最大サイズは 5 GB です。100 MB を超えるオブジェクトの場合は、マルチパートアップロード機能を使うことをお考えください。
マルチパートアップロードのサンプル呼び出し
この例では、100 GB ファイルのマルチパートアップロードを生成していると仮定します。この場合、プロセス全体に対して次の API コールが実行されます。合計 1002 回の API コールが実行されます。
プロセスを開始する CreateMultipartUpload の呼び出し。
それぞれ 100 MB の一部をアップロードし、合計サイズは 100 GB となる、1000 回の個別の UploadPart の呼び出し。
プロセスを終了する CompleteMultipartUpload の呼び出し。https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/mpuoverview.html
Upload of each part is considered a PUT request.
https://repost.aws/questions/QU2hZvjGGPRAGB68LFPgUTzQ/s3-multipart-upload-request-charges
rclone
rclone supports multipart uploads with S3 which means that it can upload files bigger than 5 GiB.
...
rclone switches from single part uploads to multipart uploads at the point specified by --s3-upload-cutoff. This can be a maximum of 5 GiB and a minimum of 0 (ie always upload multipart files).
...
Multipart uploads will use --transfers * --s3-upload-concurrency * --s3-chunk-size extra memory. Single part uploads to not use extra memory.
--transfers int Number of file transfers to run in parallel (default 4) --s3-chunk-size Chunk size to use for uploading. Default: 5Mi --s3-upload-concurrency Concurrency for multipart uploads. Default: 4
My sample was 5 test files, all exactly 1,000,000 KB each, or 4.78GB total (according to rclone)
rclone --transfers 1 = 4hr, 35m ~333 KB/s
rclone --transfers 1 --concurrent-uploads 4 = 2hr, 16m ~700 KB/s
rclone --transfers 1 --concurrent-uploads 4 --s3-chunk-size 16M = 2hr, 21m ~680 KB/s
rclone --transfers 1 --concurrent-uploads 16 --s3-chunk-size 16M = 0hr, 37m ~2450 KB/s
rclone --transfers 4 --concurrent-uploads 16 --s3-chunk-size 16M = 0hr, 15m ~6000 KB/sSo, multiple transfers with multiple uploads works better for large files to Wasabi. Chunk size didn’t make much of a difference.
https://forum.rclone.org/t/wasabi-multi-part-uploads/7671/2 2018
