Amazon S3とGoogleドライブ間も同期できる! rcloneが超便利｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ 2015
https://rclone.org/commands/rclone_touch/
Rcloneでs3をローカルPCにマウントしてみる | DevelopersIO
--s3-no-check-bucket
If set, don't attempt to check the bucket exists or create it
You can have this behaviour with the flag --s3-no-check-bucket or the equivalent no_check_bucket = true in the config.
https://forum.rclone.org/t/s3-rclone-v-1-52-0-or-after-permission-denied/21961/20 2021
--s3-chunk-size
Chunk size to use for uploading (default 5Mi)
NOTICE: S3 bucket test-bucket: Streaming uploads using chunk size 5Mi will have maximum file size of 48.828Gi
パートをアップロードするときは、アップロード ID に加えて、パート番号を指定する必要があります。1～10,000 の範囲で任意のパート番号を選択できます。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/mpuoverview.html
5Mi * 10000 = 48.828125 Gi
Sync large amount of data to remote
rclone sync -P --s3-chunk-size=256M --transfers=24 <SOURCE_DIRECTORY>/ <REMOTE_NAME>:<PATH_DIRECTORY>where:
- -P flag tells to provide statistics to stdout
- --s3-chunk-size=256M The chunk size for a transfer in kilobytes; must be a power of 2 and at least 256. Each chunk is buffered in memory prior to the transfer, so increasing this increases how much memory is used.
- --transfers=24 tells to use 24 threads
--storage-class DEEP_ARCHIVE
災害時の備えとして、自宅NASのデータをすべてS3 Glacier Deep Archiveにバックアップしておく 2023
Glacier Deep Archive
https://aws.amazon.com/jp/s3/storage-classes/glacier/
最小ストレージ期間料金
S3 Standard – IA、または S3 1 ゾーン – IA のストレージにあった期間が 30 日未満のオブジェクトを失効させる S3 ライフサイクル失効ルールを作成すると、30 日間の料金が発生します。S3 Glacier ストレージにあった期間が 90 日未満のオブジェクトを失効させるライフサイクル有効期限ルールを作成すると、90 日間の料金が発生します。S3 Glacier Deep Archive ストレージにあった期間が 180 日未満のオブジェクトを失効させるライフサイクル失効ルールを作成すると、180 日間の料金が発生します。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/lifecycle-expire-general-considerations.html
[新機能]S3で新しいストレージクラス Glacier Deep Archive が使えるようになりました | DevelopersIO 2019
AWS Glacierは、データのアーカイブと長期的なデータストレージ用に設計されました。AWS S3は高い可用性とパフォーマンスを備えたスケーラブルで安全なオブジェクト・ストレージとして構築されました。したがって、この2製品の主な違いは、データストレージへのアプローチです。AWS Glacierでは、データはボールト（アーカイブ）と呼ばれるユニークなコンテナーに保存されますが、AWS S3 Glacierではデータはオブジェクトとしてバケットに保存されます。
AWS S3 Glacier Vaultsに代わり、AWS S3 Glacierストレージクラスの活用 | クライム・仮想化クラウド技術ブログ 2020
