結論としては、
S3デフォルト(「REST APIエンドポイント」)では HTTPS通信可能。
「ウェブサイトエンドポイント」としての設定(ドメイン名のフォーマットが「REST APIエンドポイント」と異なってくる)をした場合は、「ウェブサイトエンドポイント」用のドメインでは、HTTPS通信できない (但し、デフォルトで使える「REST APIエンドポイント」のドメイン型式であれば、HTTP/HTTPSで引き続きアクセスできる）。
S3のSSL通信 - Qiita 2019
https://aws.amazon.com/jp/premiumsupport/knowledge-center/s3-returns-objects/
