AWS S3 CLI与控制台/网站下载速度不同的原因及解决方案

165次阅读
没有评论

问题描述

在使用AWS S3时,遇到了一个问题:同样的文件在通过AWS网站下载(或上传)时,速度比通过AWS CLI下载要慢得多。用户想知道是否有已知的原因,以及是否有办法解决这个问题。

解决方案

以下解决方案适用于AWS CLI中的aws s3命令,而不是aws s3api命令。

问题可能出在AWS CLI打开的并发连接数上。在使用aws s3命令时,CLI可能会同时打开多个连接,而在Web控制台下载时,浏览器可能只会打开一个连接。这可能会导致下载速度的差异。

根据AWS CLI用户指南,在“Managing Objects”部分可以看到,S3存储桶中的高级上传命令(大于默认8MB的文件)将使用多部分上传。

为了解决这个问题,你可以尝试通过以下步骤来降低AWS CLI的并发连接数为1:

  1. 打开命令行终端。
  2. 运行以下命令来设置并发请求数为1:
    shell
    aws configure set default.s3.max_concurrent_requests 1

这将确保AWS CLI在执行S3操作时只会使用一个并发连接,从而避免过多的连接导致的性能下降。

你也可以尝试调整其他与多部分操作相关的默认设置,可能会在你的网络环境中提供更好的性能。你可以在这里找到相关设置:https://docs.aws.amazon.com/cli/latest/topic/s3-config.html

结论

通过降低AWS CLI的并发连接数,你可以解决在AWS S3 CLI与控制台/网站下载速度不同的问题。这将确保CLI在执行S3操作时只使用一个连接,从而避免多连接导致的性能下降。如果问题仍然存在,你可以尝试调整其他与多部分操作相关的默认设置,以优化下载速度。

请注意,不同网络环境和配置可能会对下载速度产生影响,因此你可以根据自己的实际情况进行调整和优化。

正文完