Versenden Ihrer Dateien zu S3 Object Storage optimieren (EN)

Last updated 8th December 2021

Objective

Learn how to optimise the sending of your files to your bucket.

Requirements

Instructions

The aws s3 transfer commands are multithreaded. At any time, several requests are in progress.

For example, if you download a directory via aws s3 cp localdir s3://bucket/ --recursive, the AWS CLI might download localdir/file1, localdir/file2 and localdir/file3 in parallel. The max_concurrent_requests value specifies the maximum number of transfer commands allowed at any single time.

You may need to change this value for several reasons:

  • Decrease this value

On some environments, the default value of 10 concurrent requests can overwhelm a system. This can cause connection interruptions or slow down system responsiveness. By lowering this value, S3 transfer commands will be less resource-intensive. The downside is that S3 transfers may take longer to complete. It may be necessary to reduce this value if you are using a tool such as trickle to limit bandwidth.

  • Increasing this value

In some scenarios, you may want S3 transfers to complete as quickly as possible, using as much bandwidth as necessary. In this scenario, the default number of concurrent requests may not be sufficient to use all available network bandwidth. Increasing this value can improve the time required to complete an S3 transfer.

This value should be set under the top-level s3 key in the AWS configuration file, whose default location is ~/.aws/config.

user@host:~$ cat ~/.aws/config

[profile default]
region = <region>
s3 =
  endpoint_url = https://s3.<region>.perf.cloud.ovh.net
  max_concurrent_requests = 20
  signature_version = s3v4
s3api =
  endpoint_url = https://s3.<region>.perf.cloud.ovh.net

You can also set this value using the aws configure set command.

aws configure set default.s3.max_concurrent_requests 20

Go further

Join our community of users on https://community.ovh.com/en/.


Haben Ihnen die Anleitungen geholfen?

Bevor Sie Ihre Meinung abgeben, nehmen wir gerne Ihre Vorschläge auf, wie wir diese Dokumente verbessern können.

Woran liegt es? An den Bildern, dem Inhalt oder Aufbau der Anleitungen? Schreiben Sie es uns gerne, dann machen wir es zusammen besser.

Ihre Support-Anfragen werden in diesem Formular nicht entgegengenommen. Verwenden Sie hierfür bitte das Formular "Ein Ticket erstellen" .

Vielen Dank. Ihr Feedback wurde gesendet.


Diese Anleitungen könnten Sie auch interessieren...

OVHcloud Community

Besuchen Sie Ihren Community-Bereich und tauschen Sie sich mit anderen Mitgliedern der OVHcloud Community aus. Hier können Sie Fragen stellen, zusätzliche Informationen finden und eigene Inhalte veröffentlichen.

Tauschen Sie sich mit der Community aus

Alle Preise verstehen sich inklusive der gesetzlichen Mehrwertsteuer.

In Übereinstimmung mit der Richtlinie 2006/112/EG in der geänderten Fassung können die Preise ab 01.01.2015 je nach Wohnsitzland des Kunden variieren
(die Preise in den Angeboten verstehen sich inklusive der gesetzlichen Mehrwertsteuer für die Bundesrepublik Deutschland).