OVH Guide

Préambule

Lors d'envoi de fichiers volumineux vers l'Object Storage (vidéos/images), il est possible d'utiliser le client OpenStack Swift afin d'optimiser les transferts en segmentant ces fichiers. Ce guide vous explique comment améliorer la vitesse de vos envois vers l'Object Storage grâce à cette fonctionnalité.

Prérequis

Optimisation d'envoi

OpenStack Swift vous permet de stocker des fichiers sans limite de taille en les découpant en plusieurs segments.

En effet, lorsqu'un client Swift est utilisé pour l'envoi de fichier, le nœud de stockage est déterminé par le proxy Swift en utilisant un hachage du nom de l'objet. Par conséquent, il y a une grande possibilité que les segments soient stockés dans différents nœuds de stockage, ce qui permettra donc d'écrire vos données avec une vitesse supérieure. On peut alors envoyer un fichier de 10Go en 100 segments de 100Mo :

swift upload --segment-size 104857600 --segment-threads 100
container_name 10Gio.dat
Argument Description
--segment-size Taille des segments en bytes
--segment-threads Nombre d’envoi concurrents

Il est possible de mesurer la vitesse d'envoi en utilisant des programmes comme iftop.