Transfert vers Array lent

[Rampion]

Bonjour à tous,

Je suis en train d'essayer Unraid pour mon serveur perso et j'ai un soucis de lenteur de transfert de données.

 

Contexte:

- J'ai copié toute mes données de mon NAS (très très pourri, d'où Unraid) sur un HDD de 12To.

- J'ai monté mon serveur Unraid sur une ancienne config gamer (i7-4770K / 12GiB de RAM en DD3).

- Dedans, j'ai ensuite monté 6 disques (Parité: WD Purple 4To / 1- WD Green 3To / 2- Seagate Barracuda 4To / 3- WD purple 2To / 4- WD purple 12To -non assigné- / Cache: SSD samsung evo 250Go)

- J'ai démarré Unraid, et j'ai monté mon Array avec tout sauf le 12To, j'ai fait la parité, etc...

- J'ai créé un Share en primary Array (pas de cache)

- Ensuite j'ai cherché comment rebasculer mes données de mon disque 12To tampon vers l'array et j'ai trouvé le plugin "unassigned devices" qui m'a permis de monter mon disque de 12To non assigné et Dynamix file Manager pour naviguer et faire des copies.

- Enfin je suis allé dans mon disque de 12To et j'ai lancé la copie de mes données vers mon Array.

 

Me voilà donc à transférer 6,7 To d'un HDD vers une Array de 9To. Au début j'avais des débits entre 45 et 60 MB/s mais depuis les 6% de copie, je navigue entre 5 et 10 MB/s ce qui n'est vraiment pas terrible. Moralité j'en suis à un ETA de 110/120 heures ce qui est énorme.

 

Ce que j'ai fait pour essayer de pallier à ça:

- J'ai passé l'option tools > Disk settings > md_write_method à reconstruct write (option qui permettrait d'accélérer la copie)

- J'ai installé le plugin "CA auto turbo write" qui gère l'option ci-dessus en auto et peut-être autre chose, je ne sais pas.

- J'ai passé des heures à chercher sur le net sans trouver de cas similaire au miens. 

 

Je sèche un peu. J'ai monté le HDD en me disant que ça irait plus vite en SATA que par le LAN (aussi parce que je n'avais pas vraiment d'autre moyen de récupérer les données) mais c'est pas flagrant. Je suis allé 4 fois plus vite de mon vieux NAS moisi vers le HDD de 12To.

 

Une option que j'ai vu mais que je suis moyen chaud à tester c'est d'arrêter la copie, arrêter l'array, faire une "Tools > New Config", désactiver le disque de parité, relancer l'array sans parité, copier mes données puis refaire l'array une fois terminé en ajoutant un disque de parité.

Je ne l'ai pas fait car entre le parity-check, divers problèmes rencontrés et les 26% de copie déjà effectués j'en suis à presque 72h et je n'ai pas envie de repartir à 0 si jamais ça ne résout rien. Auriez-vous déjà rencontrés un tel problème ? Connaitriez vous une solution pour booster tout ça ? Est-ce qu'il y a une bride quand on est dans les 30 jours d'essais ? 

 

Edit: En plus j'ai une montée de CPU. Je n'ai installé aucune appli Docker ou VMs et j'ai mon proc qui est constamment entre 55 et 75% de charge depuis le début de la copie. Il est pas tout jeune mais quand même, c'est pas normal, je pense.

 

Désolé pour le pavé et d'avance, merci pour vos réponses !

 

Edited November 27, 2023 by Rampion

[hot22shot]

Hello,

 

Bon on est mercredi alors ta copie est peut être terminée  

Regarde ce que fait to CPU avec top, tu en sauras peut être plus, possible que le calcul de parité ralentisse effectivement le transfert.

 

De mémoire (ça commence à remonter) j'avais fait comme toi et ça m'avait pris effectivement quelques jours (~18 To).

[Rampion]

Salut,

Merci pour ta réponse. Alors j'ai enfin terminé ce matin. ça tournait depuis samedi dernier...

Du coup, j'ai pas trouvé la raison à mon problème. Disons que j'ai accéléré le process.

J'ai refait l'array sans le disque de parité. Je vais maintenant refaire l'array avec le disque de parité.

 

Alors sans le disque de parité, les débits étaient bien supérieur mais j'ai vécu un peu la même expérience.

Au fur à mesure que le temps passe, le débit s'écroule. Je commençais à 100/120 mB/s et au bout de quelques temps je tombais à 10/20 mB/s.

Du coup, j'ai régulièrement arrêté la copie pour la relancer.

 

Bref, j'ai mis 24h à copier de mon ancien NAS vers le HDD12To et j'ai mis 5 jours dans l'autre sens avec les mêmes disques.

C'est pas glorieux. La bonne nouvelle, c'est que désormais c'est terminé et je peux profiter des débits du SDD en cache.

 

Pour ce qui est de la charge CPU, c'est redescendu depuis que la copie est terminée. J'ai testé avec le mover, il ne me fait pas de telle montée de CPU.

Pour ce qui est du top, il ne me montrait de rien de fou. Je n'ai plus les noms des services mais rien qui correspondait à CP.

Le mystère reste donc entier mais je n'ai désormais plus de problème à priori...

[PicPoc]

Je me demande si ce n'est pas le choix de répartitions des données sur la grappe...

Dans quel sens as tu branché les disques ?

Rempli tu le premeir puis le second etc ?

Ou as tu choisis un autre réglage ?

Connais tu les vitesses d'écriture/lecture de chaque disques ?

 

Mais surtout qu'utilise tu comme méthode pour copier les données ?

Edited December 1, 2023 by PicPoc

[Rampion]

Les disques sont tous branchés sur un port SATA dédié de la CM. Je ne passe pas par des adaptateur PCi ou usb ou autre.

Unraid a d'abord rempli le premier disque de l'array, puis le deuxième puis le troisième.

Les vitesse d'écriture sont entre 110 et 130mB/s et les vitesse de lectures entre 160 et 180 mB/s

Pour la méthode de copie j'ai copié depuis la GUI d'Unraid grâce au plugin "Dynamix File Manager".

C'est donc du CP basique affiché via GUI.

Le disque qui contient les données est en sata sur la même carte mère.

[PicPoc]

Tente d'essayer avec rsync pour voir si ca change.

J'ai un doute mais bon...

 

[Rampion]

Comme dit plus haut, j'ai fini mon gros transfert de données. Les débits s'écroulaient seulement au bout de plusieurs heures d'écriture.

Désormais, je n'ai plus moyen de reproduire. Cependant, si je n'avais pas fait plusieurs stop / relance et que je n'avais pas enlevé le disque de parité le temps de la copie, j'y serais encore. Et sûrement pour encore 5 ou 6 jours.

[PicPoc]

Soit. Tu ne le sauras donc jamais.

Reste à voir si tu n'avais pas des tout petits fichiers.

[Rampion]

Majoritairement des films et séries. Donc de 200 Mo à 130Go par fichiers.

[PicPoc]

Donc pas de petits fichiers qui auraient pu ralentir le débit.

As du des fichiers cachés de type vignettes macOS ?

 

[Rampion]

Bonjour, bonjour !

Désolé, je n'avais pas vu ta réponse. Non, pas de fichiers cachés.

Les données venaient de 4 disques montés dans un NAS grand public.

Chaque disque était dédié à quelque chose. Un films, un autre séries TV, un autres séries Japanime et un dernier photos et musique.

A part le dernier qui avait des petits fichier, le reste c'était des gros fichiers. Mais on parle d'environ 1% du volume total et c'est arrivé en dernier dans le transfert.