Arbeitsweise des Movers

[sbah]

Hallo zusammen,

 

bin neu hier (s. meine Vorstellung) und bei mir stellen sich immer wieder Fragen, die ich versuche selbst zu klären per Recherche. Aber nicht immer finde ich was dazu. Also wenn wer ne Quelle einer Antwort zu meinen Fragen hat, wäre ich auch schon glücklich 😛

 

Der Cache-Pool ist echt eine feinde Sache, nur den Mover verstehe ich noch nicht ganz.

Klar ist mir, dass ich ihn unter Einstellungen/Aufgabenplanung/Paritätsprüfung geplant oder unter Start/Array-Vorgang/Verschieben direkt starten kann.

 

Ich hab dann auch unter Start schön sehen können, wie was rüber ging (schien mir aber mit rund 1 MB/s doch recht wenig). Nun läuft der Mover schon Stunden und es bewegt sich nichts mehr.

 

Habe ich da was falsch verstanden oder falsch eingestellt?

 

Zudem stellt sich mir die Frage, da die Daten im Cache ja "ungesicherter" sind, als im Array, ob es möglich ist, die Reihenfolge, wie der Mover den Cache verschiebt, beeinflusst werden kann.

 

Da der Mover ja sinnigerweise das Stoppen des Arrays verhindert, ist es sinnvoll, den Mover auch stoppen zu können. Als einzige Möglichkeit hab ich bisher die Konsole des unraid gefunden. Hab ich was übersehen?

 

Schon mal vorab vielen Dank an die community für den Support, den ich alleine schon durch das Lesen hier bekommen habe

[alturismo]

5 hours ago, sbah said:

Klar ist mir, dass ich ihn unter Einstellungen/Aufgabenplanung/Paritätsprüfung geplant oder unter Start/Array-Vorgang/Verschieben direkt starten kann.

 

parity und mover sind 2 verschiedene Dinge, unter settings > scheduler > mover settings "planst" du wann der mover starten soll

 

5 hours ago, sbah said:

Ich hab dann auch unter Start schön sehen können, wie was rüber ging (schien mir aber mit rund 1 MB/s doch recht wenig). Nun läuft der Mover schon Stunden und es bewegt sich nichts mehr.

 

Habe ich da was falsch verstanden oder falsch eingestellt?

kurz, ja, 1 MB/s ist sehr wenig

 

Ursachen, läuft parallel ein Parity Check ? wie sind die disks angebunden ? bitte mal einen screen hiervon > Main Tab

 

 

und hier von auch noch, Shares Tab

 

 

dies nur zum Verständnis was du alles moven willst

 

bevor wir weiter schauen was mit dem Rest möglich wäre, dazu gäbe es das Plugin mover tuning ... nur das hat erstmal nichts mit deinem "Disk Speed Problem" zu tun ...

 

man kann auch den etwas langsameren mover Prozess eines Parity Arrays beschleunigen indem man reconstrutiv aktiviert, aber wir reden dann von max HDD Speed (150 - 250 MB/s) anstelle normalem Parity Speed (50 - 100 MB/s)..

 

Deine 1 MB/s kommen sicher woanders her.

[sbah]

4 hours ago, alturismo said:

parity und mover sind 2 verschiedene Dinge, unter settings > scheduler > mover settings "planst" du wann der mover starten soll

 

ups, da hatte ich die falsche Stelle per copy/paste eingefügt 😕 Sollte natürlich Einstellungen/Aufgabenplanung/Mover-Einstellungen heißen. Sorry für die Verwirrung.

 

4 hours ago, alturismo said:

kurz, ja, 1 MB/s ist sehr wenig

 

Ursachen, läuft parallel ein Parity Check ? wie sind die disks angebunden ? bitte mal einen screen hiervon > Main Tab

 

laufen nicht parallel, hatte ich extra unterbrochen.

 

 

 

4 hours ago, alturismo said:

und hier von auch noch, Shares Tab

4 hours ago, alturismo said:

eine 1 MB/s kommen sicher woanders her.

seit gestern Abend hat sich gar nix mehr bewegt

 

PS: Dein Username gefällt mir 😄

 

Edited December 28, 2023 by sbah

[alturismo]

3 minutes ago, sbah said:

seit gestern Abend hat sich gar nix mehr bewegt

 

ok ... Fragen

 

1/ ist das eine USB Platte ? My Passport ...

 

2/ hast du dich mal zum Thema "welche Shares sollten besser auf cache only (secondary none) stehen" eingelesen

 

/appdata - deine persistent Docker Daten, können / werden nur bei "not in use" moved ... also immer nur teilweise ... Spinups garantiert

/ldomains - deine VM's sofern vorhanden .... VM sehr eingebremst, Spinups garantiert

/isos - wenn du sauber die ISO nach VM Erstellung wieder entfernst, egal, aber die paar GB ... würde ich auch nicht ...

/system - speziell /system/docker/ ... das Docker Image / directory ... ca. 1 Mrd. Daten (directory) und Chaos auf den Array Platten beim Schreiben, Spinups ...
naja, du weißt jetzt sicher was ich meine

 

zu 1/ wenn USB ... sorry, aber das brauchen wir wahrscheinlich nicht debuggen, ist halt einfach wie Auto fahren mit gezogener Handbremse ... abgesehen von den Wahrscheinlichkeiten dass das Array auch gerne mal komplett aufgibt wenn USB disconnected.

 

zu 2/ siehe vor allem /appdata und /system/docker ... das sind "Killer" in so einem Fall ... wenn dann noch USB in der Kette ist ... Volltreffer

 

um das in Summe zu beschleunigen kannst du mal folgendes versuchen

 

 

wobei dies bei einem 1+1 setup (raid 1) eigentlich nichts ausmachen sollte (leider).

[sbah]

33 minutes ago, alturismo said:

1/ ist das eine USB Platte ? My Passport ...

 

Yup, ich weiß, aber es geht eben um kleines System für zuhause, nix großes

 

33 minutes ago, alturismo said:

2/ hast du dich mal zum Thema "welche Shares sollten besser auf cache only (secondary none) stehen" eingelesen

/appdata - deine persistent Docker Daten, können / werden nur bei "not in use" moved ... also immer nur teilweise ... Spinups garantiert

/ldomains - deine VM's sofern vorhanden .... VM sehr eingebremst, Spinups garantiert

/isos - wenn du sauber die ISO nach VM Erstellung wieder entfernst, egal, aber die paar GB ... würde ich auch nicht ...

/system - speziell /system/docker/ ... das Docker Image / directory ... ca. 1 Mrd. Daten (directory) und Chaos auf den Array Platten beim Schreiben, Spinups ...
naja, du weißt jetzt sicher was ich meine

 

Erwischt. Hatte was herumgespielt und vergessen es wieder zurückzusetzen. Jetzt kann ich bei mind. 10 MB/s zusehen wie der Cache sich leert 🙂 Damit bin ich doch schon voll zufrieden

Hab auch mal ausgetestet, ob es einen Unterschied macht, ob die Paritätsprüfung unterbrochen oder gestoppt ist. Dem scheint aber nicht so.

 

33 minutes ago, alturismo said:

zu 2/ siehe vor allem /appdata und /system/docker ... das sind "Killer" in so einem Fall ... wenn dann noch USB in der Kette ist ... Volltreffer

 

Ja, das war es. Danke, dass du das gesehen hast

 

33 minutes ago, alturismo said:

um das in Summe zu beschleunigen kannst du mal folgendes versuchen

...

wobei dies bei einem 1+1 setup (raid 1) eigentlich nichts ausmachen sollte (leider).

 

das hatte ich auch überlegt, aber was ich so gelesen hatte, lohnt sich das nicht für meine Fall.

 

Und  mein "1+1 setup" ist doch kein raid1, ist doch unraid, oder?

Es soll auch noch mehr werden, dafür will ich ja die alten Platten leeren

 

btw noch meine Frage von ganz oben: lässt sich der mover nur in der console stoppen?

[alturismo]

19 minutes ago, sbah said:

Und  mein "1+1 setup" ist doch kein raid1, ist doch unraid, oder?

 

ja, reads werden nur von der Data Disk genommen, aber am Ende ist es da ja mehr nur eine "Spiegelung" das Disk1 und parity 1:1 sind

 

19 minutes ago, sbah said:

Es soll auch noch mehr werden, dafür will ich ja die alten Platten leeren

 

danach ist es ein echtes Unraid

 

19 minutes ago, sbah said:

btw noch meine Frage von ganz oben: lässt sich der mover nur in der console stoppen?

ich meine ja, sollte "normal" ja auch nicht von Nöten sein ...

 

also, in Summe, bei USB mit allen Konsequenzen leben ... und bei Anfragen zu allem was Speed, Spinups, Hänger, ... usw beinhaltet, bitte immer die Info dazu "USB im Spiel" ... Support bringt da halt wenig da es oft anfällig ist ...

[hawihoney]

1 hour ago, sbah said:

Yup, ich weiß, aber es geht eben um kleines System für zuhause, nix großes

 

USB im Array ist einfach Mist. Was das hier schon an Support Anfragen verursacht hat geht auf keine Kuhhaut. USB Devices hängt man über Unassigned Devices rein und gut ist. Parity geht dann zwar nicht, aber dann rsync't man eine Platte halt via User Scripts zeitgesteuert auf die zweite Platte.

 

Egal wer USB im Array empfiehlt, der hat sich nicht wirklich mit Unraid bzw. md auseinandergesetzt. Hab letztens gehört Heise hätte das empfohlen - ich kann das nicht wirklich glauben ... Ist halt ein Unterschied ob man Parity in Echtzeit pflegt (Unraid) oder manuell/zeitgesteuert (z.B. SnapRAID). Jeder kurze Aussetzer in der Verbindung, den man via Unassigned Devices nicht mal merken würde, lässt das Array stoppen - und das muss so sein.

 

Bei mir baumelt auch eine USB WD Elements im Lüfterauslass am Server und ist via Unassigned Devices als Ziel von NZBGet glücklich. Im Array wäre das selbe Device bestimmt schon dutzende Male rausgeflogen.

 

Edited December 28, 2023 by hawihoney

[DataCollector]

14 hours ago, hawihoney said:

Hab letztens gehört Heise hätte das empfohlen - ich kann das nicht wirklich glauben ...

Empfohlen haben sie es nicht wirklich.

Im Video "ct3003" wurde gezeigt wie Easy und schnell man ein unraid aufsetzen kann.

Dafür hat man einen MiniPC genommen und alles per USb angeschlossen (abgesehen von einer 16GB SATA intern).

Es wurde auch erwähnt, daß dies genau NICHT empfohlen wird, aber dann recht schnell abgetan.

Und ich glaube wahrzunehmen: seit ich auch auf das Video aufmerksam wurde tauchen hier verstärkt Anfragen zu MiniPCs mit USB für Array auf.

 

Sehr enttäuschend von heise (ct3003).

Video:

https://www.youtube.com/watch?v=cB5n_cWJor8

 

[saber1]

7 hours ago, DataCollector said:

Und ich glaube wahrzunehmen: seit ich auch auf das Video aufmerksam wurde tauchen hier verstärkt Anfragen zu MiniPCs mit USB für Array auf.

Ist mir auch aufgefallen.

 

7 hours ago, DataCollector said:

Sehr enttäuschend von heise (ct3003).

Allerdings. 😑

[Archonw]

@sbah die USB Platte im Array wird wahrscheinlich auch bei dir sehr bald dazu führen, dass dein Unraid nicht mehr wie gewohnt reagiert, da dein Array gestoppt wird.
Ich habe auch so angefangen und musste dies auch sehr schnell einsehen, dass dieser Weg nicht befriedigend ist. Die Verbindung der USB Platten ist nicht in der Art permanent, dass es für Unraid reicht um damit gesichert Arbeiten zu können. So wird bei jeden "Verbindungsabbruch" sofort das Array als fehlerhaft markiert und entweder wird die Platte dann durch die Parität emuliert oder das Array wird gänzlich gestoppt und es geht erstmal gar nichts mehr.
Wie schon angeraten solltest du den Vorschlag annehmen und die USB Platten raus aus dem Array nehmen und über das Unassigned Device Plugin einbinden. So macht es dann keine Probleme mehr und man gut mit Unraid erste Schritte machen.

[hawihoney]

7 hours ago, DataCollector said:

Und ich glaube wahrzunehmen: seit ich auch auf das Video aufmerksam wurde tauchen hier verstärkt Anfragen zu MiniPCs mit USB für Array auf.

 

Ach daher kommt das. Ich hatte zuletzt das Gefühl, dass nur noch über USB Devices im Array geredet werden muss. Das hat zuletzt keinen Spaß mehr gemacht.

 

Hier im Forum sollte bei einer Supportanfrage, wie auch im General Support Forum üblich, als erstes nach der Diagnostics Datei gefragt werden. Sind USB Platten im Array oder Pool, dann schreibt man das und der Support sollte an dieser Stelle erst mal enden. Alles Andere verbrennt meiner persönlichen Meinung nach die freiwilligen Helfer.

 

[DataCollector]

1 hour ago, hawihoney said:

Ach daher kommt das. Ich hatte zuletzt das Gefühl, dass nur noch über USB Devices im Array geredet werden muss. Das hat zuletzt keinen Spaß mehr gemacht.

 

Ich habe mir das Video nochmal in weiten Teilen angesehen.

Video:

 

 

Mich irritieren da eben mehrere Sachen:

 

18:30 Min:sec
"... Wenn ihr sonst Festplatten drin habt und einen SSD Cache verwendet, dann wird erst einmal alles auf die Cache SSD gespeichert und dann nachts, wenn das Ding idle ist, wird der Kram auf die Festplatten ... drauf verschoben.
Der Vorteil ist, während ihr nur die Cache SSD benutzt können die ganzen Festplatten ausgeschaltet bleiben.
Das heißt die werden dann nur einmal an gemacht wenn der Kram darauf kopiert wird und dann könne sie wieder ausgemacht werden..."

 

Ich warte nur drauf, daß jemand wirklich seine Festplatten im Array abschaltet und sich wundert, warum regelmäßig das Array zerbricht.

"...Aber die von ct3003 haben doch gesagt, dass an das machen kann..."

 

19:15 Min:sec
"...das ist unraid, könnt ihr beliebig viele Platten anschließen...
In meiner privaten Geschichte arbeite ich mit USB Festplatten, 
das wird eigentlich überhaupt nicht empfohlen,
ich finde das aber super elegant weil ich mein NAs nur sehr selten benutze und die USB Festplatten die ganze Zeit runtergespinnt sind..."

 

"Beliebig viele Festplatten". Naja, Selbst mit der dicksten Lizenz sind im Array aktuell maximal 28+2 Datenträger zulässig. Der Rest ist dann etwas für Pools und UD.

(Habe ich schonmal gesagt, daß ich MultiArray haben will?)

Er mag es elegant finden, wen ein Kabelverhau mit jeweils einem eigenen Festplattennetzteil im Regal steht, aber die Verlustleistungen der Wandwarzen (selbst mit runtergespinnten Festplatten) wird mit steigender Anzahl dieser Festplatten dann wohl doch blöderweise steigen.

 

Ganz abgesehen davon, wenn man externe Festplatten(gehäuse) nimmt, die aufgrund identischer Seriennummern nicht getrennt erkannt werden hat man direkt Probleme.

(vor kurzem war wohl hier wieder so ein Fall, in dem 2 externe 30TB SSD Konstellationen nicht wie gewünscht liefen, weil sie sich doch zu identisch waren und unraid die nicht auseinanderhalten kann. Wenn man das nur für unraid angeschafft hätte, wären mal eben rund 5000 Euro oder so in den Sand gesetzt worden)

 

Und dann wird der Fehler wieder bei unraid gesucht, anstatt auf USB im Array (oder generell bei Nutzdatenträgern) zu verzichten.

Edited December 29, 2023 by DataCollector

[hawihoney]

7 minutes ago, DataCollector said:

Das heißt die werden dann nur einmal an gemacht wenn der Kram darauf kopiert wird und dann könne sie wieder ausgemacht werden

 

Dieser Autor hat Unraid nicht verstanden. Mehr kann ich dazu nicht sagen.

 

Meine Abneigung gegen die allgegenwärtigen Youtube Videos kennen ja die meisten bereits. Diese Videos enthalten Meinungen - keine Fakten. Will ich Fakten und Details dann sollte man, als Server-Betreiber muss man, die Original Doku lesen und verstehen.

 

Youtube Videos sind halt bequem - aber nicht zwangsläufig richtig.

 

'nough said.

 

Edited December 29, 2023 by hawihoney

[sbah]

Zu dieser Diskussion würde ich auch gerne was beitragen, nur glaube ich, dass das hier gerade arg offtopic wird.

 

Meine Anfrage zum Mover, war eigentlich mit der Antwort von alturismo (28.12.23 10:41 AM) beendet.

 

@Moderation: ist es machbar, alles was danach diskutiert wurde, ich einen extra thread zu verschieben? Halte sie für sinnvoll und würde mich dann dort auch dort gerne einbringen.

[saber1]

49 minutes ago, sbah said:

Meine Anfrage zum Mover, war eigentlich mit der Antwort von alturismo (28.12.23 10:41 AM) beendet.

Dann markiere diesen Beitrag als Lösung (Solution).

[sbah]

Da hast du natürlich Recht. hatte ich vor, und dann vergessen, sorry