DataCollector

Hm... unwissende Frage: Da es ja nur eine Win10 VM ist, die ja auch nur nicht wirklich über das physikalische Netzwerk, sondern nur die simulierte Netzwerkverbindung auf den selben PC (Hardware) zugreift, wirkt sich da Multichannel SMB wirklich aus? Ich hatte es in den diversen Diksussionen so verstanden, dass sich Multichannel SMB eher dann auswirkt, wenn man wirklich über das physikalische Netzwerk transferiert. Habe ich das wirklich so falsch verstanden?

Hallo. Ich habe nun meine rund 340TB Daten in unraid eingelagert (23+2p Disks mehere Verzeichnisse (Shares). Während ich im Hintergrund nun schaue ob Quelle (Win10 PC) und Ziel (unraid 6.9.2) wirklich binär identische Dateien hat (also alles komplett und korrekt angekommen ist) überlege ich den nächsten Schritt. Aufbau einer Win10 VM um dann von dort aus neue Daten (auf einem SSD Pool) binär identisch mit den Daten des Disk Arrays zu vergleichen. Als Tool würde ich gerne weiterhin mein altbewehrtes Clonespy nutzen. Dieses kann auf Laufwerke, aber auch Netzwerkfreigaben zugreifen. Aktuell läuft das auf meinen Win10 (nativ) PC wegen dem flotten Hardwareraid sehr schnell (aber stromfressend). Da es bei jedem Abgleich lesend auf Millionen von Dateien auf dem Diskarray zugreifen muß und das unraid Diskarray von Hause aus ja nicht wirklich schnell ist (maximal so schnell die eine Festplatte) möchte ich gerne an allen anderen Ecken und Kanten Bremsklötze aus dem Weg schaffen. Ich könnte die Unraid Shares einfach als SMB Share in die Win10VM durchrreichen (dort einen Laufwerksbuchstaben damit verknüpfen) und so darauf zugreifen. Wäre das der schnellste Weg (Latency wegen Routing über Netzwerk?) oder gibt es einen anderen Weg, den ich nur noch nicht gefunden habe?

I did not read all the answers. I have 300+ TB. Is this much? Just for the future use of unraid, I could really use multi Arrays or more than 30 Devices, to go further than 400+ TB. Edit 1: the Future was faster than I expected. now +400TB

Hallo @Pete0 Falls Du sie noch nicht geordert hast ist vielleicht die hier günstiger: https://www.ebay.de/itm/133983776698 Die Abbildung erzählt zwar etwas von einem 1166 Chip, aber laut Beschreibung soll auch der 1064 verbaut sein. Versand soll auch Deutschland sein (= kein extra Zoll) und somit sind rund 27 Euro incl. Versand vielleicht interessant. (Preisvorschläge werden wohl auch akzeptiert).

Keine Empfehlung, nur eine Auflistung, was laut Geizhals aktuell wohl verfuegbar ist: https://geizhals.de/?cat=cpu1151&v=k&hloc=at&hloc=de&sort=r&bl1_id=30&xf=16688_10~596_Comet+Lake-S~820_1200 Ich liebäugele mit einem W-1290p, aber wenn ich sehe, dass der mal bei 5xx Euro lag sind mir die aktuellen 6xx Euro zu teuer.

War ich anfangs auch mal drüber gestolpert. Freut mich, das ich helfen konnte, obwohl ich bei unraid selber eigentlich noch sehr neu und wenig erfahren bin. Ich garantiere nicht,d aß ich da alles richtig und optimal drin stehen habe. Ich habe beispielsweise erst dabei entdeckt, daß das Mainboard auch Bitfurcation auf dem PEG Slot unterstützt. Nun überlege ich, wie ich das nutzen kann, denn mein SAS Kontroller braucht nur 8 der 16 Lanes. Die anderen 8 Kanes würden sich bei meinem PCIe Switch für NVMe Karten gut machen, aber wie ich das mechanisch hin bekomme rätsele ich gerade.

Da Du bei der Konstellation ja nur 2 weiter Ports brauchst waere die JMB582 M.2 2230 Karte evtl. sogar rund 10 Euro billiger udn Du hättest noch alel regulären PCIe Slots frei. https://www.amazon.de/gp/product/B083SSQQYV Hier gibt es aber die Unsicherheit ob das BIOS/UEFI mitspielt. ich bei meinem Fujitsu D3644-B1 (mit leider sehr wenigen PCIe-Slots) hatte Erfolg. Der sonst ungenutze Slot konnte so darüber 2 Festplatten anbinden. Aber das sind alles keien Empfehlungen von mir sondern nur Vorschlaege, wie es gehen kann. Ich kenne das B550M Board eben nicht und habe das Manual und die Beschreibung bei geizhals.de vorhin eben nur schnell überflogen.

Hallo Was Deine alten Platten angeht: ja, die sollten alle mit maximaler Geschwindigkeit von ihren Scheiben lesen können. bei den erwähnten 16TB kommst Du hingegen knapp an diese Grenze ran. Deshalb würde ich wirklich ausprobieren, ob das opt. Laufwerk nicht auch an den ASM kommt. Denn dann hast Du mehr Bandbreite für die verbleibenden 3 Anschluesse frei. erst, wennd as opt. laufwerk gar nicht mit dem Zusatzkontroller klar kommt, dann kann man dafür einen der OnBoardSATA Anschlüsse verschwenden. Das kanst Du alles machen/ausprobieren. Du musst also nicht auf einen SAS Kontrolelr setzen (welcher gegenueber der einfachen SATA Kontroller mehr Energie in Wärme umwandelt. Ich wuerde es zumindest ausprobieren (wenn ich auf Basis des B550M eine solche Konfiguration vor hätte).

Ich habe das mal anhand der Abbildung im Mainboardhandbuch des B550M zusammengefrickelt. Wenn es also keien Einschränkungen im BIOS/UEFI oder so gibt, kannst Du ohne nennenswerte Probleme (PCIex1 Slot und M2 2230 Steckplatz) bis zu 6 SATA Ports nachrüsten, die für heutige Festplatten und das opt. Laufwerk schnell genug sind. Zusätzlich hast Du dann noch die Möglichkeit beide M.2 2280 Slots zu benutzen udn diese später mit schnelleren NVMe zu bestücken (oder doch auf PCIe für Kontroller zu adaptieren). Nur so als Idee/Gedankenspiel.

Hallo @Pete0 Dann ist es ratsam die Festplatten weitgehend an einem eher stromsparenden SATA Kontroller zu betreiben. Wenn Du auf dem Mainboard einen bisher unbenutzen PCIe3.0 x1 Slot hast, wäre eine Delock 90010 (oder eine der vielen billigeren und wohl baugleichen Chinavaraianten des ASMedia1064) vielleicht etwas fuer eben die Festplatten. https://geizhals.de/delock-4x-sata-6gb-s-90010-a2534298.html PCIe 3.0 x1 beherrscht fast 1GByte/s Transfer. Somit koennen alle 4 Anschlüsse gleichzeitig knapp unter 250MByte/s transportieren. Wenn Du nur 3 Anschlüsse nutzt sollten rund 330MByte/s gleichzeitig möglich sein. Selbst meine flotten Seagate Exos 18TB schaffen nur irgendwas um max 280MByte/s im Außenbereich (wenn sie leer sind. Je voller, desto langsamer). Deine bisherigen Festplatten sollten nocht einmal 240MByte/s schaffen. Die angedachten 16TB werden da auch noch gut mit angesprochen. Ob Dein optisches Laufwerk mit einem ASM gut zusammen arbeitet kann ich nicht sagen. Ausprobieren. Wenn Du einen breiteren PCIe3.0 Slot frei hast wäre auch einer der gerne erwähnten ASM1166 oder so interessant. Also Festplatten an so einen Kontroller und die OnBoardanschlüsse für die schnelleren SATA 2,5" SSD benutzen. So mache ich es auch. Festplatten werden überwiegend an Zusatzkontrollern betrieben (SAS (wegen der hohen Portzahl 24) und SATA) und An den OnBoardanschlüssen sitzen 4 SATA 2,5" MX500 2TB SSD. OnBoard ist noch eine 2TB Nvme SSD für Docker und VM. Laut Geizhals: ASRock B550M Pro4 90-MXBDK0-A0UAYZ 1x PCIe 4.0 x16 1x PCIe 3.0 x16 (x4) 1x PCIe 3.0 x1 1x M.2/M-Key (PCIe 4.0 x4, 2280) 1x M.2/M-Key (PCIe 3.0 x2/SATA, 2280) 1x M.2/E-Key (PCIe, 2230) Was willst Du denn in die jeweiligen PCIe Slots stecken? In dem PCIe3.0 x1: Beispielsweise ASM1064. Vielleicht alternativ einen JMB582 in dem M.2 2230 Slot? Ich habe seit kurzem eine M.2 A/E-Key Karte mit einem JMB582 für 2 SATA Ports drin und bin zufrieden. KALEA INFORMATIQUE Karte M2 E A Key Zwei Ports SATA 6 GB/s Mini PCIe 3.1 mit Chipsatz JMB582 https://www.amazon.de/gp/product/B083SSQQYV Einen vollen M.2 M-Key (PCIe x4) für nur 4 oder 5 SATA Ports zu benutzen empfinde ich als Verschwendung von PCIe Lanes. ...die man mit dem ASM1064 im PCIe x1 Slot ja kompensieren könnte. Wenn das optische Laufwerk am ASM läuft, wäre ein gerät, welches keine große Datenrate hat schonmal von den OnBoard SATA Anschlüssen weg. Mit so einer Karte https://www.amazon.de/Adapterkarte-Festplattenerweiterung-Festplattenkonverterkarte-PM-Funktion-Unterstützen/dp/B09JYNYR4K verschwendest Du 4 PCIe Lanes, obwohl der Kontroller mit 1 oder 2 Lanes auskommen würde. Von mir für diesen Anwendungszweck keine Empfehlung. Aber das darfst Du gerne anders sehen.

Hallo @OOmatrixOO Ah, ja. Ich hatte zwar im Januar von Kontron das neue BIOS herunter geladen, aber nicht installiert. Sorry für die Verwirrung. Aktuell nutze ich noch die erwähnte 1.8.0 (siehe Screenshots). Per default ist auf dem Stick das Verzeichnis EFI als "EFI-" benannt. Entferne einfach mal den Bindestrich dahinter und versuch neu zu booten.

Hallo @OOmatrixOO Ich versuche sie mal als ZIP anzuhängen: Fujitsu-D3644-B1-UEFI.zip

Hallo @OOmatrixOO Vielleicht bin ich ja auch veraltet. Siehe meine beiden Screenshots unten (einmal BOOTScreen und einmal Info aus dem zugehörenden PDF von Fujitsu) Werde ich gleich anfertigen (dauert etwas) und ann heute versuchen hier anzuhängen. Wenn es nicht geht, werde ich eine Link zu einem gepackten Archiv irgendwo ablegen.

Hallo @OOmatrixOO Ich verwende aktuell ein D3644-B mit einem I3-8100 Auf aktuell R1.8.0? Ich kann Dir anbieten Screenshots meiner UEFI EInstellungen anzufertigen in ein RAR oder ZIP zu packen und Dir zukommen zu lassen, wenn gewünscht.

Hallo @jj1987 Ich habe und nutze aktuell ein D3644-B für mein unraid System. Das Board ist UEFI only.

Baruchst Du ein Board mit 8 Ports oder brauchst Du im gesamten System 8 Ports? Wieviele SATA kompatible Ports brauchst Du denn in Summe und womit werden die bestückt (SATA-Festplatten (sind aktuell langsamer als 300MByte/s) oder SATA SSD (können 600MByte/s ausnutzen, gehen aber nicht in Spindown))? Aus vorherigen Beiträgen entnahm ich # 5 HDD (vermutlich SATA) # BD SATA Dafür reichen also 6 SATA Ports. # 1 SSD (für Cache; unbekannt ob SATA oder NVMe und ob 2,5" oder M.2) Wenn die NVMe ist braucht Du hierfür keinen SATA-Port. Bei SATA-SSD (2,5" Bauform): Wenn Du die Festplatten beispielsweise an einen ASMedia SATA Kontroller (beispielsweise 1062, 1064 oder 1166 in entsprechenden PCIe3.0 x1 oder x2 oder x4 Slots) hängst, sind die bis zu 300MByte/s schnellen Festplatten ausreichend flott angebunden und Du hast ein paar OnBoardPorts für SATA SSD frei um diese maximal schnell zu betreiben. SAS Controller sind sehr sinnvoll, wenn man grosse Performance und/oder grosse Portanzahl haben will. Wenn man aber beides nicht braucht, kann man auch mit SATA Kontrollern in Verbindung mit Onboard Anschlüßen vielleicht stromsparender hin kommen. Unraid hat kein Problem damit mehrere SATA Kontroller parallel zu bedienen. SSD Trim im unraid Array ist sowieso eine Diskussion für sich. Normale SAS Kontroller können SATA Festplatten in der Regel in spindown schicken. Beide von Dir benannte Kontrollerkarten sollten das unterstützen, wären aber meiner Meinung nach mit Zoll und Einfuhrabgaben preislich in Bereichen, die ich für chinesische Nachbauten nicht ausgeben wollte (auch ist fraglich ob die lizensiert sind oder beim Zoll hängen bleiben). Solltest Du den SAS Kontroller anstreben um auch SAS Festplatten einzusetzen, habe ich die schlechte Erfahrung gemacht, daß keine meiner SAS Festplatten unter unraid Spindown nutzt; auch nicht mit dem so benannten Plugin.

Hallo @Revan335 Ich verstehe die Frage nicht ganz. Vorgesehen ist es, daß man bei einem Array die Selbe oder größere Anzahl an Datenplatten einsetzt. Jede einzelne Datenplatte darf aber nicht mehr Kapazität haben als die kleinste Parityplatte. Aber durch den Vorteil von unraid, daß die Daten auf den Datenplatten normal geschrieben und nicht zerstückelt werden, kann man ein Array auflösen und umbauen. Sowas ist bei wichtigen Daten nur mit einem Backup zu empfehlen, weil auch etwas schief gehen kann. Du könntest bei einem bestehenden Array mit 6TB Parityplatten keine 16TB Datenplatten einbauen und nutzen. Aber Du könntest die 6TB Parityplatten gegen 16TB Parityplatten tauschen (Parität darauf erzeugen) und dann sind die Paritätsplatten groß genug um auch bis zu 16TB große Datenplatten einzusetzen.

Hello @bonienl I am a newbie/beginner (and not native english speaking). I installed this Plugin. I build md5 on several Disks (1 to 12). Then I read that Blake3 should be faster. I stopped creating md5, switched to Blake3 and Build new on several Disks. Since I did not experience faster building or less CPU usage, I stopped it, removed the Hashes, switched back to md5 and started to build anew on those disks starting with Disks 1,2 and 3. But surprise! On two disks (9 and 10) the green sign for (up to date) appeared. I removed the hashes on 9 and 10 again, the green sign switched to the orange circle...only to appear again after several minutes. I removed the hashes again, the green signs became orange circkes again. And serveral minutes later the green sign appears again (this time only on Disk 9). I do not understand what I am making wrong. (Adding another Screenshot: several minutaes later Disk 10 also did get the green sign again. I am puzzled. Addin third Screenshot from a newer bulding. Still 9 and 10 have the green sign. Even when disk9 is just buiilding.).

Hallo @hawihoney Korrekt. Wenn ich aber von einem Ausfall der Disk ausgehe, will ich wissen war drauf war. So muß ich nur auf den umliegenden Disks nachsehen, was vorhanden ist um schnell erkennen zu können, welche fehlen. *Jahhh* Mich. Mit dem MC kann man es manuell machen. Mich interessiert ein eher automatisierbarer Ansatz. Lebenszeit: deswegen ja Plugin/Tool/Automatik. Strom: Da die Platten sowieso anlaufen, wenn der Mover anlaeuft, kann das gleich mit gemacht werden, bis die wieedr in Spindown gehen. Plattennutzung: Im Gegensatz zu SSD fallen lese und Schreibzugriffe bei Festplatten nicht ganz so begrenzt aus.

Hallo Allerseits. Gegeben sei eine Sammlung in alphabetisch sortieren Unterverzeichnissen auf einem Array. Beispiel: Ein Share über alle Festplatten (sagen wir zur Einfachheit mal 10 Festplatten) namens: VIDEO Darin enthalten Unterverzeichnisse wie AAA, AAB, AAC, AAT, .... bis ZZZ. Somit sind Beispielsweise AAA bis BAE auf Disk 1 Somit sind Beispielsweise BAF bis CDD auf Disk 2 Somit sind Beispielsweise CDE bis FAE auf Disk 3 und so weiter . . . Wie gesagt: alles halbwegs gleichmäßig auf alle Disks verteilt, so daß alle Festplatten ähnlich viel Speicherplatz noch frei haben. Wenn man beispielsweise eine Festplatte austauschen will gibt es ja das unbalance Plugin um beispielsweise eine Festplatte frei zu schaufeln (wegen Defekt oder Austausch gegen Größere oder so). Nun stellt sich mir die umgekehrte Frage: wenn man einfach eine 11. Festplatte hinzu fügt ist diese ja leer. Gibt es ein Plugin/sinnvolle Methode um alle Verzeichnisse weiterhin alphabetisch sortiert so umverschieben zu lassen, dass die Platten alle ungefaer den gleichen freien Platz haben? Wie geschrieben bevorzuge ich es, wenn diese Unterverzeichnisse (mit den darin enthaltenen Unterverzeichnissen) weiterhin alphabetisch sortiert bleiben. Oder muß ich alles manuell mit krusader/MC/rsync oder so verschieben lassen?

Hallo @Revan335 *seufz* Ich hatte hier schon heute Morgen geantwortet, aber ich sehe jetzt erst, daß diese Forensoftware meine Antwort wohl nicht gespeichert hat. Ich vermute Du meinst mit Deiner Bemerkung die von mir erwähnte Seagate. Seagate Exos X16 12TB ST12000NM001G https://geizhals.de/seagate-exos-x-x16-12tb-st12000nm001g-a2274901.html?hloc=at&hloc=de Formfaktor 3.5" Drehzahl 7200rpm Cache 256MB Leistungsaufnahme 6.0W (Betrieb), 5.0W (Leerlauf) Lautstärke keine Angabe (Betrieb), keine Angabe (Leerlauf) Aufnahmeverfahren Conventional Magnetic Recording (CMR) Sektoren 4KB mit Emulation (512e)/4KB nativ (4Kn) Zuverlässigkeitsprognose 2.5 Mio. Stunden (MTBF) Besonderheiten geeignet für Dauerbetrieb, heliumgefüllt, PowerChoice, PowerBalance, Feuchtigkeitssensor, logische Sektorgröße einstellbar (FastFormat) Herstellergarantie fünf Jahre Die Lautstärke ist mir wirklich nebensächlich. Für den Maximalbetrieb aller Festplatten und CPU gleichzeitig habe ich sowieso Lüfter drin. Ob Dein Gehaeuse dämmt kann ich nicht sagen. Ich kenne es nicht. Zu Toshiba Festplatten bulk: Auch wenn man anhand der Seriennummer eine Garantieaussage finden kann, ist es die Regel, daß Toshiba bulk Festplatten nur über den Händler annimmt (Ausnahmen bestätigen die Regel). Ich hatte bei Toshibaausfällen innerhalb der Garantiezeit bisher Glück, da es entweder eine Retailplatte war (anstandloser Austausch) oder es eine Intenso-Retail Platte war und sich Intenso dann damals darum gekümmert hat. Aber auf die Problematik bei aktuellen Toshiba Festplatten bin ich auch erst vor einiger Zeit gestoßen. Seit dem bevorzuge ich (auch aus Preis+Kapazitätsberechnungen) meist Seagate. WD ist mir bei gleicher Kapazität meist zu teuer. https://forums.unraid.net/topic/103012-wo-gibt-es-günstige-hdd-ssd/?do=findComment&comment=1072258

Nein. Ich hatte zu meinen Anfangszeiten (Mitte 2021) mit Unraid experimentiert und viele Seagate Archive v2 8TB SMR Festplatten verwendet. Die waren alt und hatte ich übrig. Unraid hat durch den Cache und die Verteilung der Schreibzugriffe auf alle Platten reihum über lange Zeiten (hunderte GB am Stück, bis hin zu rund 1-2TB) sogar sehr hohe Geschwindigkeiten erreicht und gehalten. Leider waren die Festplatten sehr alt und sind dann im Rahmen der Tests an ihr 'Lebensende' gekommen. Aufgrund dieser tests würde ich mich zu der Aussage hinreißen lassen,d as SMR bei Unraiddatenplatten kein Problem darstellen. Wenn SMR bedingt Verzögerungen auftreten, wird es eben etwas langsamer. Aber an Stellen, bei denen sehr hohe Schreiblasten udn Performance ratsam sind (Parityplatten) würde ich von SMR absehen. Dort sind dann wirklich starke Probleme bzw. Einbußen zu befürchten. Grundlegend stimme ich Dir zu.

Hallo @Revan335 Bei Bulk ist die Garantie für normale Endkunden bei Toshiba ...na sagen wir... fraglich. Man könnte auch sagen: nicht wirklich vorhanden. Auch erscheinen mir aktuelle 269 Euro pro Platte etwas viel. Vor dem Hintergrung würde ich diese Festplatten nicht nehmen. Wenn man soviel Geld ohne Garantie ausgeben willst, würde ich mit Toshiba Enterprise Capacity MG08ACA 16TB für aktuell 260 Euro mehr Platz zu minimal niedrigeren Kosten bekommen. Bei den Toshiba Enterprise Capacity MG07ACA 12TB ist die Garantiesituation genauso, aber man zahlt nur rund 209 Euro und hat die gleiche Kapazität wie Deine Wunschplatten. Ich würde dann aber doch lieber mit Herstellergarantie für den Endkunden kaufen und da wären aktuell bei GH die günstigsten Seagate Exos X16 12TB SATA 6Gb/s ab rund 243 Euro. Hat er das über den Händler gemacht oder hat er kein bulk gekauft? Meinst Du Raid1?

Hallo Sowas habe ich auch mal vor, wenn ich wieder genug Geld habe. Dann kommt auch noch Ram hinzu. Zu empfehlen ist immer ein Backup in der Hinterhand zu haben. Ansonsten, solange Du Hardware verwendest, die von unraid unterstützt wird sollte es problemlos möglich sein dies zu tauschen. Schreib Dir die Postitionen/Seriennummern der Platten auf. Falls unrai die Reihenfolge nicht wieder richtig hin bekommt, kannst Du das Array dann wieder manuell anlegen.

1062? Ich vermute es sollten eigentlich 2 ASM 1061 sein: ASRock B550 Taichi - Razer Edition "...4x SATA 6Gb/s (ASM1061)..." Da diese Chips (ASMedia ASM1061) PCIe x1 für 2 SATA 6GBit/s Ports produziert sind bedeutet "4x SATA (ASM1061)" also, daß 2 Stück ASM1061 verbaut sind. Vielleicht ist bei dem Motherboard einer der Chips defekt oder deaktiviert? Wenn ich ins Handbuch schaue vermute ich, dass SATA3_A1 und A2 an einem Chip hängen und A3 und A4 am Anderen. Laut Handbuch kann man die SATA Ports unter Advanced im UEFI einstellen/disablen. Vielleicht da auch mal nachschauen? An welchen Anschlüssen sind die beiden 2 WD80EZAZ denn angeschlossen? Hast Du die SATA Anschlüsse mal gewechselt (andere Anschlüsse für die Festplatten verwendet)? Zu der fehlenden Erkennung unter Windows: Waren die Festplatten schon mit einem Windows unüblichen Dateisystem formatiert? Ich habe gestern eine 12TB XFS encrypted bei mir aus unraid ausgebaut (und gegen 18TB ersetzt) und Windows vorgeworfen. Windows hat auf der Festplatte gar nichts gesehen. Als wäre sie fabrikneu und nicht einmal partitioniert. Aktuell überschreibe ich die Festplatte sowieso mit Randomwerten.