October 9, 20232 yr Hallo zusammen, Ich brauche mal eure Hilfe und Wissen zum Thema Plattenkonfiguration für das System. Irgendwie habe ich mich gerade so ein wenig an die Wand gearbeitet und ich weiß nicht mehr weiter. Was ist die Ausgangsbasis? Das ZielBild ist grundsätzlich den Stromverbrauch in meiner Server Ecke zu reduzieren. Aktuell benutze ich ein großes QNAP auf dem zwei VMs und eine handvoll Docker Container laufen. Ein Teil der Workload ist inzwischen schon auf ein OrangePi5 verlagert worden. Ich habe nicht viel rechenintensive Software laufen, primär iobroker und paperless. Paperless (mit Datenbanken etc) soll auf dem UnRAID System später laufen. Die eine VM sind ein Yunohost System wo schon etwas IO stattfindet. Das andere System ist mehr so ein Utilities System was hauptsächlich idled. Letzteres wird eventuell sogar vor dem finalen Umzug einfach abgelöst. Auf Basis meiner persönlichen Erfahrung mit QNAP unter der Tatsache, dass ich nicht alle Daten gleichzeitig im sofortigen Zugriff brauche, ist die Entscheidung auf ein neues UnRAID System gefallen. Ich erhoffe mir von der etwas anderen Architektur der Plattenraids etwas Einsparungen. Momentan sind die Stromkosten halt irgendwie hauptsächlich „Bereitstellungskosten“, da so wenig Last da ist.. anstatt konkret viel Arbeit zu verrichten. Im Kontrast arbeitet das QNAP permanent stark auf den Platten und es ist total intransparent was überhaupt da passiert. Ich habe mir verhältnismäßig stromsparen Hardware beschafft. Zwischendurch (mit den ersten Tests) hatte ich auch ein gebrauchtes Bord, welches CRC Fehler auf einem SATA Port erzeugte. Ich baue das System aus neuer gebrauchter Hardware und Hardware aus meinem Keller zusammen. Da ich mal hier das, dann mal dies besorgt und dann auch noch im Keller ein paar Sachen habe, ist die Hardware sehr heterogen. Da ich jetzt schon weit über meinem geplanten Budget bin, würde ich gerne vermeiden nochmal Geld in Form von Hardware reinzustecken. Folgende drei von mir gebrauchte Festplatten sind für den Array vorgesehen : 3x WD Black 4 TB Für den Cache im Raid 1. 1x 1TB NVMe SSD 1x 1TB SATA SSD Zudem hatte ich in einem spontanen Kauf eine 2 Terabyte SATA SSD besorgt. Der erste Gedanke und Test war, diese Platte im Array mitlaufen zu lassen, um dort die VM im Lese und Schreibbegriff zu haben. ich hatte eine steile Lernkurve vor allen Dingen, auch mit dem Blick auf dem Einzug auf das System, der noch nicht stattgefunden hat. Ich hatte jetzt circa 1-2 TB umkopiert und nach einer Woche das erste Mal ein Parität Check gemacht. Natürlich mit direkt über 1000 Fehlern, und ich vermute, dass das alte Mainboard hier irgendwo noch dafür mit verantwortlich war, oder die SSD im Array lief und ist nicht so funktioniert, wie ich es gedacht hab. Oder vielleicht mal ein unkontrolliertes beenden gewesen, weil ich Schwierigkeiten mit dem mover hatte (ticket dazu ist auf). Jetzt habe ich das bisher finale System noch mit dem MemCheck getestet, was unauffällig war. Ich habe das UnRAID jetzt einfach noch mal zurückgesetzt (auch btrfs als Dateisystem überall) und mich noch mal mit dem Thema SSD im Array auseinandergesetzt. Jetzt bin ich ratlos, was ich tun soll und da kommt ihr ins Spiel. Gedanklich bin ich an dem Punkt, wo ich die VMs mit den Containern auf dem Cache laufen lasse und gut ist. Eventuell dann Backups der Anwendung auf den Array auslagern. Dafür ist genug Platz auf dem Cache und er ist redundant. Aber wo soll ich die zwei Terabyte SSD am besten reinpacken? Ich hatte überlegt die eine einfach mit den in den Cache Pool zu werfen. Laut btrfs Rechner komme ich dann auf 2TB bei Raid1 aber UnRAID sagt mir, dass nur 1 TB frei ist (mit df scheint der richtige wert angezeigt zu werden). Oder liegt das hier einfach an der blöden Reihenfolge (1TB nvme , 1TB sata, 2TB sata)?! Das erscheint mir bisher am sinnigsten. Oder geht doch vernünftig die Nutzung der ssd im Array? Laut Doku eher nicht, oder? Oder sollte ich sie einfach als weiteren Pool deklarieren, aber dann wäre sie „ungeschützt“. Ich habe schon so viel geschrieben, wollt ihr noch etwas wissen? Was ist eure Meinung? Ich bin ein wenig ratlos. Danke im Voraus, liebe Grüße Matthias
October 11, 20232 yr Author Solution Ich löse es jetzt so, dass ich noch eine 2TB sata SSD für den Cache hole. Die zwei 1TB SSDs fliegen dann raus. so wird das setup homogener. Cache dann btrfs raid 1 oder zfs. Das werde ich noch würfeln.
October 11, 20232 yr Community Expert 1 hour ago, MaStr said: Cache dann btrfs raid 1 oder zfs. Das werde ich noch würfeln. Wenn Du ein raid1 willst und geeignetes unraid nutzt würde ich zfs nutzen, da btrfs bei einigen Leuten doch eher zu Problemen neigt. Ich persönliuch nutze aber kein raid1 im Cache, sondern habe dort nur flüchtige Daten. Davon kann ich ab und zu ein Backp machen, wenn es mir wichtig erscheint.
October 11, 20232 yr Author Danke dir für die Rückmeldung. Dann wird es wohl zfs werden, denn ich hatte ähnliches ebenso bei meiner Recherche gefunden. Schade, denn ich dachte btrfs wäre inzwischen gereift. Ja, flüchtig finde ich auch idealer, aber ich möchte die VMs einen schnellen Speicher geben. Ich finde, dass der Speicher dann aber auch redundant sein sollte. Ebenso Paperless möchte ich recht synchron zu den Daten haben, dann der Weg zum letzten Backup eher unangenehm sein könnte. Zumindest kann ich mit raid1 ruhiger schlafen. Alles was mit einem Backup getan ist, läuft derweil schon auf dem orangePi5 und wird dann über ein tägliches Backup gesichert. Ich hatte auch schon über ein zweites Pool device nachgedacht, habe es dann aber wieder verworfen. Irgendwie tue ich mir schwerer als ich sollte ☺️🫣
October 20, 20241 yr Community Expert @DataCollector Würde mich hier mal Anschließen da nicht 100% verstanden habe was das beste für mich ist. Für erste würde ich erstmal 4x18TB Verbauen weil ja noch schauen muss wegen PCIE Sata Karte P 1x18tb A 3x18TB Kann man wie Raid 5 sehen oder? Und ist möglich das einfach so zu erweitern? Später hätte ich an P 1x18TB 1x10TB A 5x18TB 1x10TB Was für Raid wäre das? und ist die config zu empfehlen? Ich habe 6x18TB 2x10TB die für Array nutzen möchte. Und 2x NVME 2TB würde ich gerne Raid1 nutzen weil da die ganzen Docker drauf laufen sollten. Ich würde gerne Maximalen Platz nutzen + Maximale Ausfallsicherheit was würdest du da Empfehlen Aktuell nutze ich 6 Bay Liezens würde auf 12er Upgraden? Edited October 20, 20241 yr by SvensenDE
October 20, 20241 yr Community Expert 3 minutes ago, SvensenDE said: @DataCollector Würde mich hier mal Anschließen da nicht 100% verstanden habe was das beste für mich ist. Ich habe 6x18TB 2x10TB die für Array nutzen möchte. Da MultiArray (noch) nicht geht: Ein Array ohne Parity wäre: 128TB Nutzdatenkapazität (abzüglich Meta-/Verwaltungsdaten): Datendisks als xfs formiert Wenn Du 1 Parity nutzen willst bekommst Du 18TB Parity + 110TB Nutzdatenkapazität (abzüglich Meta-/Verwaltungsdaten): Datendisks als xfs formiert Wenn Du 2x Parity nutzen willst bekommst Du 36TB Parity + 92TB Nutzdatenkapazität (abzüglich Meta-/Verwaltungsdaten): Datendisks als xfs formiert Beachte: Parity ist nur eine Ausfallsicherheit gegen 1 (respektive) 2 Festplatten im Array. Gegen Datenverlust hilft ggf., ein Backup. 3 minutes ago, SvensenDE said: Und 2x NVME 2TB würde ich gerne Raid1 nutzen weil da die ganzen Docker drauf laufen sollten. Das kann man machen: ja. Ab unraid 6.12.x würde ich dafür zfs nehmen. 3 minutes ago, SvensenDE said: Ich würde gerne Maximalen Platz nutzen + Maximale Ausfallsicherheit was würdest du da Empfehlen Tja, das sind 2 unterschiedliche Sachen. MAXIMALE Ausfallsicherheit: 2 Paritydisks und Dein Raid1 im Pool ist dann der Weg = 92TB Nutzkapazität im Array und 2TB im Pool MAXIMALER Platz: 0 Parity = 128TB Nutzkapazität im Array und kein Raid1 im Pool = 4TB Nutzkapazität (oder 2+2TB, je nachdem, was man will). Der Kompromiß daziwschen ist: 1 Parity = 110 TB Nutzkapazität im Array und den Pool per Raid1 = 2 TB Nutzkapazität. Was Du wählst, mußt Du wissen. In einem meiner Systeme mit so wenigen Festplatten nutze ich auch nur 1 Parity. In meinem großen System mit 26 Festplatten sind mir 2 Parity dann schon lieber. Aber in meinen Pools nutze ich kein Raid (abgesehen von einem SSD Lager mit 3x8TB = Raid5 16TB Nutzkapazität). 3 minutes ago, SvensenDE said: Aktuell nutze ich 6 Bay Liezens würde auf 12er Upgraden? Bei mehr als 6 Datenträgern (den USB Bootstick nicht mitgezählt) brauchst Du eine größere Lizenz (wenn man nicht mir echtem Raid "unterhalb von unraid" tricksen will).
October 20, 20241 yr Community Expert @DataCollector erst mal vielen dank der Support hier ist absolut verrückt. Grundsätzlich von so vielen TB ein Backup machen macht für mich kein sinn und ist auch kosten Sache. Ich habe nur Backups von Wichtigen Sachen die man nie wieder bekommen kann Dokumente Bilder und auch von Docker Container Cache ist ja Safe Raid1 weil ich da einfach alles drauf läuft und mir schon wichtig wäre wenn mal eine Feierabend macht das ich die nur ersetzen brauche. Bei 2 Paritydisks hab ich Ausfallsicherheit von 2 Festplatten oder? ist schlimm wenn man 1x18TB und 1x10TB Paritydisks nutzt? Ich bin ehrlich auch wenn die Daten ein nicht extrem wichtig sind möchte man natürlich trotzdem nicht verlieren solchen Daten zu sammeln hat ja auch viel Arbeit gekostet. Eine frage noch kann man einfach so später weiter Festplatten hinzufügen? weil ja erst mal nur 2x18 und 2x10TB zu Verfügung habe die anderen stecken noch Synology Nächste Woche kommt das neue Mainboard das Chinabomber ist schon wieder auf Heimweg
October 20, 20241 yr Community Expert 9 minutes ago, SvensenDE said: Bei 2 Paritydisks hab ich Ausfallsicherheit von 2 Festplatten oder? Ja. 9 minutes ago, SvensenDE said: ist schlimm wenn man 1x18TB und 1x10TB Paritydisks nutzt? Da ist nicht möglich. Die Partitydisk (bei 2 Stück eben jede der beiden) muß MINDESTENS so groß sein, wie die größte abzusichernde Datendisk. Wenn Du also 18TB Datendisks verwendest muß jede Paritydisk auch mindestens 18TB groß sein, weil jede der Paritydisks in der Lage sein muß eben die maximale Kapazität einer Datendisk 'abzufangen'. 9 minutes ago, SvensenDE said: Ich bin ehrlich auch wenn die Daten ein nicht extrem wichtig sind möchte man natürlich trotzdem nicht verlieren solchen Daten zu sammeln hat ja auch viel Arbeit gekostet. Das kann ich nachvollziehen. Wenn aber 3 Disks gleichzeitig aussteigen hast Du (ohne Backup) dennoch Datenverlust. 9 minutes ago, SvensenDE said: Eine frage noch kann man einfach so später weiter Festplatten hinzufügen? Ja. EIner der Vorteile des unraid Array ist, daß Du bis zu maximal 28 Datendisks und 2 Paritydisks (=30 Stück in Summe) zusammenschalten kannst. Nachträglich kannst Du also (sofern Deine Lizenz das mitmacht) immer weiter bis zu maximal 28 Datendisks aufstocken. Beachte aber, daß dennoch die Paritydisk(s) immer mit die größten sein müssen. Du kannst bei Deiner Konstellation mit 2 x 18TB Paritydisks nicht einfach eine 20TB (22TB, 24TB oder so) Datendisk hinzufügen (falls Du die gerade günstig bekommst). Um eine größere Disk hinzuzufügen müsste diese dann Parity werden und Du kannst dann die frei gewordene Parity dann als Datendisk neu nutzen. Der Vorgang ist aber etwas komplizierter. 9 minutes ago, SvensenDE said: weil ja erst mal nur 2x18 und 2x10TB zu Verfügung habe die anderen stecken noch Synology Dann wirst Du (bei dem Wunsch 2 Parity von Anfang an zu nutzen) 2x 18TB Parity + 2x 10TB Datendisk = 20TB Nutzkapazität haben. Du mußt aber nicht mit 2 Parity anfangen. Du kannst auch später von 0 Paritydisk oder 1 Paritydisk auf 2 Paritydisks aufrüsten. Du könntest also auch anfangs alle als Datendisk nutzen (OHNE Ausfallsicherheit im unraid) und dann erst einmal die 56TB befüllen. Später kannst Du dann eine oder auch 2 18TB als Parity hiunzufügen um dann im Endeffekt Deine maximale Ausfallsicherheit im Array zu erreichen. Die SSDs (NVMe) sollten aber dann schon im unraid vorhanden sein. 9 minutes ago, SvensenDE said: Nächste Woche kommt das neue Mainboard das Chinabomber ist schon wieder auf Heimweg Chinabomber? Mir schwant böses.
October 20, 20241 yr Community Expert @DataCollector Das 3 Festplatten gleichzeitig ausfallen ist aber sehr unwahrscheinlich. Ja ich hatte zum testen BKHD B760 NAS von Steckplätzen wäre es ein Traum Aber was Stromsparen angeht reine Katastrophe auch was Bios angeht... Aber hey ich bin dir sehr sehr dankbar für deine Antworten die haben mir sehr geholfen hab auch schon viel gelesen und da nie so richtig verstanden Mein Plan ist eigentlich alles auf Cache Pool laufen zu lassen das die HDD nur aktiviert werde wenn man auf die Daten zugreift. Um ein geringeren Stromverbrauch zubekommen, weil wenn ich ehrlich bin klar halten die Platten länger aber Aktuell Zahle ich für mein Synology im Jahr Stromkosten von 420€ ca Bin gespannt was man das runterfahren der Festplatten sparen kann. Ich hab auch gelesen das man die Platten so mit Daten Füttern kann das eine Platte nach der anderen voll gemacht wird. Das würde heißen das wenn man auf Daten zugreift auch nur diese Platte hochfahren würde oder? hab ich das falsch verstanden? Weil Aktuell habe ich Ca 13 TB an Daten in meiner Synology Raid 5 Also wäre es ja schlau wenn man erst mal nur Cache Pool hat und 2x18TB laufen lässt und es erst erweitert wenn man mehr Platz braucht oder? Würde ja Stromsparen und verschleiß der Platten die nicht wirklich genutzt werden oder?
October 20, 20241 yr Community Expert 47 minutes ago, SvensenDE said: Das 3 Festplatten gleichzeitig ausfallen ist aber sehr unwahrscheinlich. Mehr, als Dir ein Backup ans Herz zu legen, kann ich nicht machen. Bei "Chinabombern" ist mein Vertrauen sowieso eher gering. Es ist Deine Sache und es sind Deine 'mühsam zusammengestellten' Daten. EDIT: Nur so: das verlinkte "BKHD B760 NAS" wird dem Namen nach einen B760 Chipsatz haben, doch der beherrscht keine 8 SATA Festplattenaschlüsse per SATA. Das wird eien vergleichbare Modelpackung, wie das BioStar N760 mit 8SATA sein. Da ist ein Zusatzchip irgendwo versteckt, welcher dann schlimmstenfalls die C-States versaut. Zumindest hatte ich Mühe überhaupt die Details zu dem Mainboard (bezüglich der SATA Ports) zu finden. Im Verstecken/"nicht Erwähnen" ist dieser Anbieter schonmal gut. Die machen es mit ihrem winzigen Captcha schonmal sehr schwierig denen Fragen dazu zu schicken. 47 minutes ago, SvensenDE said: Mein Plan ist eigentlich alles auf Cache Pool laufen zu lassen das die HDD nur aktiviert werde wenn man auf die Daten zugreift. Das ist ja auch der Grundgedanke hinter dem unriadsystem. 47 minutes ago, SvensenDE said: Um ein geringeren Stromverbrauch zubekommen, weil wenn ich ehrlich bin klar halten die Platten länger aber Aktuell Hier habe ich Probleme den Sinn dieses 'Satzes' zu erfassen. 47 minutes ago, SvensenDE said: Zahle ich für mein Synology im Jahr Stromkosten von 420€ ca Bin gespannt was man das runterfahren der Festplatten sparen kann. Wenn das Mainboard dennoch nicht niedrige Stromsparzustände erreicht (bei diversen China Mainboards ist das der Fall) oder man es permanent belastet wird das nicht so viel sein, wie es möglich wäre. 47 minutes ago, SvensenDE said: Ich hab auch gelesen das man die Platten so mit Daten Füttern kann das eine Platte nach der anderen voll gemacht wird. Ja. Es ist zu beachten, daß man keinen Datenträger (Festplatte, wie auch Pool) randvoll machen sollte, weil unraid dann Probleme bekommt. Ich stelle den Bereich, der frei bleiben soll, so ein, daß ca. 2x der Platzt, der jemals größten zu schreibenden Datei frei bleibt. Ein voller Cache stört unraid unheimlich. Eine randvolle Datenfestplatte ist auch nicht zu empfehlen. 47 minutes ago, SvensenDE said: Das würde heißen das wenn man auf Daten zugreift auch nur diese Platte hochfahren würde oder? hab ich das falsch verstanden? lesend: ja. schreibend laufen auch die Parity mit an. 47 minutes ago, SvensenDE said: Weil Aktuell habe ich Ca 13 TB an Daten in meiner Synology Raid 5 Das ist (in meinen Augen) recht wenig. Da würde ein unraid mit 1P + 1D zu je 18TB noch viel Luft haben und sparemd sein. 47 minutes ago, SvensenDE said: Also wäre es ja schlau wenn man erst mal nur Cache Pool hat und 2x18TB laufen lässt und es erst erweitert wenn man mehr Platz braucht oder? Wenn Du sowieso nicht mehr Daten hast: ja. Ich würde das Array (bei dem Wunsch nach Ausfallschutz) eben mit 1x Parity 18TB und 1x Daten 18TB laufen lassen. In dem Modus ist das Array bei unraid auch schneller beim Schreiben. 47 minutes ago, SvensenDE said: Würde ja Stromsparen und verschleiß der Platten die nicht wirklich genutzt werden oder? Ein unraid mit nur 2 Festplatten ist (auch bei Spindown) sparsamer als das selbe unraid mit mehr Festplatten: ja. Edited October 20, 20241 yr by DataCollector Meinung zu dem Chinaboard
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.