Rapha1 Posted January 11 Share Posted January 11 Hallo zusammen Habe mir soeben ein neues NAS zusammengebaut. Platz habe ich für 5HDD 1 SSD und 2NVME harddisk. Nun zügle ich von einer alten 2HDD Synology. Wie mache ich das am besten. Ich möchte eigentlich die alten HDDs im NAS wiederverwenden. Kann ich nun einfach diese in UNRAID rein tun (1x parity und 1X normal) und dann die daten (welche ich auf eine externe HDD zwischenspeichere) zurückkopieren. Danach weitere HDD ins UNRAID reinbauen ohne die daten zu verlieren? Danke und Gruess Raphael Quote Link to comment
DataCollector Posted January 12 Share Posted January 12 On 1/11/2024 at 9:48 AM, Rapha1 said: Platz habe ich für 5HDD 1 SSD und 2NVME harddisk. Nun zügle ich von einer alten 2HDD Synology. DIe Wortwahl kenne ich nicht, aber ichvermute DU meinst, Du willst die Daten der Synology auf das NAS umziehen. On 1/11/2024 at 9:48 AM, Rapha1 said: Wie mache ich das am besten. In welcher Konstellation sind die beiden Festplatten der Synology (2 voneinander unabhängige single Disks, 2 JBOD Disks als eine BigDisk zusammengefaßt oder Raid1), hast Du externe Backups der Dir wichtigen Daten? Willst Du während der kurzen Zeit des Umzuges eine Ausfallsicherheit haben (oder reicht das zu empfehlende Backup)? Hast Du schon (freie/teilfreie) Datenträger (SATA SSD, NVMe SSD und oder Festplatten im neuen NAS)? On 1/11/2024 at 9:48 AM, Rapha1 said: Ich möchte eigentlich die alten HDDs im NAS wiederverwenden. Wenn sie ausreichend groß sind, technisch geeignet und Deinen Wünschen entsprechend: ja, das geht. Leider hast Du hier zur Technik so gar nichts handfestes geschrieben. On 1/11/2024 at 9:48 AM, Rapha1 said: Kann ich nun einfach diese in UNRAID rein tun (1x parity und 1X normal) und dann die daten (welche ich auf eine externe HDD zwischenspeichere) zurückkopieren. Im Prinzip geht das. Beachte, die Parity sollte die schnellste Festplatte sein und mindestens so groß wie die größte Datenfestplatte und bevorzugt kein SMR Aufzeichnungsverfahren nutzen. (Wobei die Synos sowieso bei SMR schon empfindlich waren und es deshalb zu vermuten ist, daß Du keine SMR Festplatten nutzt.) On 1/11/2024 at 9:48 AM, Rapha1 said: Danach weitere HDD ins UNRAID reinbauen ohne die daten zu verlieren? man kann ein bestehendes Array durch recht einfaches zustecken und leichte Konfigurationsanpassung problemlos erweitern, solange die Parity eben weiterhin die Größte Festplatte ist, ohne daß die Daten auf den schon vorhandenen Datenfestplatten dabei verloren gehen. Natürlich kann immer technisch etwas schief gehen (Kurzschluss bauen oder so) und natürlich kann auch die bedienende Person etwas komplett falsch machen und dann sind die Daten auch in Gefahr. Backups sind eigentlich immer zu empfehlen. Quote Link to comment
Rapha1 Posted January 13 Author Share Posted January 13 Hi Also aktuell habe ich in der Synology 2 HDD als RAID1 laufen. Es handelt sich um alte (ca. 7j) 1TB Disks auch keine Speziellen NAS Harddisks... bisher hatte ich nie probleme. versteh ich richtig, wenn ich die in UNRAID reintue und ein Array mache mit einer Parity und eine Normal dann verliere ich die Daten die drauf sind und ich muss die von meinem Backup zurückkopieren (wie am besten?). Wieso muss die Parity die schnellste sein? (grösste ja, aber wieso die schnellste? die arbeitet ja im hintergrund...) Idee wäre: 1 x alte HD 1TB als parity, 1 x alte HD 1TB als normale 1 x 256GB NVMW als Cache brauchen... - und dann halt noch alle HDs die ich noch so rumliegen habe hinten dran als normale HD um den speicher zu erweitern. Wenn ich die Daten zurückgespielt habe, würde ich nochmals eine 1x 1TB als zweite Parity reintun um doppelte ausfallsicherheit zu haben... geht das so und macht das sinn? Quote Link to comment
DataCollector Posted January 13 Share Posted January 13 3 minutes ago, Rapha1 said: Synology 2 HDD als RAID1 laufen. Es handelt sich um alte (ca. 7j) 1TB Disks auch keine Speziellen NAS Harddisks... 1TB Festplatten sind heutzutage "Winzig". Diese würde ich entsorgen und das System aus SSDs aufbauen. Wenn es mehr Kapazität werden soll (mehr Festplatten) die schlucken ggf. auf Dauer mehr Strom, als wenn man gleich zu weniger aber größeren Festplatten greift. 3 minutes ago, Rapha1 said: versteh ich richtig, wenn ich die in UNRAID reintue und ein Array mache mit einer Parity und eine Normal dann verliere ich die Daten die drauf sind und ich muss die von meinem Backup zurückkopieren (wie am besten?). Ja, unraid löscht die Datenträger erst einmal weil es für die Parity ja vorher "sauber"/genullt braucht. Sollten die festplatten bisher schon in einem mit unraid kompatibem Dateisystem formatiert sein (sehr unwahrscheinlich), könnte man eine direkt als Datendisk benutzen und dazu die Parität bilden lassen. Ich weiß nicht wie Synolgy die Festplatten verwaltet und ggf. partitioniert. Aber eine meiner QNAP Festplatten war so 'komisch' partitioniert, daß eine Übernahme nicht möglich gewesen wäre. Geh davon aus, daß Du keine Festplatte unformatiert übernehmen kannst. Sichere die Daten extern! 3 minutes ago, Rapha1 said: Wieso muss die Parity die schnellste sein? (grösste ja, aber wieso die schnellste? die arbeitet ja im hintergrund...) Sie muß nicht die schnellste sein, aber in einem Array mit Parity ist die Parity der Geschwindigkeitsbegrenzende Faktor. Jedes Bit, welches auf einer der normalen Datenfestplatte im Array geschrieben wird muß auch auf der Parity angepaßt werden. Im regelfall bedeutet es folgendes: Du möchtest ein Bit im Sektor 1234 auf eien Datenfestplatte schreiben. Also muß auch die Quersumme der parity an der Stelle 1234 dementsprechend angepaßt werden. Somit muß also auch dei Parity diesen Sektor 1234 erst einmal bei sich finden (Kopfposition und warten, bis der Sektor unter dem Lese-/Schreibkopf durch flitzt, dann berechnet der Computer die neue Quersumme und muß sie wieder an der Stelle 1234 schreiben. Blöderweise ist aber der Sektor 1234 zum Lesen ja schon gerade vorbei geflitzt. Also muß die Festplatte nun warten, bis d´sich die Magnetscheibe wieder einmal soweit rumgedreht hat, daß der Sektor 1234 wieder da ist um den zu schreiben. Das ist zwar für einen dusseligen Sektor vielleicht nur ein Zeitverzug von 20-30 ms, aber wenn Du nun 1000 Sektoren schreiben willst, weil dei Datei nun einmal 0,5MB groß ist, sind das schon 20-30 Sekunden. Vielleicht erkennst Du nun, daß es sinn macht, daß gerade die Parität die flotteste Festplatte im Array ist, damit man eben die Schreibvorgänge aller im Array enthaltenen Festplatten nicht mehr als nötig bremst, denn auch die betroffene Datenfestplatten muß ja immer darauf warten. daß der Beispielsektor 1234 (oder welcher auch immer) auf der Parity geschrieben wurde, bevor sie weiter machen kann. 3 minutes ago, Rapha1 said: Idee wäre: 1 x alte HD 1TB als parity, 1 x alte HD 1TB als normale 1 x 256GB NVMW als Cache brauchen... Bei den winzigen Größen: 2x2TB NVMe oder SATA SSD zusammenschalten. Keine Geschwindigkeitsprobleme, geriner Energieverbrauch, geringe Wärmeentwicklung, keine Geräuschentwicklung durch die Datenträger. und Du kannst einfach Deine Quelldaten vom Syno direkt auf das neue Array von unraid umkopieren. Danach kannst Du das Syno als Backup ab und zu einschalten und abgleichen oder ganz wegwerfen. 3 minutes ago, Rapha1 said: - und dann halt noch alle HDs die ich noch so rumliegen habe hinten dran als normale HD um den speicher zu erweitern. Jede Festplatte frißt auch schlafend Strom. Wenn man Festplatten einsetzt, dann, wenn es sich lohnt (weil SSDs bei großen Größen unverhältnissmäßig teuerer wären) und dann möglichst wenige und große Festplatten als viele kleine Festplatten. 3 minutes ago, Rapha1 said: Wenn ich die Daten zurückgespielt habe, würde ich nochmals eine 1x 1TB als zweite Parity reintun um doppelte ausfallsicherheit zu haben... Backups sind in der Regel wichtiger. als doppelte Ausfallsicherheit. 3 minutes ago, Rapha1 said: geht das so und macht das sinn? In meinen Augen macht das keinen Sinn, weil es mutmaßlich eine zu hohen Stromverbrauch bewirkt. Um es am Extrem zu erklären: Technisch kannst Du bis 28 Datenfestplatten und 2 Parityfestplatten im Array zusammen schalten, wenn die aber alle maximal 1TB groß sind hast Du also zwischen >30Watt idle und >300W Betrieb nur für Festplatten, bei einer Nutzkapazität von max. 28TB. (Wobei Zusatzkontroller, dickeres Netzteil, und so weiter noch nicht eingerechnet sind) Das ganze kann man mit 3-4 Festplatten zu 16TB auch abdecken und hat für diese Datenträger idle vielleicht 5W und in vollem Betrieb etwas über 30-40W. Quote Link to comment
Rapha1 Posted January 14 Author Share Posted January 14 Stimmt schon was du schreibst.. Also meinst du ich soll mir besser 2-3 SSDs 1tb gross kaufen (oder 2 x 2tb SSD und ein RAID 1 machen) und die restlichen HDDs weglassen? das macht mehr sinn als ein grosser cache?? welche SSDs würdest du empfehlen (Preis-Leistung) Quote Link to comment
DataCollector Posted January 14 Share Posted January 14 (edited) 3 hours ago, Rapha1 said: Also meinst du ich soll mir besser 2-3 SSDs 1tb gross kaufen (oder 2 x 2tb SSD und ein RAID 1 machen) und die restlichen HDDs weglassen? Ich habe immer noch nicht gelesen (bzw. verstanden), was Du am Ende haben willst. Wenn es bei einer gesamten Nutzkapazität von 1-4 TB bleiben soll, würde ich wirklich SSDs bevorzugen und die Festplatten als Backup (USB oder eben in einem Syno oder so) verwenden oder entsorgen. Wenn Du hingegen vor hattest ein gutes Dutzend Fesplatten mit je maximal 1TB einzusetzen, wären 2 große Festplatten auch stromsparender und diese mit einem vorgeschalteten SSD Cache meine Empfehlung. 3 hours ago, Rapha1 said: das macht mehr sinn als ein grosser cache?? Mit Blick auf die langfristigen Stromkosten sehe ich es als eine sinnvolle Überlegung an: ja. Ich will aber nicht verschweigen, daß die Anschaffungskosten neuer Festplatten oder SSDs evtl. doch mehr Geld kostet als die reinen Energiekosten für die reinen Festplatten. Aber wenn Dein Ziel wirklich sehr viele kleine Festplatten sind, mußt Du auch da weitere Kosten und Stromverbrauch von Zusatzkontroller oder andere Mainboards mit mehr Anschlüssen, Lüfter, größeres Gehäuse, dickeres Netzteil, etc ... dann auch mit einberechnen. Wie gesagt: ich habe noch nicht gelesen/verstanden wo die Reise mit Deiner NAS Idee am Ende hingehen soll (von der Gesamtkapazität), da Du zwischendurch von "...und dann halt noch alle HDs die ich noch so rumliegen habe hinten dran..." geschrieben hast. 3 hours ago, Rapha1 said: welche SSDs würdest du empfehlen (Preis-Leistung) Kommt auch die Kapazität, Anschlüsse des Mainboards und Nutzungsverhalten an. Edited January 14 by DataCollector Quote Link to comment
Rapha1 Posted January 17 Author Share Posted January 17 Eigentlich will ich nur meine Daten die ich im Haus brauche von 2-3 Computer zentral speichern. Darunter sind aber auch "alte" Daten wie Fotos etc. die ich höchst selten brauche. Habe mir nun zwei 1TB SSD gekauft. Nun stellt sich mir die Frage, lohnt sich denn ein Raid 1 überhaupt oder besser diese direkt verwenden und zB einfach alle 24h diese auf eine HDD Backupen (kann ich mit zwei Arrays im gleichen Unraid oder Truenas machen oder?)? Danke Quote Link to comment
DataCollector Posted January 17 Share Posted January 17 (edited) 23 hours ago, Rapha1 said: Eigentlich will ich nur meine Daten die ich im Haus brauche von 2-3 Computer zentral speichern. Darunter sind aber auch "alte" Daten wie Fotos etc. die ich höchst selten brauche. Dagegen spricht nichts. Aber wenn dieser zentrale Speicher dann vielleicht 24/7 auch laufen muß um erreichbar zu sein summieren sich unnötige Stromkosten doch irgendwann zu signifikanten Größen auf. Ja, Du kannst Dir ein NAS mit xx Festplatten aufbauen, aber mußt dann damit leben, daß die laufenden Kosten wachsen. Oder Du kannst es eben im Bezug auf Komplexität und Verbrauch mindern und mußt aber dann anfangs etwas (mehr) investieren. Wenn Du die Daten zentral haben willst und dennoch wenig Strom- und Investitionskosten. Speichere die Daten auf ein Nas (von mir aus auch mit 10 Festplatten) und schalte es dann nach einem kurzen Wartzungslauf (mover/Paritycheck) aus. Dann mußt Du es aber ggf. jedesmal wieder ?manuell? auch starten. 23 hours ago, Rapha1 said: Habe mir nun zwei 1TB SSD gekauft. Nun stellt sich mir die Frage, lohnt sich denn ein Raid 1 überhaupt oder besser diese direkt verwenden und zB einfach alle 24h diese auf eine HDD Backupen Das mußt Du selber entscheiden. Beide shat unterschiedliche Ziele: - Raid1 hilft bei der Ausfallsicherheit einer SSD, schützt aber nicht gegen Bedienfehler oder amoklaufende Software oder gar Totalausfall des Serversn genau während dem Schreiben auf das Raid1. - Ein solches Backup bietet Dir eben bis zu 24h Rüeckgriff auf die Daten, die Du vielleicht versehentlich gelöscht hast. Dafür stoppt das System eben wenn die aktive SSD verstirbt. Was ist Dir wichtiger? 23 hours ago, Rapha1 said: (kann ich mit zwei Arrays im gleichen Unraid oder Truenas machen oder?)? 2 Arrays: nein. mehrere Pools: ja Edited January 18 by DataCollector Typos Quote Link to comment
_MARKUS_ Posted January 17 Share Posted January 17 (edited) @DataCollector In welcher config würdest du die 2 SSDs betreiben? Hier mal ein paar Vorschläge die mir einfallen. 1. Array mit SSD als Paity 2. Pool. 1x USB Stick im Array. 2 SSDs als Raid 1 mit ZFS 3. Backup. 1x USB Stick im Array. 1 SSD im Betrieb. 1x Backup Lokal mit z.B. Lucky Backup. 1x Backup in der Cloud mit Duplikati oder ganz was anderes? Edited January 17 by _MARKUS_ Quote Link to comment
cottec Posted January 17 Share Posted January 17 (edited) Ich hoffe ich liege als Neuling damit richtig: Beide Platten ins Array, eine davon als Parity, keinen Pool bauen. Pool würde ich entweder ne dritte kaufen oder damit leben, dass es ein bisschen langsamer ist, da bei jeder Datei die Checksumme geschrieben werden muss bevor es weiter geht. Aber eine im Pool wäre mir bei nem Fehler zu heiß wenn dann was nicht passt und das schreiben von Cache auf Array erst abends oder so passiert und mir nachmittags aber das Handy ins Wasser fällt. Und beide im Pool ist ja noch heißer, dann kommt der Mist von Platte 1 auch auf Platte 2 und man hat nichts sicher. Wenn der Speicher mal voll ist, einfach weiteren Speicher ins Array hängen, Auswahl so treffen, dass die Summe der Speicherziele kleiner ist als die Parity, die alte Parity Platte ab dann als Speicher laufen lassen. Auf jeden Fall die alte Diskstation als Backup Ziel behalten und da wöchentlich drauf sichern. Und zusätzlich dann noch auf eine externe Festplatte sichern und die außerhalb des Hauses lagern, das kann dann auch mal nur monatlich sein, wenn man da nicht unendlich hinterher ist. Alles andere wäre kein ordentliches Backup (Soll heißen, nichts was du innerhalb deines Unraid Servers ist, ist ein Backup) Edited January 17 by cottec Quote Link to comment
_MARKUS_ Posted January 18 Share Posted January 18 @cottec Ich bin selbst Neuling. Aber anscheinen wird SSD im Array nicht empfohlen Quote Link to comment
cottec Posted January 18 Share Posted January 18 1 hour ago, _MARKUS_ said: Aber anscheinen wird SSD im Array nicht empfohlen Oh ja gut, dass mich dann einer korrigiert Gut zu wissen mit den SSDs! Irgendwie hebelt das doch dann aber die Datenverfügbarkeit aus. Wenn im Pool was schiefgeht, dann auf beiden SSD und die Daten sind futsch. Dann würde ich drüber nachdenken, evtl doch eine HDD ins Array zu schmeißen. Aber zwei SSD in Raid 1 im Pool sind doch irgendwie Verschwendung, die Schreibgeschwindigkeit kann man nicht ansatzweise ausnutzen durch weder 1 noch 2,5Gbit Platten zu früh bestellt, ohne die Fragen zu klären, vielleicht kannst du noch eine zurückgeben? Quote Link to comment
DataCollector Posted January 18 Share Posted January 18 11 hours ago, _MARKUS_ said: In welcher config würdest du die 2 SSDs betreiben? Hier mal ein paar Vorschläge die mir einfallen. Da Du keine anderen Datenträger erwähnt hast, gehe ich davon aus, daß es wirklich nur diese sind. 11 hours ago, _MARKUS_ said: 1. Array mit SSD als Paity Kann man machen, hat aber den Nachteil, daß es im Arra yaktuell kein Trim gibt. Die SSDs müssen also eigenständig ein gutes Garbage Collecting betreiben. SSD im Array sind noch als experimentell angedeutet. 11 hours ago, _MARKUS_ said: 2. Pool. 1x USB Stick im Array. 2 SSDs als Raid 1 mit ZFS 3. Backup. 1x USB Stick im Array. 1 SSD im Betrieb. 1x Backup Lokal mit z.B. Lucky Backup. 1x Backup in der Cloud mit Duplikati Das kommt darauf an, was Du damit erreichen willst. Willst Du Ausfallsicherheit (= Parity/Raid1) oder willst Du Datensicherheit per Backup? Ausfallsicherheit (Parity/Raid): - Das NAS läuft nahtlos weiter, auch wenn eine SSDs komplett verstirbt. Es meldet dies nur. - Dadurch aber keine Datensicherheit, falls man versehentlich etwas löscht oder ein programm amok läuft. Datensicherheit (Backup): - Das NAS schmiert gnadenlos ab wenn eine SSDs komplett verstirbt. Es entstehen Ausfallzeiten. - Falls man versehentlich etwas löscht oder ein Programm amok läuft hat man ggf. noch ein backup um die Daten wieder herzustellen. Wenn ich sehr wichtige Daten habe nehme ich die Backupstrategie. Wenn ich will, daß das System durchgehend (für Firma oder so) die vorliegenden Daten anbieten kann oder gar zeitkritische Docker oder so laufen, dann nehme ich die Ausfallsicherheit. Entscheiden mußt Du, was Du haben/erreichen willst. Quote Link to comment
Rapha1 Posted January 18 Author Share Posted January 18 (edited) Hoi Zäme Danke für die guten Inputs... So genau verstehe ich aber den unterschied zwischen pool und aarray glaube ich nicht... Pool Nr1: 2 x SSD je 1TB Stright (also ohne RAID) als SMB brauchen. Pool Nr2: 2 x HD, hier täglich, zweitäglich oder Wöchentlich diese 2TB SSD auf diese zwei HDDs (in Raid1) speichern (oder wenn ich was wichtiges gemacht habe, Backup sofort ausführen) (der rest der Zeit schlafen diese HDDs) Pool Nr3: 1 x HDD für unwichtiges wie zB Filme und so welche ich dann via Jellyfin brauchen kann (hier gar kein Raid oder Backup) - kann eigentlich auch immer schlafen... Zusätzlich -inkrementel laufend die SSDs (oder evt. nur ein "Wichtiger" Ordner) in die Cloud speichern ob das ganze in Unraid oder (truenas) machen wäre ja noch offen Was meint ihr dazu? Gruess Raphi Edited January 18 by Rapha1 Quote Link to comment
DataCollector Posted January 18 Share Posted January 18 5 minutes ago, Rapha1 said: Danke für die guten Inputs... So genau verstehe ich aber den unterschied zwischen pool und aarray glaube ich nicht... Pool Nr1: 2 x SSD je 1TB Stright (also ohne RAID) als SMB brauchen. Was ist hier Dein Ziel? 2x1TB koppeln? = 2TB Nutzkapazität an einem Stück - also JBOD/BigDisk? Dann würde ich bevorzugt 1x 2TB nehmen. 5 minutes ago, Rapha1 said: Pool Nr2: 2 x HD, hier täglich, zweitäglich oder Wöchentlich diese 2TB SSD auf diese zwei HDDs (in Raid1) speichern (oder wenn ich was wichtiges gemacht habe, Backup sofort ausführen) (der rest der Zeit schlafen diese HDDs) Willst Du damit Backups erreichen oder willst Du damit den (vielleicht langsam volllaufenden) Pool1 entlasten/leeren? Ich gehe mal vom entlasten aus: Diese Festplatten würde ich ins Array legen (und als secondary Storage nutzen). Eine als Datenfestplatte, die andere als Parity. Der Mover kann dann so eingestellt werden, daß die Daten vom Pool 1 in Zeitabständen ins Array verschoben werden. Vorteil: wenn doch mal was davon gelesen werden muß, braucht zum lesen nur eine Festplatte anlaufen. Bei einem Raid muessen immer alle Festplatten laufen (= höherer Energiebedarf). oder (unten weiter) 5 minutes ago, Rapha1 said: Pool Nr3: 1 x HDD für unwichtiges wie zB Filme und so welche ich dann via Jellyfin brauchen kann (hier gar kein Raid oder Backup) - kann eigentlich auch immer schlafen... ... oder Du kannst diese Festplatte ins Array legen. irgendetwas muß ins Array. Ohne Array läuft unraid nicht. ist eben eigentlich ein NAS. 5 minutes ago, Rapha1 said: Zusätzlich -inkrementel laufend die SSDs (oder evt. nur ein "Wichtiger" Ordner) in die Cloud speichern ob das ganze in Unraid oder (truenas) machen wäre ja noch offen Meine Aussagen beziehen sich auf unraid. Quote Link to comment
cottec Posted January 18 Share Posted January 18 (edited) So würde ichs machen: So könntest du es machen. Unraid brauchst dafür aber nicht wirklich, das können auch alle anderen Edited January 18 by cottec 1 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.