Hallo ihr Lieben,

 

ich habe nun vor kurzem die Ernüchterung der Parity Checks erlebt: im Endeffekt checkt es ja nur, ob etwas defekt ist, und kann das im Zweifel auch nur auf der Parität korrigieren. Ich weiß aber nicht welche Dateien, und auch nicht ob eine Korrektur Sinn ergibt, könnte ja auch die Datei auf dem Array defekt sein. Ich stelle jetzt den Sinn des Parity-Check nachhaltig in Frage, aber unabhängig davon ist mir nun schleierhaft, was ich für meine Datensicherheit machen kann

 

Da gibt es dieses Dynamix File Integrity Plugin, von welchem ich noch nicht so ganz verstehe, wie ich es aufsetzen muss. Dann könnte ich das Array auf BTRFS/ZFS umstellen, was schwierig ist weil ich mein Array nirgends auslagern kann (wenn jemand einen Laden hat, wo man zu vernünftigen Preisen größere HDDs/NAS leihen kann, wäre es wohl eine Option). ZFS scheint auch generell die Vorteile, die ich am unRAID am Liebsten habe, zu überschatten - nicht so richtig für meine Zwecke geeignet.

Über das Dynamix Plugin lese ich aber auch generell sehr gespaltene Meinungen.

 

Alsoooo... was genau mach ich jetzt, um meine Daten sicher zu halten und zu überprüfen? Wie macht ihr das?

 

Beste Grüße

1 hour ago, CameraRick said:

ich habe nun vor kurzem die Ernüchterung der Parity Checks erlebt: im Endeffekt checkt es ja nur, ob etwas defekt ist, und kann das im Zweifel auch nur auf der Parität korrigieren. Ich weiß aber nicht welche Dateien, und auch nicht ob eine Korrektur Sinn ergibt, könnte ja auch die Datei auf dem Array defekt sein. Ich stelle jetzt den Sinn des Parity-Check nachhaltig in Frage, aber unabhängig davon ist mir nun schleierhaft, was ich für meine Datensicherheit machen kann

 

dann lies nochmals ... die Parity stellt Daten bei disk Verlust auf einer deiner disks wieder her ... und nicht die Parity an sich ... diese wird erstellt bei Neu, diese wird erneuert beim check, usw usw ... bei einem Ausfall einer disk (egal welcher) werden die Daten bei Bedarf anhand der Quersumme wiederhergestellt ... oder solange kann man auch anhand der "emulierten" disk die Daten einer "defekten" Disk weg sichern ...

 

also bitte richtig lesen, informieren, dann ... kommentieren ...

 

und ja, da "Sektor" basiert und nicht "file" basiert ... weiß man nicht welches file betroffen sein könnte ... dafür ist das auch nicht gemacht, das nennt sich backup ...

Parity ist für Redundanz gemacht ....

 

1 hour ago, CameraRick said:

Alsoooo... was genau mach ich jetzt, um meine Daten sicher zu halten und zu überprüfen? Wie macht ihr das?

 

Sicher, Backups, gibt auch die oft benannte 3-2-1 Regel ... überprüfen, dazu gibt es genug tools wenn Bedarf, such dir eins aus, ich nutze so etwas nicht da ich noch nie wissentlich einen Defekt hatte bei einem Transfer von a/ nach b/ ohne Fehlermeldung/en.

1 hour ago, CameraRick said:

ich habe nun vor kurzem die Ernüchterung der Parity Checks erlebt: im Endeffekt checkt es ja nur, ob etwas defekt ist, und kann das im Zweifel auch nur auf der Parität korrigieren. Ich weiß aber nicht welche Dateien, und auch nicht ob eine Korrektur Sinn ergibt, könnte ja auch die Datei auf dem Array defekt sein. Ich stelle jetzt den Sinn des Parity-Check nachhaltig in Frage, aber unabhängig davon ist mir nun schleierhaft, was ich für meine Datensicherheit machen kann

 

Das Thema hatte ich schon vor längerer Zeit aufgeworfen.

Ja, unraid selber weiß nicht was defekt ist (Parity, Daten oder gar nur unwichtieg Metadatenplätze doer gar freier Speicher.

Da ich schon von Windowszeiten her mit zusätzlichen Checksummen (md5) arbeite kann ich aber dann durch einen Prüflauf feststellen, ob meine Nutzdaten beschädigt sind und die dann aus dem Backup wieder herstellen.

Alternativ läßt man seinm urnaid einfach gegen das aktuellste Backup prüfen und kann dann (je nach Backupprogramm) sehen, was da anders ist.

 

 

1 hour ago, CameraRick said:

Da gibt es dieses Dynamix File Integrity Plugin, von welchem ich noch nicht so ganz verstehe, wie ich es aufsetzen muss.

 

Nach einigen Ungereimtheiten, die auch im Supportthread nicht beachtet oder gar ausgeräumt wurden, nutze ich dieses Plugin nicht mehr.

 

1 hour ago, CameraRick said:

Dann könnte ich das Array auf BTRFS/ZFS umstellen, was schwierig ist weil ich mein Array nirgends auslagern kann (wenn jemand einen Laden hat, wo man zu vernünftigen Preisen größere HDDs/NAS leihen kann, wäre es wohl eine Option).

 

Dir sind die imemr wieder zu lesenden Probleme im Zusammenhang mit btrfs hier im Forum anscheinend noch nicht aufgefallen.

zfs im Array hilft nicht, weil zfs keine ausreichenden Redundanzdaten auf Singledisks ablegt. Somit würde es Dir auch maximal anzeigen "hey, hier stimmt was nicht".

Die Reperatur-/Selbstheilungsfähigkeit von zfs bezieht sich primär auf seine raidähnlichen Konstrukte.

 

1 hour ago, CameraRick said:

ZFS scheint auch generell die Vorteile, die ich am unRAID am Liebsten habe, zu überschatten

 

Ja, zfs hält die Datenträger länger/öfters wach und eigentlich ist die Sache mit Stromsparen im Array ja eine Sache der Spindown Festplatten.

 

1 hour ago, CameraRick said:

Über das Dynamix Plugin lese ich aber auch generell sehr gespaltene Meinungen.

 

Wenn es richtig funktioniert (ich habe aus meiner Erfahrung her da Zweifel, daß es bei mir in mehreren Tests richtig funktionierte/anzeigte) könnte es zumindest zeigen, ob/welche Datendateien defekt sind.

 

1 hour ago, CameraRick said:

Alsoooo... was genau mach ich jetzt, um meine Daten sicher zu halten und zu überprüfen? Wie macht ihr das?

 

Backups! Mehrere Generationen/Instanzen.

Und ich mache eben (Batches auf Windowsbasis) zusätzlich md5 Checksummen, die ich im jeweiligen Verzeichnis mit ablege. So kann ich im Verzeichnis 'schnell' sehen, ob eine Datei nicht mehr zu der Checksumme passt. Das repariert oder rettet nichts, aber es hilft Fehler zu finden und aus dem Backup zu ersetzen.

 

11 hours ago, alturismo said:

also bitte richtig lesen, informieren, dann ... kommentieren ...

 

Mir ist schon klar wie die Parity an sich funktioniert (also nicht im Detail, aber was der Hintergrund ist), ändert ja aber nichts: man kann nur sagen, dass etwas im argen ist - nicht was oder wie. 

 

Ein richtig ordentliches Backup, ja das wäre schön. Ich bin leider nicht aus Geld gemacht und kann mir daher keinen zweiten Server für 1000€ leisten, der die Daten fassen kann. Meine wichtigen Alltagsdaten, paperless und meine Nextcloud etwa, sind extern gesichert.

Eine Redundanz ist, wie ein richtiges RAID, freilich kein Backup - und wenn mir hier mehrere Platten abrauchen, dann stehe ich dumm da. Das ist mir bewusst. Dennoch wäre es doch schön, wenn ich zumindest in dieser einen Instanz irgendwie sagen könnte, was genau defekt ist. Bei manchen Daten ist es ja kein Problem, solang ich es weiß, kann man ja erneuern.

Vielleicht ist das jetzt auch ganz kindisch von mir, aber die Realisierung ist schon sehr ernüchternd, und auch, dass man wie der letzte Idiot behandelt wird, wenn man versucht es besser zu machen

 

11 hours ago, DataCollector said:

Dir sind die imemr wieder zu lesenden Probleme im Zusammenhang mit btrfs hier im Forum anscheinend noch nicht aufgefallen.

zfs im Array hilft nicht, weil zfs keine ausreichenden Redundanzdaten auf Singledisks ablegt. Somit würde es Dir auch maximal anzeigen "hey, hier stimmt was nicht".

Die Reperatur-/Selbstheilungsfähigkeit von zfs bezieht sich primär auf seine raidähnlichen Konstrukte.

Ja, zfs hält die Datenträger länger/öfters wach und eigentlich ist die Sache mit Stromsparen im Array ja eine Sache der Spindown Festplatten.

Tatsächlich sind mir die Beiträge zu BTRFS schon aufgefallen, ich erinnere mich dass ich damals beim Aufsetzen die Caches erst auf XFS hatte und dann gewechselt war (weil es für die Pools dann doch irgendwie die bessere Wahl gewesen ist, ich kann mich nicht mehr ganz entsinnen). Und genau die Eigenschaften, die Du von ZFS benennst, sind die, die ich absolut nicht haben mag - wie Du weiß bin ich ja gerade dabei mehr Strom sparen zu wollen  tatsächlich ist die Hardware gestern alle angekommen, werde gleich den Server umbauen, Klopf auf Holz

 

Beste Grüße

4 hours ago, CameraRick said:

Ein richtig ordentliches Backup, ja das wäre schön. Ich bin leider nicht aus Geld gemacht und kann mir daher keinen zweiten Server für 1000€ leisten, der die Daten fassen kann.

 

Das ist zwar schade, aber je nachdem um wieviele Daten es geht, geht es auch unter 1000 Euro.

Die Parity ist einfach kein Ersatz für ein Backup.

Das Erzeugen, Lagern und ggf. Prüfen von Checksummen hingegen ist in aller Regel nur etwas Zeit-/Stromaufwand.

 

 

4 hours ago, CameraRick said:

Eine Redundanz ist, wie ein richtiges RAID, freilich kein Backup - und wenn mir hier mehrere Platten abrauchen, dann stehe ich dumm da.

 

2 Paritydisks könenn den Ausfall von bis zu 2 Datenträgern im Array abfangen.

Erst bei mehr Ausfällen gleichzeitig wird es schwierig.

Dennoch bleiben im Array die Daten auf den nicht ausgefallenen Datenträgern erhalten.

Das ist sogar ein großer Vorteil gegenüber einem echten Raid5 oder 6, welches ja annähernd jede Datei auf mehrere Datenträger splittet.

 

4 hours ago, CameraRick said:

Dennoch wäre es doch schön, wenn ich zumindest in dieser einen Instanz irgendwie sagen könnte, was genau defekt ist.

 

Checksummen anfertigen. pflegen und prüfen.

 

4 hours ago, CameraRick said:

Vielleicht ist das jetzt auch ganz kindisch von mir, aber die Realisierung ist schon sehr ernüchternd, und auch, dass man wie der letzte Idiot behandelt wird, wenn man versucht es besser zu machen

 

Es hindert Dich niemand dran es besser zu machen.

Du kannst selber eine File Interity Plugin erstellen, das vorhandene nutzen und darauf vertrauen oder selber Checksummen oder so erstellen.

Gegen Datenverlust hilft das leider dennoch nicht.

Wenn Du kein Backup vorhalten kannst, wie wäre es mit *.par2 Dateien? Damit kannst Du prüfen & sogar kleinere Unpäßlichkeiten der zu prüfenden Datei ausmerzen und in vielen Fällen reichen da schon rund 10% Datenzuwachs.

Ich verwende gerne Multipar (für Windows) zum prüfen und reparieren.

 

4 hours ago, CameraRick said:

tatsächlich ist die Hardware gestern alle angekommen, werde gleich den Server umbauen,

 

Also ganz so knapp scheint die finanzielle Lage nicht zu sein.

 

Edited January 9, 20251 yr by DataCollector

9 minutes ago, CameraRick said:

Vielleicht ist das jetzt auch ganz kindisch von mir, aber die Realisierung ist schon sehr ernüchternd, und auch, dass man wie der letzte Idiot behandelt wird, wenn man versucht es besser zu machen

 

sorry, so offensiv war das jetzt nicht gemeint ... aber von vorne

 

Parity ... wenn es einen "Fehler" gibt bekommst du Ihn angezeigt, wenn eine Disk aussteigt kannst du diese damit wiederherstellen

 

was du willst ist mehr File Integrity ... was ein anderes Thema ist ... aber auch ein permanentes abgleichen zweier Versionen bedeutet.

 

das sind nun mal 2 verschiedene Themen ... daher auch der Hinweis ...

 

Entscheide dich was dir wichtig ist, Parity (Redundanz) was diese auch wunderbar und einfach beherrscht ... oder File Integrity, dazu einfach ein passendes Tool deiner Wahl wählen ... du mischst halt (meiner persönlichen Meinung nach) 2 Themen, entweder hast du dich vorher nicht richtig damit befasst was die Parity macht und abfängt, daher jetzt die "Ernüchterung" ... oder nur oberflächlich damit befasst ... wie auch immer ...

 

und Nein, ich kenne dich nicht und daher kann ich auch nicht beurteilen ob du der "letzte Idiot" bist, wenn das so ankam, ok, so war es nicht gemeint sondern ich hake einfach ein wenn man "nicht ganz korrekte" thesen in den Raum stellt ...

 

btw. ich nutze keine Parity mehr sondern arbeite nur noch mit Backups  aber nicht weil ich dem System "Parity" nicht traue ...

sondern mir Backups wichtiger sind ale Redundanz.

 

Wo ich die Parity noch aktiv hatte lief der Check alle 6 Monate immer fehlerfrei durch (Anfangs 1x Monat, dann 1x 3 Monate, dann 6 ... jetzt verworfen)

13 minutes ago, DataCollector said:

Das ist war schade, aber je nachdem um wieviele Daten es geht, geht es auch unter 1000 Euro.

 

Ich hab gestern mal geschaut - ich müsste aktuell knapp 50TB sichern, wobei das Array größer ist, sprich so 4x 16TB würde man schon brauchen (und hat dann keine Redundanz). Plus Hardware, kommt man da schon an über die 1K

 

17 minutes ago, DataCollector said:

Es hindert Dich niemand dran es besser zu machen.

Du kannst selber eine File Interity Plugin erstellen, das vorhandene nutzen und darauf vertrauen oder selber Checksummen oder so erstellen.

Gegen Datenverlust hilft das leider dennoch nicht.

Wenn Du kein Backup vorhalten kannst, wie wäre es mit *.par2 Dateien? Damit kannst Du prüfen & sogar kleinere Unpäßlichkeiten der zu prüfenden Datei ausmerzen und in vielen Fällen reichen da schon rund 10% Datenzuwachs.

Ich verwende gerne Multipar (für Windows) zum prüfen und reparieren.

Was mich hindert, ist vermutlich mein Verständnis und meine Informationslage. Ein eigenes Plugin erstellen ja gut, ich bin Pixelschubser, das kann ich einfach nicht. Ich kann das Plugin verwenden - wenn ich verstünde, wie es funktioniert. Selber Checksummen erstellen, über Windows, klingt irgendwie "gefährlich", auch weil ich ja im Endeffekt jeden Tag für neue Dateien was erstellen müsste, über meine Workstation? Wäre doch sinnvoller, das Self-Contained auf dem Server zu machen? Nur da stehe ich auf dem Schlauch, wie - Checksummen generell finde ich dafür total interessant. Die Sache mit den *.par2 Dateien klingt toll, aber wenn das nur über Windows geht bin ich nicht sicher, wie zuverlässig das geregelt werden kann?

 

20 minutes ago, DataCollector said:

Also ganz so knapp scheint die finanzielle Lage nicht zu sein.

Ja uff. Also 300€ für neues Mainboard und CPU, wo ich Anteilig die Kosten durch den Verkauf der alten Teile amortisieren kann, stehen irgendwie in einem anderen Vergleich zu 1000€ für ein zusätzliches Gerät, für das ich auch erstmal Platz bräuchte  ich nage sicher nicht am Hungertuch, aber das Verhältnis ist hier ein gänzlich anderes

 

19 minutes ago, alturismo said:

sorry, so offensiv war das jetzt nicht gemeint ... aber von vorne

[...]

das sind nun mal 2 verschiedene Themen ... daher auch der Hinweis ...

 

Ich wollte das gar nicht so auf Dich beziehen, bitte entschuldige. Ist mir nur auch im englischen Teil des Forums aufgefallen; irgendwie wird immer erwartet dass man alles weiß, es gibt nur eben auch viele Ottonormal Nutzer, und eine Dokumentation die das Thema nicht mal anschneidet könnte da auch falsche Eindrücke erwecken. Ich bin natürlich ganz sicher der Depp, weil ich es eben nicht weiß und die Erwartungen habe ich selbst gesteckt, so oder so bin ich da sicher nicht der Einzige. Aber was solls, ich bin ja nicht hier um zu stänkern, sondern um es zu verstehen/verbessern

 

Also, zwei verschiedene Themen, das habe ich notiert. Ich dachte einfach, der Paritätscheck guckt auch nach der Integrität, hab ich wieder was gelernt.

 

23 minutes ago, alturismo said:

Entscheide dich was dir wichtig ist, Parity (Redundanz) was diese auch wunderbar und einfach beherrscht ... oder File Integrity, dazu einfach ein passendes Tool deiner Wahl wählen ...

Beides fände ich gut. Die Parität hat mir schon öfter mal den Hintern gerettet, etwa als sich die Steckverbindung einer HDD gelöst hatte und auf einmal weg war. Diese "Tools meiner Wahl" würde ich gerne oben drauf nutzen, aber ich sehe da (für eine Nutzung direkt auf unRAID) nur das Dynamix Plugin was einen zweifelhaften Ruf hat (und von dem ich nicht ganz verstehe, wie ich es aufzusetzen habe) - welche anderen Tools gäbe es denn, die man da nutzen könnte?

 

Beste Grüße

12 hours ago, CameraRick said:

Ich hab gestern mal geschaut - ich müsste aktuell knapp 50TB sichern,

https://www.mindfactory.de/product_info.php/4TB-Seagate-Factory-Recertified-IronWolf-Pro-NAS-ST4000NE001-7-200U-min_1598259.html

   13 Stück zu 62 Euro = 806 Euro

https://www.mindfactory.de/product_info.php/16TB-Seagate-Factory-Recertified-Exos-X-X16-ST16000NM001G-7-200U-min-25_1602638.html

   4 Stück zu 189 Euro = 756 Euro

https://www.mindfactory.de/product_info.php/12TB-Seagate-Factory-Recertified-Barracuda-Pro-ST12000DM0007-7-200U-min_1598261.html

https://www.mindfactory.de/product_info.php/10TB-Seagate-Factory-Recertified-Iron-Wolf-Pro-ST10000NE0004-7-200U-min_1598263.html

   5 Stück zu 119 Euro = 595 Euro

https://www.mindfactory.de/product_info.php/18TB-Seagate-Factory-Recertified-Exos-X20-ST18000NM003D-7-200U-min-256M_1598262.html

   3 Stück zu 199 Euro = 597 Euro

 

Also 50 TB sind weit unter 600 Euro zu sichern. Dazu ein USB3.0 Gehäuse für rund 15-30 Euro und schon hast Du alles um Deinen Dateien ein Backup zu gönnen.

 

12 hours ago, CameraRick said:

wobei das Array größer ist, sprich so 4x 16TB würde man schon brauchen (und hat dann keine Redundanz). Plus Hardware, kommt man da schon an über die 1K

 

Sehe ich nicht so.

Mit rund 620 Euro zusammen kann jeder Datei eine unkomprimiertes Kopie/Backup gegönnt werden.

(das Backup  muß ja nicht gleich ein weiteres NAS oder so sein. Der reihe nach alle Dateien auf eun USB Laufwerk, bis es voll ist und dann mit dem Nächsten weiter machen reicht ja)

 

 

12 hours ago, CameraRick said:

Ein eigenes Plugin erstellen ja gut, ich bin Pixelschubser, das kann ich einfach nicht. Ich kann das Plugin verwenden - wenn ich verstünde, wie es funktioniert.

 

Auch habe für mich einfach den Supportthread gelesen und dann getestet ob und wie es funktioniert.

Learning by doing.

 

12 hours ago, CameraRick said:

Selber Checksummen erstellen, über Windows, klingt irgendwie "gefährlich",

 

Naja, ich sehe keine Gefahr. Bisher ist kein Kernkraftwerk in der Nähe in die Luft geflogen, es ist bei mr kein Flugzeug vor dem Haus abgestürzt und die Polizei war deswegen auch noch nicht hier.

 

 

12 hours ago, CameraRick said:

auch weil ich ja im Endeffekt jeden Tag für neue Dateien was erstellen müsste, über meine Workstation?

 

Wenn Du Deine "Workstation" für gefährlich hälst solltest Du sie beser abschalten, gegen wiedereinschalten sichern und der korrekten Entsorgung zuführen.  😁

 

12 hours ago, CameraRick said:

Wäre doch sinnvoller, das Self-Contained auf dem Server zu machen?

 

Was spricht Deiner Meinung nach gegen eine VM mit Windows auf dem selben Host❓

Ich kann meine selbsterzeugten Windows Batches leider nicht auf Linux Shell umsetzen. Deshalb nutze ich eben weiter Windows frü die Erstellung und Prüfung meiner Checksummen.

 

 

12 hours ago, CameraRick said:

Nur da stehe ich auf dem Schlauch, wie - Checksummen generell finde ich dafür total interessant. Die Sache mit den *.par2 Dateien klingt toll, aber wenn das nur über Windows geht bin ich nicht sicher, wie zuverlässig das geregelt werden kann?

 

Ich habe nicht gesagt, daß PAR2 nur über Windows geht. ICH nutze es eben nur unter Windows.

Du darfst Dich gerne über PAR2 im Internet informieren.

 

12 hours ago, CameraRick said:

Also 300€ für neues Mainboard und CPU, wo ich Anteilig die Kosten durch den Verkauf der alten Teile amortisieren kann, stehen irgendwie in einem anderen Vergleich zu 1000€ für ein zusätzliches Gerät, für das ich auch erstmal Platz bräuchte  ich nage sicher nicht am Hungertuch, aber das Verhältnis ist hier ein gänzlich anderes

 

Du scheinst wirklich komische Vorstellungen zu haben was ein Backup ist.

Stell Dir vor, es gibt unternehmen, die sichern kleine Datenhäppchen sogar auf Magnetband. Es muss nicht irgendein teures Konstrukt sein, welches den gesamten Backupplatz als einen großen Speicher bereitstellt.

 

12 hours ago, CameraRick said:

Ich wollte das gar nicht so auf Dich beziehen, bitte entschuldige. Ist mir nur auch im englischen Teil des Forums aufgefallen; irgendwie wird immer erwartet dass man alles weiß, es gibt nur eben auch viele Ottonormal Nutzer, und eine Dokumentation die das Thema nicht mal anschneidet könnte da auch falsche Eindrücke erwecken.

 

Gerade bei Ottonormaluser sind USB Laufwerke für Sicherungskopien nicht unbekannt.

 

Edited January 9, 20251 yr by DataCollector
Tippfehler hatte 100 Euro anstatt korrekt 600 Euro geschrieben.

3 minutes ago, DataCollector said:

Sehe ich nicht so.

Mit rund 620 Euro zusammen kann jeder Datei eine unkomprimiertes Kopie/Backup gegönnt werden.

(das Backup  muß ja nicht gleich ein weiteres NAS oder so sein. Der reihe nach alle Dateien auf eun USB Laufwerk, bis es voll ist und dann mit dem Nächsten weiter machen reicht ja)

Also, so eine Art Backup würde einfach an mir scheitern. Da einen Überblick zu behalten, wenn man einfach Platten nacheinander individuell füllt, das empfinde ich als nicht so gut. Auch, weil eine Aktualisierung dann viel schwieriger wird, wenn mal was zu einem Ordner dazu kommt. Da ein Gerät einzuschalten, "kurz zu syncen", und dann wieder auszumachen, wirkt da deutlich sicherer. Stichwort "menschliches Versangen"

 

7 minutes ago, DataCollector said:

Naja, ich sehe keine Gefahr. Bisher ist kein Kernkraftwerk in der Nähe in die Luft geflogen, es ist bei mr kein Flugzeug vor dem Haus abgestürzt und die Polizei war deswegen auch noch nicht hier.

[...]

Wenn Du Deine "Workstation" für gefährlich hälst solltest Du sie beser abschalten, gegen wiedereinschalten sichern und der korrekten Entsorgung zuführen.  😁

Die "Gefahr" die ich meine ist einfach jene, dass man es nicht akribisch genug selber macht, oder zu selten, usw.

An eine VM auf dem Server habe ich gar nicht gedacht; tatsächlich habe ich eine Windows VM drauf, die auch meistens läuft. Stromverbrauch sollte ja auch in Grenzen liegen. Hm, ja, das klingt gar nicht mal so schlecht!

 

10 minutes ago, DataCollector said:

Du scheinst wirklich komische Vorstellungen zu haben was ein Backup ist.

Stell Dir vor, es gibt unternehmen, die sichern kleine Datenhäppchen sogar auf Magnetband. Es muss nicht irgendein teures Konstrukt sein, welches den gesamten Backupplatz als einen großen Speicher bereitstellt.

Oh, ich arbeite sogar in so einer Firma  bei Kosten für die Laufwerke natürlich semi interessant für mich. Für die großen, "liegenden Daten" ist das auch absolut sinnig. Mir gehts viel mehr um die Umsetzung, weil ich mich kenne, und genau weiß dass ich so etwas sehr stiefmütterlich behandle, wenn ich zu oft manuell ran muss. Für die Verwaltung solcher Backups (wenn, wie oben erwähnt, mal neue Daten kommen) gibt es sicherlich Docker oder andere Programme, womit sich das lösen ließe.

Wenn ich mir nun vorstelle, 13 4TB Disks im Regal zu haben - und dann kriege ich 132 Fehler im Parity Check - und schließe dann alle einzeln an um einen Abgleich zu machen; da kenne ich mich, das wird schwierig

2 hours ago, DataCollector said:

der korrekten Entsorgung zuführen.

ich würds nehmen...



 

 

6 hours ago, CameraRick said:

ich müsste aktuell knapp 50TB sichern

brauchst du IMMER Zugriff, vor allem schreibend auf diese 50TB oder könntest du einen Großteil davon permanent auf ein Datengrab "verbannen" um das etwas schlanker zu gestalten?

Wenn du 45TB davon nur lesend brauchst, dann mach dir Backups davon mehr oder weniger händisch und stell die irgendwo in den Schrank. Da brauchst du auch keine dauerhafte Disziplin, weil du nichts neues produzierst.

 

Und die restlichen 5TB machst du dann mit schedules, externe platten an smart home steckdosen oder sonst irgendetwas halbwegs automatisertem.

 

Edited January 9, 20251 yr by cottec

1 hour ago, CameraRick said:

Also, so eine Art Backup würde einfach an mir scheitern.

 

Es kann doch nicht so schwer sein, eine Platte zu füllen und dann eine Treeansicht mit den Verzeichnissen auszudrucken und dazu zu legen.

 

1 hour ago, CameraRick said:

Auch, weil eine Aktualisierung dann viel schwieriger wird,

 

Ein Backup der meisten Daten des Arrays kann doch nicht so schwierig sein. Du wirst ja nicht jeden Tag 50TB verändern und somit sichern müssen.

Aber ein Backup jeden Monat oder so hilft schon sehr, falls dann doch mal einzelne Dateien kaputt gehen und man dies herausfinden/ersetzen will.

Ein Offline Backup hilft auch gut, wenn man sich ne ransom/verschlüsselungssoftware eingefangen hat (oder einfach den falschen knof mit der Beschriftung "löschen" betaitigt hat), da die Backupdaten dann nicht verschlüsselt werden können.

 

1 hour ago, CameraRick said:

wenn mal was zu einem Ordner dazu kommt. Da ein Gerät einzuschalten, "kurz zu syncen", und dann wieder auszumachen, wirkt da deutlich sicherer. Stichwort "menschliches Versangen"

 

Ich gleiche einfach Quelle und Ziel per TotalCommander ab. Der kann auch bitgenau vergleichen.

Das geht ziemlich bequem.

Wenn man es manuell nicht mehr im Griff hat: diverse Backupprogramme könne mit wechselnden Medien umgehen und automatisiert vergleichen.

 

1 hour ago, CameraRick said:

Die "Gefahr" die ich meine ist einfach jene, dass man es nicht akribisch genug selber macht, oder zu selten, usw.

 

Selbst bei einem "zu selten" ist die Chance groß, daß die beschädigte Datei im Array dann doch in aktueller oder Vorgängerform im Backup liegt.

Ich gehe eben davon aus, daß deine rund 50TB eher statische Daten sind (Videos oder Images oder so). Die hat man und die verändern sich nicht von selbst.

Also legt man die einmal als Kopie ins Backup und dann bleiben die da. Sollet dann irgendein Fehler diese Dateien treffen, hat man das Backup.

Aber ich sehe schon, wenn man Dein ursprüngliches 1000 Euro Argument entkräftet kommen andere Gründe.

Ich schliesse daraus: Du willst es nicht.

Dann musst Du eben mit möglichem Datenverlust leben, wenn sich ein Parityfehler zeigt.

 

1 hour ago, CameraRick said:

An eine VM auf dem Server habe ich gar nicht gedacht; tatsächlich habe ich eine Windows VM drauf, die auch meistens läuft.

 

Oh! Dann schnell abschalten und löschen. Ich habe mir von jemand hier sagen lassen, das könnte gefährlich sein! 💣

 

1 hour ago, CameraRick said:

Wenn ich mir nun vorstelle, 13 4TB Disks im Regal zu haben - und dann kriege ich 132 Fehler im Parity Check - und schließe dann alle einzeln an um einen Abgleich zu machen; da kenne ich mich, das wird schwierig

 

Du hast aber schon gesehen, die günstigsste der oben genannten Varianten (unter 600 Eruro für Disks) beinhaltet nur 5 Disks?

 

Aber ich ahne: Du willst nicht, dann nicht.

Ich will Dich nicht weiter versuchen zu überreden, daß Diene Datensicherheit besser ein Backup beinhaltet.

Have fun!

1 hour ago, DataCollector said:

Oh! Dann schnell abschalten und löschen. Ich habe mir von jemand hier sagen lassen, das könnte gefährlich sein! 💣

 

Ich habe ja schon versucht zu sagen, dass ich mit "gefährlich" (in Anführungszeichen) meine, dass ich es unordentlich/schlecht/selten/falsch mache, ich selbst und nicht die Maschine  siehst ja wo mich das hingeführt hat, zu denken, alles sei im Lot, haha  das war sehr blöd ausgedrückt, verzeihung.

 

1 hour ago, DataCollector said:

Aber ich sehe schon, wenn man Dein ursprüngliches 1000 Euro Argument entkräftet kommen andere Gründe.

Ich schliesse daraus: Du willst es nicht.

Tatsächlich habe ich jetzt den Nachmittag über mal drüber nachgedacht. Der Witz ist: ich habe schon Backups von vielen der Daten, ohne das überhaupt auf dem Schirm gehabt zu haben. Und Du hast recht: die meisten Daten "stehen".

 

An was ich die ganze Zeit gedacht habe war eben eine einzelne Backup-Lösung, die ich dranhänge, alle zwei Wochen mal synce, und welche ansonsten aus ist. Und das wird freilich teuer, man bezahlt quasi die Bequemlichkeit (Bequemlichkeit der Ausführung, so wie der Verwaltung). 

 

Ein Ausdruck der Treeansicht ist so ne Sache, weil die einzelnen Verzeichnisse meist dutzende, oder hunderte Unterverzeichnisse haben können; aber das ist auch egal.

 

Auch durch @cottecs Beitrag fällt langsam der Groschen, wie ich es wohl gescheit angehen kann: ich habe ich denke drei "Großgräber", die auf dem unRAID liegen, und dann noch Kleinmist. Eins von diesen dreien ist 1:1 immer auf meiner Workstation, sprich da habe ich sowieso ein Backup. Dann bleiben es zwei große Baustellen, und für die könnte ich vermutlich je eine große Platte anschaffen, dann ists auch für mich übersichtlicher. Ich baue gerade den Server um und kann akut nicht gucken wie groß die sind, aber das ja machbar. Und fürs Kleinvieh hab ich sicher noch eine 4-6TB Platte einfach herum liegen.

 

Also, lieber @DataCollector, Verzeihung dass ich so unausstehlich war. Du hast mir ein paar sehr gute Anhaltspunkte zum Nachdenken gegeben, und ich werde wohl mal demnächst Festplatten shoppen  die File Integrity Geschichte will ich dann aber auch nochmal vertiefen, aber das ist ein Projekt für ein anderes Wochenende.

 

Beste Grüße

6 hours ago, DataCollector said:

https://www.mindfactory.de/product_info.php/18TB-Seagate-Factory-Recertified-Exos-X20-ST18000NM003D-7-200U-min-256M_1598262.html

   3 Stück zu 199 Euro = 597 Euro

so, zwei von denen bestellt, die sind dann auch quasi voll aber den Rest kriege ich mit dem, was ich hier habe.

Auch besonderen Dank für den Link @DataCollector, die wurden mir via Geizhals und Co nicht angezeigt, da wären es dann eher 300€ pro Disk geworden. So ist das Ganze doch irgendwie attraktiver!  

3 hours ago, CameraRick said:

Eins von diesen dreien ist 1:1 immer auf meiner Workstation, sprich da habe ich sowieso ein Backup

Achtung: Wenn du 1:1 synchronisierst, dann ist das kein Backup! Du löscht aus Versehen auf der Workstation --> Zack auch auf dem Server weg.

Eventuell kriegst du es mit der Windows Dateiversionierung in den Griff, der traue ich aber nicht.

Dann lieber einen Hauptspeicherort festlegen (Workstation oder Unraid) und diesen für das andere Gerät nur lesend freigeben, dass auch niemals ein gehacktes Gerät Schaden auf der Gegenseite anrichten kann.

 

Workstation Master:

Neuen User auf Windows anlegen(kein Admin)

Freigabe des entsprechenden Ordners für den neuen User nur lesend einstellen

In Unraid unter Main einen SMB Share von Windows einbinden, Zugangsdaten von dem neuen Windows User eintragen und fertig ist der gemountete Share, mit dem du die Daten nur lesend von Windows bekommst und mit einer Backup Routine entsprechend noch ein weiteres Mal vervielfältigen (am besten auf dem Datenträger, der physisch woanders gelagert wird und nicht zu Hause mit verbrennt und absäuft).

Wenn noch andere Clients die Daten schreibend verarbeiten sollen, dann alles Umdrehen und Unraid zum Master machen, und hier wiederrum den Share mit einem nur Lesen User freigeben.

Wenn du von mehreren Seiten aus die Masterdaten schreiben willst, dann solltest du zwei statt nur einer weiteren externen Kopie anlegen.

 

 

Edited January 9, 20251 yr by cottec

3 minutes ago, cottec said:

Achtung: Wenn du 1:1 synchronisierst, dann ist das kein Backup! Du löscht aus Versehen auf der Workstation --> Zack auch auf dem Server weg.

Eventuell kriegst du es mit der Windows Dateiversionierung in den Griff, der traue ich aber nicht.

Ich glaub ich hab einfach die Lingo für Daten nicht so richtig drauf, haha

Was ich meine: ich habe alle diese Daten auch auf meiner Workstation. Das ist auch das Master, und von dort aus aktualisiere ich den Ordner auf dem unRAID; gerne auch mit Löschen (wenn ich etwa umsortiert habe), aber den Check mache ich manuell (mit FreeFileSync). Und das Backup entsprechend auch. Das schützt mich nicht vor Ransomware Attacken. Vielleicht mache ich nächsten Monat nochmal 100€ locker um eine 10TB Platte für diese Daten zu besorgen, aber erstmal versuche ich das so zu lösen  ein Schritt nach dem anderen

 

Ich hätte gern die Backups extern, da habe ich nur leider keinen Ort für (und dann würde ich sie wohl wirklich niemals aktualisieren). Von wichtigeren Daten (paperless, Nextcloud) habe ich ein externes Backup auf meinem Webspace, die sind halt nicht so groß.

Keine Ahnung, vielleicht kannst du ja nem guten Freund oder Verwandten ein paar GB Cloudspeicher kostenlos auf deinem Server zur Verfügung stellen und dafür betreibst du dort nen Raspi mit externer Festplatte (initiale Sicherung zu Hause bei dir und dann nur noch inkrementell übers Internet, wenn die Daten nicht zu groß sind merkt das ja keiner)

Aber sind wir da nicht wieder an dem Punkt, wo es eine Maschine sein müsste, die alle Daten hält? Oder nur solche, wo das nicht-Backup auf meiner Workstation liegt?

das würde ich halt für den wirklich wichtigen Kram machen.

Darf man fragen woraus deine Daten größtenteils bestehen?

Filme? Müsste man mal ehrlich zu sich selbst sein, ob das ein Weltuntergang wäre wenn die weg sind, weil das erste Backup versagt hat)

Fotografiehobby? Eventuell die ganzen Rawfiles wegschmeißen, die man nun wirklich nicht mal braucht, weil man einfach nie ein 10 Jahre altes Foto sucht und da dann nochmal an den Rohdaten rummacht (oder man parkt es halt auf nur einem weiteren Backup und hofft, dass alles so lange lebt, bis das lächerlich kleine Speicherverbräuche sind und das mit einem Wimpernschlag auf irgendeiner next-gen-storage-Lösung liegt.

Video Content-Creator? Scheiß auf die Rohdaten von alten Videos 

Edited January 9, 20251 yr by cottec

22 minutes ago, cottec said:

das würde ich halt für den wirklich wichtigen Kram machen.

Die wirklich wichtigen Daten sind meines Erachtens paperless und der Inhalt meiner Nextcloud, für beides mache ich semi-regelmäßig Backups auf meinem Webspace. Die Daten habe ich auch alle noch auf meiner Workstation, sprich an drei Orten (einer davon nicht in meinen vier Wänden)

 

26 minutes ago, cottec said:

Darf man fragen woraus deine Daten größtenteils bestehen?

Sehr faire Frage, und auch ein wenig der Grund wieso ich nicht unbedingt Backups für alles habe, zumindest nicht für 1K - aber den Kopf habt ihr mir gewaschen, ha

Den Großteil machen Filme und Serien aus - manches davon hat schon sensiblen Wert, eben weil es alt ist und schwer/unmöglich wieder zu bekommen, aber es bleibt eben das. Die dritte Einheit, die viel Platz verbraucht, ist mein "Videoarchiv". Ich bin kein Content-Creator, aber professioneller Pixelschubser beim Film, und ich hab mir eine ganz gute Auswahl an Stockfootage aber auch Trainings/Tutorials zusammen gestellt. Da sind auch alte Daten bei, die nutze ich tatsächlich aber noch öfter als man denkt und manches davon ist wortwörtlich nicht mehr zu bekommen. Das ist das, was ich als Kopie auf der Workstation habe, damit es eben zweimal vorhanden ist. Bzw aktuell liegt es noch auf einer dritten HDD, ich habe nämlich vorhin die HDD in meiner Workstation (gegen eine größere) ausgetauscht. Und ja, ein Feuer kann ein lokales Backup nicht überleben, aber damit muss ich mich abfinden.

Und wie ich das hier tippe denke ich mir, dass es wohl mehr Sinn ergibt sich ein wenig Geld von sich selber zu leihen und direkt eine ordentliche Backup HDD mit zu bestellen.

Also hab ich jetzt zwei 18er, und eine 12er; das wird erstmal langen.

Ich hab die luxuriöse Ausgangssituation, dass ich a) nicht viele Daten habe und b) noch eine 10 Jahre alte Synology, die für nichts mehr taugt, außer um Backups auf ihre 4TB Platte zu ziehen, darauf passt noch alles locker.

Wenn mir da der Platz ausgeht, dann mach ich ne Rotation mit einer großen neuen Platte ins Array und gebe dann eine kleine aus dem Array weiter ins Backup System.
Externe platten mach ich lieber nur in 2,5". Auch hier Glück, dass ich so wenig Daten habe

Ha, das ist natürlich super

Ich war leider schon immer Datensammler. Der Grund wieso ich das unRAID damals angeschafft habe war hauptsächlich, weil mein neuer PC einfach deutlich weniger SATA Ports hatte und ich nicht mehr alle HDDs umziehen konnte. Da hatte ich aber auch noch keinen Plex und die Nextcloud lief über lahmen Webspace.

Mittlerweile ist das unRAID halt ein Luxus, den ich mir gönne, weil es mein Leben so viel einfacher macht. Nextcloud selber gehostet, Plex für mich (und andere, wie meine Mutter), paperless, Datenablage... das ist schon nobel. Ein teurer Spaß diesen Monat, aber sei mal dahin gestellt. Muss nur noch morgen bei Mindfactory anrufen und die erste Bestellung stornieren (Versandkosten darf man ja auch sparen wollen, haha). Ein Glück dass der DataCollector mir diese Links gegeben hat, damit kriege ich nun alle Backups für schlanke 500€ hin. Und wenn man sich die Datenmenge anschaut ist das ein richtiger Schnapper

Vielleicht wäre eine gebrauchte 2 oder mehr bay synology diskstation oder irgendein anderes system ja was für dich.
meine DS114 ist quasi wertlos. Modernere 220er oder was auch immer kriegst unter 100€

Kann ja das kleinste j oder Play Modell oder sonst was sein. Du willst ja nur die Fähigkeit nutzen, dass das Ding nach Zeitplan aufwacht oder von Unraid geweckt wird und dann selbstständig ein rsync ausführt und dann wieder schlafen geht.

 

Synology kann bestimmt auch bei 2 Datenplatten selbstständig je nach Füllgrad aufteilen, ohne, dass Dateien zerhackt werden.

Wahlweise Raid 0, dann ists noch einfacher.

 

Backups dann aber nur per rsync lesend, dann kann die hardware abkacken und die Daten sind trotzdem im Klartext vorhanden

 

 

 

Ja, teuer ist es, aber sonst zahlst halt monatlich für ne Cloud und bist da auch sehr beschränkt.

Wenn du am Ende deines Lebens keinen Backup-Fall hattest, dann darfst dich über die "rausgeschmissene" Kohle ärgern.
Aber sowas wie Paperless ist schon echt viel wert und ohne Server nicht wirklich sinnvoll.

Backups als Nebenprodukt einer Infrastruktur ist ja eigentlich positiv zu sehen. Man muss nichts anderes machen, als ein paar Platten extra reinzuhängen und ein Skript starten

Edited January 9, 20251 yr by cottec