DataCollector

Hallo @Ford Prefect Es beschleunigt zumindest ungemein gegenüber meinen Tests mit Parity. Die Platten haben in den vergangenen Wochen in vorherigen Tests im zwischenzeitlich teils umgebauten Testsystem schon rund 2-3 Preclear Durchläufe erfahren. Was jetzt dabei ausfällt, ist wohl dadurch schon so vorgeschädigt, dass es nun wirklich zum Alteisengehört. Das wäre zu schön, aber Murphy zeigt, dass auch gebrauchte Disks, die vor kurzem einen oder gar mehrere Preclear (Write+Read) ohne Probleme durchgestanden haben, dann doch im Betrieb aufgeben. Aber besser jetzt um dann aussortiert zu werden, als später, wenn es schmerzt.

Hallo Ja. Dies ist ein Testsystem mit/in dem ich teste ob Unraid für meine Anwendungen geeignet ist. Mit Parity Festplatte sinkt logischerweise die Schreibgeschwindigkeit zu massiv unter 500-900 MByte/s. Ich habe versucht die ParityDisk durch ein Raid0 aus 2 SSD zu ersetzen, doch leider ist diese Kombi wirklich minimal kleiner als die verwendeten Festplatten und somit als flotte Parity Zwischenlösung ungeeignet. Leider beherrscht Unraid es ja nicht Festplatten nur zu einem kleineren Teil in ein Array einzubinden. Um die große Menge an Daten zu befüllen wünsche ich hohe Geschwindigkeit und die erreiche ich nicht mit heutigen Festplatten als Parity. Und da es auch nicht zu teuer werden soll (Testsystem besteht überwiegend aus vorhandenen Gebrauchtkomponenten) werde ich mir auch keine so großen SSD zukaufen. Nach befüllen, sortieren und Verify wird später Parity per Festplatte hinzugefügt (was bei der Festplattengröße pro ParityDisk rund 16h dauern dürfte) und dann schalte ich auch den NVMe-SSD Cache zu um den Kompromiß aus Geschwindigkeit, Datensicherheit +Energiesparen zu erhalten. Erst, wenn das alles passiert ist, kann ich in der Praxis vollständig testen wie sinnvoll Unraid sich für mich nutzen läßt und entscheiden, ob ich ein erheblich größeres und teureres Storageprojekt mit Unraid umsetze. Ich will und muß also mit diesem System so viel von dem, was passieren kann, testen um mir ein Bild als Entscheidungsgrundlage zu machen. Ich hatte eigentlich gehofft, daß ich damit schon vor 1 Monat fertig gewesen wäre, doch leider sind berufliche, private und auch unraidbasierte Verzögerungen hinzu gekommen. Echter Datenverlust ist aktuell keiner zu befürchten, weil fast alles Relevante ja von irgendwoher kommt und dort schon ein (je nach Wichtigkeit) existierendes Backupszenario besteht. Ich teste somit mit realen Daten, aber es existiert weiterhin der Originaldatensatz und bei den wichtigen Sachen auch ein Backupdatensatz) auf getrennten Maschinen. Und genau dadurch erfahre ich ja, wie damit umzugehen ist. Im Gegensatz zu einem Raid0 mit vollständigem Datenverlust oder einem JBOD mit der Notwendigkeit Datenrettung für die verbleibenden Datendisks einzusetzen hat Unraid hier den Vorteil gezeigt, die Dateien als Ganzes zu speichern und somit sind wohl wirklich nur die Dateien auf der betroffenen Festplatte ausgefallen. Alles andere scheint nach dem neuen Zusammenstellen des Array ja noch da zu sein und es ist hoffentlich auch okay. Den ausgefallenen Teil habe ich schon wieder aufkopiert und lasse das System nun weiter machen. Dieser Vorteil ist leider auch der Nachteil der die Geschwindigkeit auf die Leistung des RamCache und Schreibgeschwindigkeit jeweils einer Datendisk begrenzt. Aber es scheint, als wenn der RamCache das sehr gut puffert/verteilt. Selbet mit SMR Disks erreiche ich überraschend hohe Geschwindigkeiten, weil der Cache und die Schreibverteilung (most-free) den SMR Platten genug Zeit verschafft sich nach jeder größeren Datei zu sortieren. Ich hoffe, dass der Inhalt der alten Dateien auch korrekt ist (sollte er ja) aber das wird sich bei bzw. nach dem anstehenden Verifylauf zeigen, wenn ich Datenquelle und Unraidarray (Ziel) miteinender binär verglichen habe.

Hallo. Sehr lästige an der Sache ist, daß die Disk Settings dabei wohl auch jedes mal auf Default zurück fallen. Parity kommt später dazu. Ich will erst einmal befüllen, dann sortieren und im Anschluß die Daten verifizieren. Die Parity erzeuge ich später. Dadurch habe ich eine weitaus höhere Schreibgeschwindigkeit, weil sich die Zugriffe auf die Datenträger im jeweiligen Share verteilen. Danke für Deine Antwort!

Hallo. Da meine alten Festplatten aus anderen PC noch Dateisysteme enthalten, habe ich Preclear Disks von gfjardim installiert und lasse die Festplatten vor dem Einbinden in das Array damit löschen. Mir geht es dabei weniger um einen Festplattentest, sondern darum, daß sie Unraid gegenüber wie leer aussehen. Deshalb breche ich Preclear auch recht früh ab, damit nur das Dateisystem verschwunden ist. Nun ist mir schon mehrfach aufgefallen, auch wenn Preclear anzeigt, daß es gestoppt hat und ich direkt danach Unraid per Reboot oder Shutdown neu starten/herunterfahren will, passiert das nicht. Unraid zeigt mir zwar an, was ich machen will, erfordert auch den Druck auf den Button "Proceed", aber nach kurzer Zeit sehe ich wieder die Bedienoberfäche und kann sie normal bedienen. Es erscheint mir, als wenn Preclear Unraid einige Zeit nach dem Stoppen nicht erlaubt herunter zu fahren. Warte ich dann noch so 10 Minuten, benutze dann erneut Shutdowan oder Reboot, funktioniert es meist. Deshalb Fragen: Liege ich da richtig, dass Preclear irgendwie Unraid solche Operationen verbietet, ohne davon etwas anzuzeigen? Wie oder wo kann ich solche 'Blockaden' sehen? Womit kann man sonst noch schnell ein Dateisystem auf bequeme Art löschen, so daß die Festplatte unraid gegenüber leer/fabrikneu aussieht?

Hallo. Ich bin dabei mein Unraid zu testen und dabei erstzubefüllen. Aktuell betreibe ich es noch ohne Parity Festplatte, SSD-Cache ist auch noch abgeschaltet. Nun hat eine Festplatten bei dem exzessiven Beschreiben steigende unkorrigierbare Fehler gezeigt und ist ausgestiegen. Ist ja kein Datenverlust: Die Daten sind an der Quelle ja noch alle vorhanden. Ich habe das Array gestoppt, unraid shutdown, Festplatte raus, andere Festplatte rein, unraid gestartet. Nun meldet mir unraid im Tab 'Main' Disk5 'no device'. Es weiß noch welche Festplatte dort hin gehört, da es diese mit Seriennummer darunter anzeigt. Wenn ich die neuere Festplatte dort versuche anzumelden, kann ich das Array dennoch nicht starten. Ich kann verstehen, dass unraid sich da etwas bockig zeigt, weil es ja versucht die ursprüngliche Datenintegrität beizubehalten. Aber in diesem Fall will ich wirklich an der Stelle eine andere Platte einsetzen und diese dann eben formatieren und mit den fehlenden Daten befüllen. Wie bringe ich das unraid bei? Muß ich zwingend über den 'new Config'-Weg gehen und alles wieder neu einrichten? Gibt es nicht irgendwo einen Schalter "ja, ich will" und damit übernimmt unraid das so, wie ich es eingesteltl habe? Mehrfaches Neustarten hat bisher nicht geholfen.

Ich glaube diese Funktion im Samsung Magician auch bei meiner 970 Evo gesehen zu haben. Aber da mich das bisher nicht interessiert hatte, habe ich es nicht genauer angeeehn/geprüft: https://www.samsung.com/de/support/memory-storage/welche-funktionen-hat-magician/ ...Over-Provisioning: Verlängern Sie die Lebensdauer Ihrer SSD, indem Over-Provisioning freien Speicherplatz reserviert. Weder das Betriebssystem noch ein Anwender hat Zugriff, so dass dem Controller dieser Platz als "Arbeitsspeicher" immer zur Verfügung steht...

Hallo @mgutt Gibt es Erfahrungen dazu. dass diverse Consumer SSD mit firmeneigener Software den Overprovisioningbereich anpassen können? Beispiel: Man kauft eine ca. 2TB SSD und stellt dort den OVP Bereich so ein, dass 1TB nutzbar bleibt. Dann nutzt man diese SSD als Paritydatenträger in einem Array mit ansonsten 1TB grossen anderen SSD. Dies sollte die Performance doch gleichbleibend hoch und die Datensicherheit vergleichbar einer reinen HDD Nutzung bieten. Oder denke ich da falsch?

Hallo. Ich habe zwar schon etwas im Forum herum gesucht, aber auch wenn 4kn erwaehnt wurde, ging es meist um andere Themen. Deshalb nur kurz gefragt: Kann ich im Array und auch im Pool beliebig 4kn und 512e Datenträger problemlos mischen? Danke für Eure Mühe!

Hallo Allerseits Ich habe es gerade eben noch einmal nachgestellt (neue W10 VM erstellt) und bei diesem neuen Versuch hat Win10 wirklich von selbst kein LAN gefunden. Da muß ich gestern wohl doch noch irgendetwas verändert haben, ohne zu wissen, was ich da mache. Ich bedanke mich für Eure Zeit und Hilfsbereitschaft!

Hallo @JoergHH Herzlichen Dank. Den Weg kannte ich noch nicht. Ich werde es mir merken, für das nächste Mal!

Hallo @ich777 Meine Installation von Windows 10 21H1 64Bit in einer neuen VM auf dem laufenden UnraidSystem mit Mellanox ConnectX3 über die Vorauswahl in unraid hatte schon bei der Installation eine erreichbare Verbindung zu meinem Netzwerk mit Internetzugang, wodurch Windows10 ein MS-Konto 'erzwingen' wollte. Ich musste die Installation dann mit 'force shutdown' in der VM abbrechen, habe sie geloeshct und von vorne begonnen. Aber dnan kurz vor der Stelle den Internet liefernden Router ressettet, da ich nicht lokal vor der unraidMaschine oder dem router sitze, sondern alles per Fernsteuerung (im lokalen LAN) mache. Wie ich in einer anderen Diskussion schon einmal darstellte, bin ich noch am Anfang von Unraid und habe auch diverse der Netzwerkeinstellungen noch nicht so ganz durchschaut. In Unraid habe ich da so eingestellt (1.Bildschirmausschnitt) Und in der VM steht es nun so wie im 2. Bildschirmausschnitt (die Netzwerkeinstellungen waren alle voreingestellt und ich finde keinen weg die fuer den Zeitraum der Installation zu deaktivieren). Ich habe zwar die ISO mit den VirtIO in Unraid bereitgestellt, aber da ich als DiskAnbsindung auf SATA eingesteltl habe brauche ich die so früh bei der Installation noch nicht anzugeben. Ob sich Win10 diese aber für LAN selber zieht, da Unraid diese ISO ja bereitstellt kann ich nicht sagen.

Hallo @mobilfunk-maier Diese Möglichkeit fand ich nicht. Bei der Erzeugung der VM wird immer sofort meine Ethernetverbindung eingetragen und diese zu deaktivieren/ausschalten fand ich nicht. Ich will nur für die Installation (wegen dem lokalen Konto) keien LAN Verbindung. Spaeter hätte ich die schon gerne. Da ich nicht lokal vor der Unraid Maschine sitze habe ich dann während der Installation nun einfach den Router resettet, so dass fuer seien Bootzeit Internet nicht erreichbar war.

Hallo @ich777 Zuerst wollte ich meinen großen Dank für die Arbeit die in dem MFT und der Beantwortung meiner Fragen steckt ausdrücken. Nachdem ich kleinere Klippen umschifft hatte, läuft es nun anscheinend problemlos. Hier eine kleine Bemerkung: Unwissend wie ich war, hatte ich bei der Info zu MFT gedacht, daß ich mir die Original Mellanox Firmware Tools von der Mellanox Webseite herunterladen solle. Doch nachdem ich damit in Unraid direkt nichts anzufangen wusste, habe ich weiter gesucht und da erst bemerkt, daß Du damit das von Dir selbst erstellte Plugin meinst, welches man über die CA bekommen kann. Als ich die hatte und die darin enthaltende Anleitung fand war es dann doch sehr einfach die Firmware zu aktualisieren. Auch dann konnte och erst nachvollziehen, wo die Screenshots mit der Temperaturanzeige her kommen. Danke!

Hallo. Ich mache mich vermutlich jetzt lächerlich, aber ich finde die Option nicht um einer VM die LAN Verbindung zu trennen. Nur der VM. Unraid auf dem Host muß weiter erreichbar bleiben. Ich installiere eine neue Win10 VM. Nun will MS die Einrichtung eines MS Onlinekontos. Ich möchte Win10 aber mit lokalem Konto nutzen. Das läßt sich ja bewerkstelligen indem man bei der Installation die LAN Verbindung zum Internet trennt. Ich finde keine Option im VM Reiter mit dem ich die LAN Verbindung trennen oder später auch wieder verbinden kann.

Nur eine kleine Ergänzung. Ich habe mir für meine PCIe 3.0 x1 Slots ein paar ASM1064 basierte Karten geholt. Die funktionieren auch gut. Natürlich ist die Performance für 4 performante SSD gleichzeitig zu langsam, aber 4 Festplatten sind daran bisher kein Problem. Weil ich zur Zeit kein Testsystem frei habe, habe ich sie noch nicht im Detail durchgemessen. Aber die PCIe 3.0 x1 Datenrate von rund 0,98 GByte/s sollte somit jeder Platte ca. 240MByte/s bieten. Bisher habe ich daran aber nur langsamere Festplatten angeschlossen. Zu Testzwecken habe ich mir auch mal ASM1166 an PCIe 3.0 x1 bestellt. Bin neugierig was da dann übrig bleibt, wenn man 4, 5 und 6 Geräte anschließt. Zu beachten ist übrigens, daß wegen aktueller Probleme (Chip und Transportschwierigkeiten) die Preise in der EU für all diese Kontroller ebenfalls recht hoch sind.

Hallo @ich777 Geklärt wäre meiner Meinung nach das falsche Wort. Ich weis nun aber das, wonach ich gefragt habe. Meine Frage war technischer Natur: Unraid kann einiges anonymisieren und den Rest müßte man von Hand machen. Die daraus erwachsene, aber nicht beabsichtigte Diskussion um Datenschutz generell und die diversen unterschiedlichen Meinungen dazu sind sehr persoenlich und waren nicht meine Intention. "Das Internet vergisst nie"

Hallo. Bisher habe ich in diesem Jahrtauscend eben nur RJ45 verwendet. Und meine vorhandenen MIKROTIK CRS312-4C+8XG-RM, QNAP QSW-M408-4C, Netgear XS708E, S3300-28X und mehrere GS110EMX, ASUS XG-U2008 schlucken schon so einiges. Aber die wegzuwerfen und auszutauschen kostet mehr, als ich in den nächsten 10 Jahren an Strom einsparen würde. Aber da ich bei dem jetzt wohl fast finalen Unraidsystem fuer kleinere Aufgaben auf der Zielgeraden bin kann ich es ja mal bei dem System mit DAC ausprobieren, da das System sehr nahe an mehreren Switchen mit SFP+ steht. Sind eben meien ersten privaten Experimente mit SFP+. Danke So eine habe ich nun auch in der Bucht bestellt. Habe aber erst spaeter hier gelesen, daß es bei den Karten welche mit einem recht hartnäckigem OEM Branding gibt und ggf.auch kein Ethernet voreingestellt ist. Ich hoffe ich bekomme eine Karte, mit der ich recht einfach für diese 'Gehversuche' umgehen kann.

Hallo @ich777 Eigentlich wollte ich nur wissen, wie man die anonymisiert und keine Rechtsdiskussion aufmachen. Nur, weil Du fragst: Eine Seriennummer ist nachvollziehbar. Der Hersteller kennt seine Chargen und der Großhändler die enthaltenenen Seriennummern, der Einzelhändler schreibt die auch auf seine Rechnungen und somit ist es mit entsprechenden Aufwand nachvollziehbar, wenn man beispielsweise per Versand ordert. Einzelhändler, Finanzamt Strafverfolgungsbehören Nein, ich vergesse es nicht. Ich wollte die DSGVO eigentlich nicht ins Spiel bringen, weil LIME ja doch nicht wirklich in der EU sitzt. Aber da Du die EU ansprichst. Stand in der DSGVO nicht etwas davon, daß Datensparsamkeit anzulegen ist und unnoetige Daten nicht gesammelt werden sollen? Und "gerichtliche Erwirkung" ist nicht als "nachvollziehbar" zu bewerten? Der Händler oder Retourenabwickler kennt meine Namen+Adresse+Seriennummer. Mit der Sreiennummer kann er dannind er Dioangnoistoc weitere Daten (Seriennummern) verknüpfen. Was dann wieder weiter gehen kann. Aber ich fragte nur, ob man das weiter anonymisieren kann. Rechtliche Diskussionen gehoeren hier wohl nicht wirklich hin.

Hallo @ich777 Beispielsweise ein Firmwareupdate findet in der Regel fuer eine Type aber nicht fuer eine einzelne Seriennummer statt. Die Typenbezeichnung sollte reichen. Dass jeder eine andere Meinung zum Thema Datenschutz und Datensparsamkeit hat, ist ja nicht neu. Ich fragte ja nur, weil ich mir mal eien Diagnostic genauer ansah. Aber das erklärt, warum die Dateien im shares Ordner komische Dateinamen haben. Ich lerne eben dazu und da schaue ich mir eben auch sowas an und da stellte sich mir die Frage.

Hallo @ich777 Die festplattenseriennummern sind nur ein plakatives Beispiel. Die Beiträge hier sind öffentlich zugänglich. Die Seriennummer kann von diversen Leuten zurückverfolgt werden. Nicht nur auf den Rechnungen, die mir für neue Festplatten zugesendet werden sind diese vermerkt. wohl auch sämtliche Warrantybelege bei mir haben die Seriennummern. Somit könnte beispielsweise ein Händler oder Retourenabwickler hier Zusammenhänge finden. Aber wie gesagt, ist das nur ein Beispiel der vielen Daten. Aufgefallen war es mir anhand des Beitrages wegen der USV.

Hallo. Die erwähnten Seriennummern sind nur ein Beispiel von diversen enthaltenen Informationen, die für eine Analyse weniger wichtig sind. Die Festplatten können ja einfach weiter auch als sdb sdc sde... erkannt werden. Wenn das System dann noch für Kunden zusammengebaut wurde und somit Kundendaten weiter gegeben werden ist es noch einmal eine andere Hausnummer. Sharebezeichnungen mit Realnamen oder Hobbies sind auch nicht unbedingt alle unkritisch. Wie gesagt: Die Seriennummern sind jetzt nur ein Punkt, an dem man es aufhängen kann. Aber die Diagnostic enthält ja noch viel mehr.

Hallo. Ich habe mir diverse Beiträge hier angesehen und mir ist aufghefallen, daß bei Screenshots und Beschreibungen beispielsweise Seriennummern unkenntlich gemacht wurden. Finde ich gut. Datenschutz ist mir auch wichtig. Doch ist mir aufgefallen, daß die unraid Diagnostic ZIP sehr viele solche Informationen enthält. Kann man unraid beim Erstellen dieser ZIP klar machen, dass diese ZIP gerne alles Technische enthalten darf, aber es doch eher unwichtig ist ob eine HDD/SSD/Device die Seriennummer xxxxxxx oder yyyyyyy hat? Oder geht das nicht automatisch und man muß eine solche Diagnostic ZIP eventuell manuell anonymisieren, bevor man sie bei einer Frage hier mit anhängt?

Hallo @guybrush2012 Die 10G Infrastruktur steht und 10G oder mehr ist mir wichtig. Ich werde jetzt nicht alle meine 10G Switche wegwerfen und zurück zu 1G gehen. Mir geht es darum, bei der nun wohl für einige Zeit finale Zusammenstellung eines Unraidsystemes ohne Komfortverlust eben an den eher einfachen Stellen den Stromverbrauch zu senken, da diese Komponenten ja auch 24/7 durchgehend laufen.

Hallo @Max Power Ich nutze dafür eine CLUB3D CAC-1420 Lösung. Geschwindigkeit ist okay, aber die hellen LEDs stören mich. Doch das ist nur eine Frage von Klebeband. Ich kann aber nichts zum Stromverbrauch sagen, da ich das nie gemessen habe.

Hallo @ich777 Ja, anscheinend habe ich da ältere Varianten gesehen und nicht sorgfältig genug gesucht. Ich habe mir mal eine in der Bucht gekauft, dazu noch ein 5m DAC. Mal sehen ob das wirklich so problemlos bei mir läuft, wie es die aktuelle Asus auch macht. Dann habe ich so langsam das Meiste zusammen für meinen 'kleinen' unraid mit VM. Dann kann ich mich verstärt wieder meinem Ziel des riesigen Datenlagers mit unraid widmen. Ich habe heute Nacht/Morgen sowieso einen Arctic P12 ueber die PCIe Slots geschraubt. Der sollte fuer alles einen gewissen Luftstrom schaffen. Danke sehr. Sehr aufschlussreich, wenn man das Intel-Bashing mal uebersieht.