DataCollector

Hallo. Sehr lästige an der Sache ist, daß die Disk Settings dabei wohl auch jedes mal auf Default zurück fallen. Parity kommt später dazu. Ich will erst einmal befüllen, dann sortieren und im Anschluß die Daten verifizieren. Die Parity erzeuge ich später. Dadurch habe ich eine weitaus höhere Schreibgeschwindigkeit, weil sich die Zugriffe auf die Datenträger im jeweiligen Share verteilen. Danke für Deine Antwort!

Hallo. Da meine alten Festplatten aus anderen PC noch Dateisysteme enthalten, habe ich Preclear Disks von gfjardim installiert und lasse die Festplatten vor dem Einbinden in das Array damit löschen. Mir geht es dabei weniger um einen Festplattentest, sondern darum, daß sie Unraid gegenüber wie leer aussehen. Deshalb breche ich Preclear auch recht früh ab, damit nur das Dateisystem verschwunden ist. Nun ist mir schon mehrfach aufgefallen, auch wenn Preclear anzeigt, daß es gestoppt hat und ich direkt danach Unraid per Reboot oder Shutdown neu starten/herunterfahren will, passiert das nicht. Unraid zeigt mir zwar an, was ich machen will, erfordert auch den Druck auf den Button "Proceed", aber nach kurzer Zeit sehe ich wieder die Bedienoberfäche und kann sie normal bedienen. Es erscheint mir, als wenn Preclear Unraid einige Zeit nach dem Stoppen nicht erlaubt herunter zu fahren. Warte ich dann noch so 10 Minuten, benutze dann erneut Shutdowan oder Reboot, funktioniert es meist. Deshalb Fragen: Liege ich da richtig, dass Preclear irgendwie Unraid solche Operationen verbietet, ohne davon etwas anzuzeigen? Wie oder wo kann ich solche 'Blockaden' sehen? Womit kann man sonst noch schnell ein Dateisystem auf bequeme Art löschen, so daß die Festplatte unraid gegenüber leer/fabrikneu aussieht?

Hallo. Ich bin dabei mein Unraid zu testen und dabei erstzubefüllen. Aktuell betreibe ich es noch ohne Parity Festplatte, SSD-Cache ist auch noch abgeschaltet. Nun hat eine Festplatten bei dem exzessiven Beschreiben steigende unkorrigierbare Fehler gezeigt und ist ausgestiegen. Ist ja kein Datenverlust: Die Daten sind an der Quelle ja noch alle vorhanden. Ich habe das Array gestoppt, unraid shutdown, Festplatte raus, andere Festplatte rein, unraid gestartet. Nun meldet mir unraid im Tab 'Main' Disk5 'no device'. Es weiß noch welche Festplatte dort hin gehört, da es diese mit Seriennummer darunter anzeigt. Wenn ich die neuere Festplatte dort versuche anzumelden, kann ich das Array dennoch nicht starten. Ich kann verstehen, dass unraid sich da etwas bockig zeigt, weil es ja versucht die ursprüngliche Datenintegrität beizubehalten. Aber in diesem Fall will ich wirklich an der Stelle eine andere Platte einsetzen und diese dann eben formatieren und mit den fehlenden Daten befüllen. Wie bringe ich das unraid bei? Muß ich zwingend über den 'new Config'-Weg gehen und alles wieder neu einrichten? Gibt es nicht irgendwo einen Schalter "ja, ich will" und damit übernimmt unraid das so, wie ich es eingesteltl habe? Mehrfaches Neustarten hat bisher nicht geholfen.

Ich glaube diese Funktion im Samsung Magician auch bei meiner 970 Evo gesehen zu haben. Aber da mich das bisher nicht interessiert hatte, habe ich es nicht genauer angeeehn/geprüft: https://www.samsung.com/de/support/memory-storage/welche-funktionen-hat-magician/ ...Over-Provisioning: Verlängern Sie die Lebensdauer Ihrer SSD, indem Over-Provisioning freien Speicherplatz reserviert. Weder das Betriebssystem noch ein Anwender hat Zugriff, so dass dem Controller dieser Platz als "Arbeitsspeicher" immer zur Verfügung steht...

Hallo @mgutt Gibt es Erfahrungen dazu. dass diverse Consumer SSD mit firmeneigener Software den Overprovisioningbereich anpassen können? Beispiel: Man kauft eine ca. 2TB SSD und stellt dort den OVP Bereich so ein, dass 1TB nutzbar bleibt. Dann nutzt man diese SSD als Paritydatenträger in einem Array mit ansonsten 1TB grossen anderen SSD. Dies sollte die Performance doch gleichbleibend hoch und die Datensicherheit vergleichbar einer reinen HDD Nutzung bieten. Oder denke ich da falsch?

Hallo. Ich habe zwar schon etwas im Forum herum gesucht, aber auch wenn 4kn erwaehnt wurde, ging es meist um andere Themen. Deshalb nur kurz gefragt: Kann ich im Array und auch im Pool beliebig 4kn und 512e Datenträger problemlos mischen? Danke für Eure Mühe!

Hallo Allerseits Ich habe es gerade eben noch einmal nachgestellt (neue W10 VM erstellt) und bei diesem neuen Versuch hat Win10 wirklich von selbst kein LAN gefunden. Da muß ich gestern wohl doch noch irgendetwas verändert haben, ohne zu wissen, was ich da mache. Ich bedanke mich für Eure Zeit und Hilfsbereitschaft!

Hallo @JoergHH Herzlichen Dank. Den Weg kannte ich noch nicht. Ich werde es mir merken, für das nächste Mal!

Hallo @ich777 Meine Installation von Windows 10 21H1 64Bit in einer neuen VM auf dem laufenden UnraidSystem mit Mellanox ConnectX3 über die Vorauswahl in unraid hatte schon bei der Installation eine erreichbare Verbindung zu meinem Netzwerk mit Internetzugang, wodurch Windows10 ein MS-Konto 'erzwingen' wollte. Ich musste die Installation dann mit 'force shutdown' in der VM abbrechen, habe sie geloeshct und von vorne begonnen. Aber dnan kurz vor der Stelle den Internet liefernden Router ressettet, da ich nicht lokal vor der unraidMaschine oder dem router sitze, sondern alles per Fernsteuerung (im lokalen LAN) mache. Wie ich in einer anderen Diskussion schon einmal darstellte, bin ich noch am Anfang von Unraid und habe auch diverse der Netzwerkeinstellungen noch nicht so ganz durchschaut. In Unraid habe ich da so eingestellt (1.Bildschirmausschnitt) Und in der VM steht es nun so wie im 2. Bildschirmausschnitt (die Netzwerkeinstellungen waren alle voreingestellt und ich finde keinen weg die fuer den Zeitraum der Installation zu deaktivieren). Ich habe zwar die ISO mit den VirtIO in Unraid bereitgestellt, aber da ich als DiskAnbsindung auf SATA eingesteltl habe brauche ich die so früh bei der Installation noch nicht anzugeben. Ob sich Win10 diese aber für LAN selber zieht, da Unraid diese ISO ja bereitstellt kann ich nicht sagen.

Hallo @mobilfunk-maier Diese Möglichkeit fand ich nicht. Bei der Erzeugung der VM wird immer sofort meine Ethernetverbindung eingetragen und diese zu deaktivieren/ausschalten fand ich nicht. Ich will nur für die Installation (wegen dem lokalen Konto) keien LAN Verbindung. Spaeter hätte ich die schon gerne. Da ich nicht lokal vor der Unraid Maschine sitze habe ich dann während der Installation nun einfach den Router resettet, so dass fuer seien Bootzeit Internet nicht erreichbar war.

Hallo @ich777 Zuerst wollte ich meinen großen Dank für die Arbeit die in dem MFT und der Beantwortung meiner Fragen steckt ausdrücken. Nachdem ich kleinere Klippen umschifft hatte, läuft es nun anscheinend problemlos. Hier eine kleine Bemerkung: Unwissend wie ich war, hatte ich bei der Info zu MFT gedacht, daß ich mir die Original Mellanox Firmware Tools von der Mellanox Webseite herunterladen solle. Doch nachdem ich damit in Unraid direkt nichts anzufangen wusste, habe ich weiter gesucht und da erst bemerkt, daß Du damit das von Dir selbst erstellte Plugin meinst, welches man über die CA bekommen kann. Als ich die hatte und die darin enthaltende Anleitung fand war es dann doch sehr einfach die Firmware zu aktualisieren. Auch dann konnte och erst nachvollziehen, wo die Screenshots mit der Temperaturanzeige her kommen. Danke!

Hallo. Ich mache mich vermutlich jetzt lächerlich, aber ich finde die Option nicht um einer VM die LAN Verbindung zu trennen. Nur der VM. Unraid auf dem Host muß weiter erreichbar bleiben. Ich installiere eine neue Win10 VM. Nun will MS die Einrichtung eines MS Onlinekontos. Ich möchte Win10 aber mit lokalem Konto nutzen. Das läßt sich ja bewerkstelligen indem man bei der Installation die LAN Verbindung zum Internet trennt. Ich finde keine Option im VM Reiter mit dem ich die LAN Verbindung trennen oder später auch wieder verbinden kann.

Nur eine kleine Ergänzung. Ich habe mir für meine PCIe 3.0 x1 Slots ein paar ASM1064 basierte Karten geholt. Die funktionieren auch gut. Natürlich ist die Performance für 4 performante SSD gleichzeitig zu langsam, aber 4 Festplatten sind daran bisher kein Problem. Weil ich zur Zeit kein Testsystem frei habe, habe ich sie noch nicht im Detail durchgemessen. Aber die PCIe 3.0 x1 Datenrate von rund 0,98 GByte/s sollte somit jeder Platte ca. 240MByte/s bieten. Bisher habe ich daran aber nur langsamere Festplatten angeschlossen. Zu Testzwecken habe ich mir auch mal ASM1166 an PCIe 3.0 x1 bestellt. Bin neugierig was da dann übrig bleibt, wenn man 4, 5 und 6 Geräte anschließt. Zu beachten ist übrigens, daß wegen aktueller Probleme (Chip und Transportschwierigkeiten) die Preise in der EU für all diese Kontroller ebenfalls recht hoch sind.

Hallo @ich777 Geklärt wäre meiner Meinung nach das falsche Wort. Ich weis nun aber das, wonach ich gefragt habe. Meine Frage war technischer Natur: Unraid kann einiges anonymisieren und den Rest müßte man von Hand machen. Die daraus erwachsene, aber nicht beabsichtigte Diskussion um Datenschutz generell und die diversen unterschiedlichen Meinungen dazu sind sehr persoenlich und waren nicht meine Intention. "Das Internet vergisst nie"

Hallo. Bisher habe ich in diesem Jahrtauscend eben nur RJ45 verwendet. Und meine vorhandenen MIKROTIK CRS312-4C+8XG-RM, QNAP QSW-M408-4C, Netgear XS708E, S3300-28X und mehrere GS110EMX, ASUS XG-U2008 schlucken schon so einiges. Aber die wegzuwerfen und auszutauschen kostet mehr, als ich in den nächsten 10 Jahren an Strom einsparen würde. Aber da ich bei dem jetzt wohl fast finalen Unraidsystem fuer kleinere Aufgaben auf der Zielgeraden bin kann ich es ja mal bei dem System mit DAC ausprobieren, da das System sehr nahe an mehreren Switchen mit SFP+ steht. Sind eben meien ersten privaten Experimente mit SFP+. Danke So eine habe ich nun auch in der Bucht bestellt. Habe aber erst spaeter hier gelesen, daß es bei den Karten welche mit einem recht hartnäckigem OEM Branding gibt und ggf.auch kein Ethernet voreingestellt ist. Ich hoffe ich bekomme eine Karte, mit der ich recht einfach für diese 'Gehversuche' umgehen kann.

Hallo @ich777 Eigentlich wollte ich nur wissen, wie man die anonymisiert und keine Rechtsdiskussion aufmachen. Nur, weil Du fragst: Eine Seriennummer ist nachvollziehbar. Der Hersteller kennt seine Chargen und der Großhändler die enthaltenenen Seriennummern, der Einzelhändler schreibt die auch auf seine Rechnungen und somit ist es mit entsprechenden Aufwand nachvollziehbar, wenn man beispielsweise per Versand ordert. Einzelhändler, Finanzamt Strafverfolgungsbehören Nein, ich vergesse es nicht. Ich wollte die DSGVO eigentlich nicht ins Spiel bringen, weil LIME ja doch nicht wirklich in der EU sitzt. Aber da Du die EU ansprichst. Stand in der DSGVO nicht etwas davon, daß Datensparsamkeit anzulegen ist und unnoetige Daten nicht gesammelt werden sollen? Und "gerichtliche Erwirkung" ist nicht als "nachvollziehbar" zu bewerten? Der Händler oder Retourenabwickler kennt meine Namen+Adresse+Seriennummer. Mit der Sreiennummer kann er dannind er Dioangnoistoc weitere Daten (Seriennummern) verknüpfen. Was dann wieder weiter gehen kann. Aber ich fragte nur, ob man das weiter anonymisieren kann. Rechtliche Diskussionen gehoeren hier wohl nicht wirklich hin.

Hallo @ich777 Beispielsweise ein Firmwareupdate findet in der Regel fuer eine Type aber nicht fuer eine einzelne Seriennummer statt. Die Typenbezeichnung sollte reichen. Dass jeder eine andere Meinung zum Thema Datenschutz und Datensparsamkeit hat, ist ja nicht neu. Ich fragte ja nur, weil ich mir mal eien Diagnostic genauer ansah. Aber das erklärt, warum die Dateien im shares Ordner komische Dateinamen haben. Ich lerne eben dazu und da schaue ich mir eben auch sowas an und da stellte sich mir die Frage.

Hallo @ich777 Die festplattenseriennummern sind nur ein plakatives Beispiel. Die Beiträge hier sind öffentlich zugänglich. Die Seriennummer kann von diversen Leuten zurückverfolgt werden. Nicht nur auf den Rechnungen, die mir für neue Festplatten zugesendet werden sind diese vermerkt. wohl auch sämtliche Warrantybelege bei mir haben die Seriennummern. Somit könnte beispielsweise ein Händler oder Retourenabwickler hier Zusammenhänge finden. Aber wie gesagt, ist das nur ein Beispiel der vielen Daten. Aufgefallen war es mir anhand des Beitrages wegen der USV.

Hallo. Die erwähnten Seriennummern sind nur ein Beispiel von diversen enthaltenen Informationen, die für eine Analyse weniger wichtig sind. Die Festplatten können ja einfach weiter auch als sdb sdc sde... erkannt werden. Wenn das System dann noch für Kunden zusammengebaut wurde und somit Kundendaten weiter gegeben werden ist es noch einmal eine andere Hausnummer. Sharebezeichnungen mit Realnamen oder Hobbies sind auch nicht unbedingt alle unkritisch. Wie gesagt: Die Seriennummern sind jetzt nur ein Punkt, an dem man es aufhängen kann. Aber die Diagnostic enthält ja noch viel mehr.

Hallo. Ich habe mir diverse Beiträge hier angesehen und mir ist aufghefallen, daß bei Screenshots und Beschreibungen beispielsweise Seriennummern unkenntlich gemacht wurden. Finde ich gut. Datenschutz ist mir auch wichtig. Doch ist mir aufgefallen, daß die unraid Diagnostic ZIP sehr viele solche Informationen enthält. Kann man unraid beim Erstellen dieser ZIP klar machen, dass diese ZIP gerne alles Technische enthalten darf, aber es doch eher unwichtig ist ob eine HDD/SSD/Device die Seriennummer xxxxxxx oder yyyyyyy hat? Oder geht das nicht automatisch und man muß eine solche Diagnostic ZIP eventuell manuell anonymisieren, bevor man sie bei einer Frage hier mit anhängt?

Hallo @guybrush2012 Die 10G Infrastruktur steht und 10G oder mehr ist mir wichtig. Ich werde jetzt nicht alle meine 10G Switche wegwerfen und zurück zu 1G gehen. Mir geht es darum, bei der nun wohl für einige Zeit finale Zusammenstellung eines Unraidsystemes ohne Komfortverlust eben an den eher einfachen Stellen den Stromverbrauch zu senken, da diese Komponenten ja auch 24/7 durchgehend laufen.

Hallo @Max Power Ich nutze dafür eine CLUB3D CAC-1420 Lösung. Geschwindigkeit ist okay, aber die hellen LEDs stören mich. Doch das ist nur eine Frage von Klebeband. Ich kann aber nichts zum Stromverbrauch sagen, da ich das nie gemessen habe.

Hallo @ich777 Ja, anscheinend habe ich da ältere Varianten gesehen und nicht sorgfältig genug gesucht. Ich habe mir mal eine in der Bucht gekauft, dazu noch ein 5m DAC. Mal sehen ob das wirklich so problemlos bei mir läuft, wie es die aktuelle Asus auch macht. Dann habe ich so langsam das Meiste zusammen für meinen 'kleinen' unraid mit VM. Dann kann ich mich verstärt wieder meinem Ziel des riesigen Datenlagers mit unraid widmen. Ich habe heute Nacht/Morgen sowieso einen Arctic P12 ueber die PCIe Slots geschraubt. Der sollte fuer alles einen gewissen Luftstrom schaffen. Danke sehr. Sehr aufschlussreich, wenn man das Intel-Bashing mal uebersieht.

Hallo @jj1987 Ich hatte es zu meiner unraid Anfangszeit (vor ca. 2 Monaten) mit einer TheCus C10GTR (Tehuti RJ45 10000Base-T) porbiert. ich777 war so freundlich mir einen Treiber zusammen zu schrauben, aber ich habe es trotzdem nicht zum funktionieren bekommen. Es mag an mir gelegen haben, aber ich bevorzuge eien Karte, die zumindest aktuell out of the Box laeuft.

Hallo. Diese Nacht habe ich wieder an meinen Testsystemen geschraubt und die Innereien erneut verändert. Da ergab sich, basierend auf diversen Stromsparhinweisen zu der aktuell genutzen ASUS XG-C100C Netzwerkkarte, die Idee es nun doch mal mit SFP+ und DAC zu probieren. Ich nutze 10GBit Ethernet/Lan. Bisher bevorzugt RJ45 1000Base-T. Aber das gilt ja als etwas stromschluckender als SFP+ mit DAC (laut diversen Hinweisen, Diskussionen, Videoanleitungen (Spaceinvader, usw..), und so weiter...). Erwähnt werden an einigen Stellen gebrauchte Mellanox Karten. Leider fand ich auf die Schnelle keine genauen technischen Bezeichnungen und was ich fand erschien mir, als wenn es PCIe 2.0 Karten für x8 Slots sind (konnte ich aber nicht genauer verifizieren). Gibt es Erfahrungswerte oder gar Empfehlungen für SFP+ 10GB Ethernet mit PCIe 3.0 (x8 wäre möglich, x4 wäre mir lieber)? Bevorzugt sehr preiswert. Ich brauche erst einmal nur eine Karte und ein 3 - 5m langes DAC. 10GB Switche mit RJ45 Ethernet und 10GB SFP+ habe ich. Unter unraid benutze wird nach aktueller diverse docker container und Windows VM benutzt. Vielleicht wird auch mal ein VM Linux (Ubuntu oder so in Spiel kommen um mich dann doch da sehr langsam einzuarbeiten). An Hacintosh habe ich kein Interesse. Ich danke für Eure Zeit und Empfehlungen. Edit: Ich habe nun doch diverse Hinweise auf PCIe 3.0 x4 Karten gefunden, aber beispeilsweise Mellanox ConnectX-3 sollen doch recht warm werden. Geht es stromsparender?