ullibelgie

So - leider konnte ich mich nicht mit neuen Erkenntnissen melden, da der Unraid Server z.Zt. wegen der HDD-Wechsel runtergefahren ist. Vielen Dank für die vielen Hinweise. Ja, ich habe eben zunächst einfach die USB Platte in den USB-Stecker vom Unraid Server gesteckt (die Platte hat ein eigenes Steckernetzteil) und mit dem Unraid unassigned Disk Plug-in einen pre-clear ausgeführt... (es muss doch der destuctive Mode eingeschaltet gewesen sein, sonst hätte das doch gar nicht geklappt ?!?) Ich kann jetzt nicht nachschauen, aber soviel ich weiss, schmiss das Syslog vor allem I/O Errors raus und als dass dann nicht aufhörte ist nach ein paar Versuchen die Platte eben mit Error gestoppt. Dann habe ich erstmal alle Kabel gecheckt... auch Sata-kabel intern usw... teilweise ausgewechselt... Habe sogar im BIOS eine Funktion eingeschaltet womit (nach Angabe von Supermicro) der Takt des Servers so beeinflusst wird, das weniger EMC Probleme entstehen... Gestern habe ich alles mit einer zweiten Platte versucht - schliesslich ist es mit gelungen eine XFS Formatierung zu machen (also pre-clear und dann XFS formatiert) Danach einen Foto-Folder mit rsync script versucht zu kopieren/backup zu machen... Nach 10000 Fotos war schluss und Backup gecrashed.... wieder wegen I/O Fehlern.... Ich kann den Computer doch nicht in Schrauben, Muttern und Unterlegscheiben zerlegen um herauszufinden welche Leitung verstopft ist... Jedenfalls sind die Platten höllisch lahm (Intern Hitachi) Beim pre-clearen war am Anfang mit ca 25-30MB/s noch Hoffnung... aber gegen Ende ging das dann deftig runter.... Die Seagate Exos 12TB ist beim Pre clearen bei 30% noch mit 240MB/s unterwegs... Kann es sein, dass die Platten einfach zu langsam sind ? Ich werde auch mal versuchen, den USB controller im BIOS aus dem Legacy mode zu entlassen - dann kann der nur USB 2 und nicht mehr den alten Mode 1 - der Server ist ja schon sehr alt.... und damals... kann mich gar nicht mehr erinnern.....lol Syslog von gestern habe ich aber leider nicht mehr, da der Server heute Nacht ausgeschaltet war - heufe früh kam der Postbote mit den neuen Platten und da hab ich die USB-Dinger erstmal an die Seite gestellt, damit ich so schnell wie möglich das Array wieder starten kann. Der Server hat nur 4 HD-slots - wenn ich 2 platten wechseln will und erst pre-clear machen will muss ich zwangsläufig das Array stoppen.... bis neue Parity und Datadisk 'verdaut' sind... dann kann ich mich den USB Platten wieder zuwenden. Dann melde ich mich mit neuen Einzelheiten... Heute morgen nur mal eben getestet, was mein Ubuntu PC zu der XFS Platte sagt, die gestern die Foto-Backups abgebrochen hat.... XFS Filesystem prima in Ordnung ! Es ist also irgendein Ubertragungsproblem, was Arger macht. Hat aber wohl mit der Hardware im Unraid server zu tun.... nur ist da wirklich nix besonderes drin - Der USB port ist direkt auf dem Board, und trotzdem IO Errors...

Ich möchte gerne lernen, wie ich mein Home-Netzwerk einrichten muss, um so sicher wie möglich Backups machen zu können. Volgendes habe ich mir ausgedacht (Vorsicht Anfänger!): Im Haushalt gibt es verschiedenste Netzwerkteilnehmer: - windows PCs - Android Telefone - Linux PC - IoT devices (auf Linux Basis) Ich möchte nun realisieren, dass der Unraid server ausschliesslich benutzt werden kann zu: - Files lesen - Files vom Client zur Archivierung im Unraid Array auslagern (Backup von Daten von den Clients, Android telefon (z.B. Fotos von unterwegs), Linux PC) - Backup der wichtigsten Unraid Daten (application files und anderes) auf einem der Linux PCs als zweite Kopie. Habe dort Festplatten, die ich im laufenden Betrieb rausziehen kann und wegpacken (Supermicro SC-743TQ-B Workstation) - eine bessere Alternative als die externen USBs, die nicht nur langsam sind sondern auch viel Probleme bereiten (dazu demnächst in einem anderen Thread) Die Idee von der Netzwerk Konfiguration ist, das alle Clients immer Ihre Daten zunächst für sich behalten, bis diese nur 1x täglich von Unraid zur Archivierung abgeholt werden (ohne Schreibrechte auf dem Client PC) . Zusätzlich sollen mit dem rSync script von MGutt auch regelmässig Sicherungskopien von Unraid gemacht werden und zwar auf Anfrage von dem Supermicro Linux-Client. Der Linux Client liest dann die Daten mit "nur Leserechte" vom Unraid runter, ohne das irgendwelche Manipulationen op dem Unraid Server möglich sind. Dadurch daß auf dem ganzen Netzwerk niemand Schreibrechte auf einem anderen PC hat als auf seiner eigenen Festplatte, wäre das ein halbwegs wasserdichtes System.... wenn man Ausnahmen vermeiden kann. Soweit die Idee... Macht das Sinn ?! Das Problem ist nur leider, daß ich auch mit viel Lesen im Internet (und verbliebenem Gehirnschmalz) keinen blassen Schimmer habe, wie man das konkret realisiert! Nehmen wir den Linux PC als konkretes Beispiel: Wie erreiche ich, das Unraid mit Leserechten zur Archivierung vom Linux-PC Daten einlesen kann (sicherungskopie Client im Unraid Array) Und umgekehrt wie erreiche ich, das der Linux-PC nur mit Leserechten vom Unraid Server bestimmte Folder mit dem rsync Script vom MGutt abliest und auf einer grossen HDD als Unraid Backup ablegen kann ? Was muss ich in Samba einstellen, damit das System wie oben geschildert wasserdicht ist und bleibt... Wenn ich das für dieses Beispiel mal verstanden habe, gelingt es mir wohl hoffentlich auch von den Windows PCs und schliesslich auch von den Android telefonen ? Man koennte Daten von den phones auch erstmal in einen PC folder laden und dann am Abend oder Nachts vom Unraid abholen lassen zur Archivierung. Ansonsten verbringe ich jetzt die Zeit mit Samba Büchern.... lol... leider verstehe ich nur wenig davon.

HDDs sind geliefert und schreiben Nullen mit pre-clear im unassigned disk plug-in Wettrennen: Seagate X16 12TB gegen Western Digital Red pro 4TB Beide HDDs sind trotz meines uralt-Systems mit nur 4GB Ram erstaunlich schnell - Seagate bei 240MB/s, Western Digital bei 225MB/s nach ca 30%... Jetzt ist es erstmal abwarten und Tee trinken....

Für erste Backup's mit MGutt's scripts würde ich gerne vorhandene externe Lacie USB-1TB Platten verwenden. Auf dem PC habe ich die Platten leer gemacht. Nach vielen Stunden pre-clear wollen die Platten aber nicht akzeptieren, das die neue Partition in XFS formatiert werden soll... Ich bekommen immer FAIL... Ich habe das ganze dann anstatt mit dem Unassigned Plug-in im Server dann auf meinem Ubuntu Rechner versucht . Auch hier gab der Versuch die Partition mit XFS zu beschreiben sofort Abbruch. Was ist hier die Ursache und gibt es Abhilfe ? NTFS führt leider bei dem MGutt-Backup-Script (Vers 0.6) zu Problemen, weswegen ich gerne ein native Unraid File-system verwenden wollte. Das NTFS Filesystem macht keine Incremental Backups, sondern schreibt alles wieder "in voller Länge" nochmal.... das will ich vermeiden... Aber XFS Formatierung funzt nicht. Ist die Bedingung möglicherweise, daß man die Partition nicht (bei einer 1TB platte) 1TB machen darf sondern einen mehr oder weniger grossen "Rest" lassen muss.... sagen wir 3GB... leer lassen ? Ich habe nämlich 1 Partition von der Grösse der ganzen Platte gewählt... Habe die Platten vorab zig Stunden pre-clear machen lassen.... hilft nicht. Mit NTFS arbeiten die Platten allerdings gut... nur hilft mir das nicht weiter als Backup Lösung. Hat jemand ein "Spezialtool" wie ich den Platten Ihre Microsoft NTFS "Süchtigkeit" austreiben kannen - sozusagen einen Software - "Ausklopfer"???? Danke P.S.: vielleicht ist da von Lacie irgendwas drauf, was das Formatieren in anderem Format als NTFS verhindert ? Das war auch ein Grund, warum ich erstmal davor zurückschreckte solche externen Platten auszuschlachten für die interne Verwendung im Server...

Ja genau - die Platte habe ich vorgesehen als Parity in der 12TB Variante Die wird bei uns inzwischen unter 300 Euro angeboten (incl. 21% MwSt) Es wird eben besonders auch bei der Parity Disk wichtig, dass die nicht in den nächsten 5 Jahren "den Verkehr aufhält" Aber wie gesagt eben nicht sooooo kritisch bei mir. Und die WDpro's sind offenbar alle auch CMRs...

Ich brauche sehr dringend Ersatz und habe deshalb heute eine Bestellung gemacht. Meine vollste Data-disk macht jeden Tag exponentiell mehr Write Errors und ich habe den Server deswegen heute schon ausgeschaltet, da ich nicht möchte das die Platte vor dem Wechsel bereits ausfällt. Die 1TB platte wechsele ich gegen eine Exos 12Tb (habe im Internet nix gefunden zu SMR für den Typ. Die kaputte 1TB Data Platte wechsele ich in eine 4TB WD red pro - sind die Pro denn auch SMR ? Habe dazu nix gefunden - offenbar aber so gut wie alle nicht pro- Reds Ansonsten habe ich mal wieder Anfänger-Pech und die Auswahl war hier auch nicht so riesengross... Es sind ubrigens keine externen Platten. sondern Hardware fuer den direkten Einbau Der Preis Unterschied ist weniger als 10% und der Nachkauf war eher dringende Reperatur als normales Upgrade. Ich werde dann mal schauen ob es irgendwann grosse externe irgendwo im Angebot gibt, wo sich das Ausschlachten wirklich lohnt - man muss ja auch bedenken, daß die Garantie erlischt und als Newcomer... Ich muss dazu sagen, dass ich praktisch kaum zeitkritische App's habe (Kein Video-Mediaserver, sondern Fileserver und ein ganz kleines bisschen Datenbank - paperless ng und Calibri eben) - Mit Video oder gar Spielen, etc wäre hier ja lange Sabbat mit dem Supermicro von 2008... Erstmal Erfahrungen sammeln und dann mit mehr Sachverstand später (wenn wieder Budget ist) was richtiges.... aber wir älteren Herrschaften sind nicht so die Gamers... Ich habe übrigens einige Tests gemacht mit Deinem Backup script... dazu werde ich aber im Englischen Teil im 'incremental Backup" Post noch was schreiben... Danke für die Antworten...

Ich höre, daß manche Leute auf die Idee gekommen sind, um aus externen USB Harddisks (ab 4 TB) die HDDs auszubauen, um diese dann als Data oder gar als Parity Disk im Unraid server zu verwenden. Man soll dadurch die gleichen Produkte viel preisgünstiger erwerben.. Da ich dringend meine Parity Disk (z.Zt 1Tb) und auch mindestens eine Datadisk (1Tb) gegen grössere Disks wechseln möchte, wäre ich für TIpps dankbar. Was ist von der Idee zu halten die HDDs aus ext. Disks auszubauen ? Weiss man was da wirklich für Harddisks drin sind ? Gibt es aktuelle Angebote ? Wenn man so einen Ausbau machen will - welche externe Platte sollte man dann kaufen, um halbwegs sicher zu sein, was da drin ist ? Danke für Infos.

Inzwischen habe ich zum Glück mein Array wieder reparieren können: werde mich jetzt um die Backups kümmern und dann so schnell wie möglich grössere Parity Disk rein und die zweifelhafte Disk 1 auswechseln...

I found indeed for some reason the I/O settings in BIOS was set to AHCI disabled. I don't know, if this was set ealier to enabled or not, when installing Unraid. Additionally I found (with AHCI disabled mode) that when I changed the cables to use different SATA ports on the X7DVL-e Motherboard different HDD got disabled. But as I managed to get 2 (out of 3) data disks enabled plus one parity drive, I was able to repair the XFS file system with the steps explained in the unraid wiki (look in the manual under trouble shooting) After that I could also mount the remaining 3rd data disk Then the rebuild process started... It looks to me, that the rebuild process was successful (look at the screenshot below) However there were 180 errors of a different data disk! Are these new errors ? Or errors which occurred sometimes during the total life time of the HDD - even years ago, when I started to use it in my old windows machine. Total lifetime is now almost 1600h Better to exchange the disk 1 ? As my parity disk is also only 1Tb... better to buy a bigger parity drive also for the future possible expansion... Many thanks for the people who helped me with this problem.

Thanks for replies ! Indeed I do not think, that there is any fault of the HDD's itself, but the Sata-controller (on motherboard) Because by using different sata ports on the Supermicro X7DVL-E board for the 4 HDDs, I could manage to see 3 disks in the array - so only one missing. However the fourth disk I cannot get visible. The check routine of Unraid to check the file system doesn't repond anything.... I guess, because of a hardware fault of the Sata controller itself - so there is no data connection at all to the missing 4th HDD. I will tomorrow check, if I see anything strange in the BIOS - I thought I had enabled AHCI... Will check it tomorrow, after a good sleep..... many thanks. If I cannot find anything, I think I have a broken motherboard and I simply need to build new hardware. In that case, I will keep the HDDs to transfer everything on the new hardware, when it is ready.... however it will be hard to find budget immediately for a new server...but that is a different story.

Hallo Marc, Danke für die schnelle Antwort - deutlich! Leider habe ich jetzt aber ein ganz anderes fundamentales Problem: hier: und bei der Vorbereitung der Backup versuche heute vormittag: Es scheint als ob ich hier am laufenden Band die HDDs schreddere..... aufräumen hatte ich mir leider anders vorgestellt. Es wird also noch eine Weile dauern bis ich Dein rsync script weiter verwenden kann... Unraid ist jetzt erstmal komplett down mit dem vielen HD-crashs von heute Beste Grüsse..

I rebooted the Unraid server - the failed disks do not even appear in Unassigned disks any more: However I can see them as missing in the array: Is there a realistic chance to recover the data on disk2 and disk 3 ? They could not be mounted earlier and now disappeared. What should be the next step ? Some sort of checkdisk outside of Unraid ?!

As I have 2 (out of 3) array disks failing, the array configuration is signed invalid and I cannot restart it in maintenance mode. According to the 'lost array configuration' advice in the Unraid wiki https://wiki.unraid.net/Manual/Troubleshooting#Lost_Array_Configuration the data should not be lost. I also have a flash drive back-up from some hours ago, with no re-assignment of disks Also I still have a parity disk, which is not disappeared... So because I still have the parity disk and the recent flash back-up, is there are more easy, but still save way for recover the both disks and rebuild the array configuration, so I can start it up (in maintenance mode to check file systems of the two disks) Screenshots of the array from UD main page attached. Thanks for help

As a new user of Unraid, I was busy to build my server with all the data... finally it is finished for a couple of days and I am now about to make my first backup: - 1 parity disk (1Tb) - 3 Array HDDs (1Tb each) about 55% of space used by data No Cache drives or any pools Apps : Paperless ng, Calibri But now I have a fundamental problem: 2 of the data disks are suddenly unmountable only one disk remaining plus the parity disk So most of the data not accessible.... I have found some information in the Unraid Docs https://wiki.unraid.net/Manual/Troubleshooting#Unmountable_Disk.28s.29 However what to do, if not only one, but two disks become unmountable (2/3 of all data ) Any advice, what to do to recover the data ? Thank you Diagnostic file attached... tower-diagnostics-20210807-1443.zip

Here is the Diagnostics file: Diagnostics.zip

Noch ein Zusatzfrage zu dem tollen Back-up script von MGutt: Wie Marc angibt, möchte ich das Script über das User-script Plug-in ausführen. Das hat ja den Vorteil, das man verschiedene Backups machen kann und dann einfach nur die vorkonfigurierten Scripts wählen muss. Jetzt frage ich mich aber, wie ich das Scheduling von dem Plug-in einstellen muss - das ist ja auch für beliebige andere Scripts zusätzlich zu Backup's hilfreich: - im Code von Marc ist ja das tägliche/wöchentliche ... Zeitschema schon realisiert. - Wie muss ich dann das User-script Plug-in einstellen damit der im Script von Marc codierte Zeitplan nicht durcheinander kommt oder gar ausgeschaltet wird ? - irgendwo gab es auch mal einen TIp, wie man die Urzeit für die täglichen Backup's einstellen kann - wie funktionierte das dann nochmal ?! Danke...

Hallo zusammen, nachdem ich im englischen Teil des Forums den Experten schon auf den Keks gegangen bin mit meinen Anfängerfragen melde ich mich auch hier mal.... (alle Mann in Deckung...lol) Aber erstmal ein Kompliment (auch) and die deutschsprachige community - ausgezeichnet was Aktivität und Qualität betrifft... Folgendes: Ich bin am Anfang meines Serveraufbaus und will nun mein erstes Backup machen mit dem Script vom Marc Gutt. Ich habe gelesen, daß es notwendig ist auf dem Zielrechner sogenannte Unix-Extensions installiert zu haben, weil sonst das Script nicht funktioniert - ist das richtig ? Ich will zum Anfang erstmal das Script testen mit kleinen Foldern und uber SMB von Unraid auf eine HDD eines anderen Rechners ubertragen mit rsync Der andere Rechner hat ein Ubuntu 20.04LTS installiert Was sind die Unix-extensions die ich da noch auf dem Ubuntu-client installieren muss ?! Im Internet habe ich unter "Unix-extensions" nix gefunden.... Oder habe ich was missverstanden und ich brauche gar nix weiter zu installieren ? Die Zielplatte im Ubuntu Rechner hat ext4 Fileformat (frisch formatiert) Schönen Gruss...

It seams, I need to be more patient...hi As I wrote my previous post, the formatting seemed to be repaired ?! I could also mount the USB disk now The log shows now: So , I believe the issue is solved and I can start the backup on this USB disk , right ? Can someone explain to me what happened before - why the format procedere throwed the alert pop-up "FAIL" before?

While preparing for a backup, I pre-cleared a 1Tb external USB-Harddisk with unassigned disk plug-in After 18hours it was finished successfully... Now I format the disk XFS with unassigned disk plug-in - however after short time a "FAIL" pop-up window appears and the UD-log shows: ------------------------------ FS: xfs /sbin/xfs_repair -n /dev/sdf1 2>&1 Phase 1 - find and verify superblock... bad primary superblock - filesystem mkfs-in-progress bit set !!! attempting to find secondary superblock... ----------------------------- It already runs for half an hour... What to do ? just wait .... The number of reads and writes is still growing - so there is something running in the background.... Thanks for advice

Yes, indeed - mounting is not automatically process - it needs manual click... may be there is something wrong with the old shared folder... will check the syslog... I think it works now ! "Waiter, could you please bring two more beer for the experts how helped me..." .....;-)

Now I found the following: - the original shared folder "backup' can be SMB imported with green dot, but not mounted - I made additional folder 'another' which can also be Smb imported with green dot and also mounted.... So the newly written folder another works perfectly - I have just tried that... Difference: 'backup' contains zip-file of a database 'another' contains only simple txt file I have no problems to erase 'backup' folder, as it was only a test with a just formatted FAT32 disk on the Ubuntu server... But why this happened ? I have no idea...

whow, this works indeed: input manually the Ubuntu-client IP-adress: 192.168.1.120 then input smb user registered at the Ubuntu-client then input passwd for that user then manually input the shared folder name.... Bingo! A green smb unassigned disk shows up However it cannot be mounted....;-( response from the UD-terminal: root@Tower:~# cat /var/state/unassigned.devices/ping_status.json {"ON5KQ-X8DA3":{"timestamp":1628176963,"no_pings":0,"online":"no","changed":"no"},"192.168.1.120":{"timestamp":1628178231,"no_pings":0,"online":"yes","changed":"no"}}root@Tower:~#

here is the result from UD-terminal: root@Tower:~# cat /var/state/unassigned.devices/ping_status.json {"ON5KQ-X8DA3":{"timestamp":1628176963,"no_pings":0,"online":"no","changed":"no"},"192.168.1.120":{"timestamp":1628177166,"no_pings":0,"online":"yes","changed":"yes"}}root@Tower:~# ^C I used both: At first tried at first with just the found servername... - no shares could be found from the wizard Then I tried again with the IP-adres 192.168.1.120 (the Ubuntu-client) - at least the $print share could be found at the end, but not the shared folders.... see above result from terminal

just rebooted Try to call the unassigned (and shared) Ubuntu disk.... Unfortunately - no change... UD sees the Ubuntu machine - I log in with the smb username and password (different than passwd of local machine user) - then domain (I leave that open) then shares...... UD cannot find any share. Windows 10 finds the share immediately and can open the folder Greyed out in Unraid... Are there perhaps other issues within unraid, which might be misconfigured ?

Just to clearify: In Unraid settings I have Enabled smb with YES (workgroup) but disabled NetBios, as I only want to use SMB 2 or later... I have WSD enabled Dotfiles and MacOS is disabled (no Apple in house...hi) Under workgroup settings Local master is Yes.... Ok - now rebooting Unraid...