Unraid als reinen Docker und VM Server nutzen


Jack8COke

Recommended Posts

Hallo Zusammen,

 

ich habe bei mir aktuell unraid als reinen Docker und VM Server am laufen. Bedeutet dort werden nicht meine wichtigen Daten abgelegt. Unraid läuft auf einem ausrangierten Notebook Mainboard. Dort ist leider nur ein SATA und ein NVME Anschluss. NVME ist bereits von dem google coral TPU für die surveillance Aufgabe belegt (Docker: Frigate). am Sata Port habe ich ein 1TB Samsung SSD die ich als Cache angebunden habe. Zusätzlich habe ich noch eine 14TB hdd für die Aufnahmen und paar andere nicht so wichtige Daten angebunden. Ansonsten gibt es keine weiteren Anschlüsse um HDDs für die parity anzuschließen. Was ich eigentlich auch nicht möchte, weil das zusätzlich Strom verbraucht. Also habe ich einen usb Stick ins Array gelegt, um das System zu starten. Ich habe dadurch natürlich auch den parity check ausgemacht und das System läuft so seit ca. 1 Monat ohne Probleme. Ich frage mich nur, ob durch den fehlenden regelmäßigen parity check zeitnah die Daten auf dem Cache (Docker + VM) korrupt werden. Ich sichere natürlich die Applikationen und VMs regelmäß auf meinem Datenserver (Truenas).

Dieser Aufbau ist sicherlich mit unraid so nicht gedacht. Ich möchte jetzt ungern einen normalen Linux Server (bspw. Ubuntu Server) aufsetzen und das ganze bspw. per Portainer aufbauen und verwalten. Ich habe mich an die einfache Einstellung und Verwaltung von Docker und VMs bei unraid gewöhnt und würde gerne dabei bleiben. Wenn ich nur mit dem Cache arbeite, sollte es doch eigentlich genauso sein wie eine single disk mit jedem anderen System oder?

 

Gruß

Link to comment
34 minutes ago, Jack8COke said:

Also habe ich einen usb Stick ins Array gelegt, um das System zu starten. Ich habe dadurch natürlich auch den parity check ausgemacht und das System läuft so seit ca. 1 Monat ohne Probleme. Ich frage mich nur, ob durch den fehlenden regelmäßigen parity check zeitnah die Daten auf dem Cache (Docker + VM) korrupt werden.

Parity gibt es nur auf dem Array und nicht auf dem cache (pool).

Mit nur einem LW im Array gibt es auch gar keine Parity, die man checken könnte ;-)

Wenn Du nur eine SSD im Cache-Pool hast, hast Du keine Redundanz...da solltest Du regelmässig Backups machen.

Je nach SSD siehts Du in den Smart-Werten auch, wie der "Verschleiss" ist....da würde ich nicht so nah an die letzten 20% gehen ;-)

Aber eine 1TB SSD muss lange "bewirtschaftet" werden, bis man da was merkt. Ich hatte vor dem Umzug auf NVMe einen Pool aus 2x120GB SSDs...die waren - weil kleiner und geringere TWB -  bei Auslastung von 30% (35-40GB in use) nach 2 Jahren auf 75% runter.

 

Link to comment
2 hours ago, Ford Prefect said:

Parity gibt es nur auf dem Array und nicht auf dem cache (pool).

Mit nur einem LW im Array gibt es auch gar keine Parity, die man checken könnte ;-)

Wenn Du nur eine SSD im Cache-Pool hast, hast Du keine Redundanz...da solltest Du regelmässig Backups machen.

Je nach SSD siehts Du in den Smart-Werten auch, wie der "Verschleiss" ist....da würde ich nicht so nah an die letzten 20% gehen ;-)

Aber eine 1TB SSD muss lange "bewirtschaftet" werden, bis man da was merkt. Ich hatte vor dem Umzug auf NVMe einen Pool aus 2x120GB SSDs...die waren - weil kleiner und geringere TWB -  bei Auslastung von 30% (35-40GB in use) nach 2 Jahren auf 75% runter.

 

Kannst du mir sagen auf welche Werte ich da genau achten sollte? Ich habe soeben einen SMART extended self-test durchgeführt. Als TBW sind ja bei der Samsung 860 EVO 600TB angegeben. Wenn ich mir dazu den Wert Logical Sectors written mit 25TB noch sehr weit weg. Aber es gibt sicherlich noch andere interessante Werte. unraid sagt "

Completed without error"

 

 

tower-smart-20211217-1411.zip

Link to comment
On 12/17/2021 at 10:56 AM, Jack8COke said:

NVME ist bereits von dem google coral TPU für die surveillance Aufgabe belegt (Docker: Frigate).

Darf ich fragen welchen TPU du hast, Dual Edge?

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Zusätzlich habe ich noch eine 14TB hdd für die Aufnahmen und paar andere nicht so wichtige Daten angebunden.

Wo hast du diese Festplatte dran bzw. wie hast du die eingebunden? Könntest du eventuell deine Diagnostics posten?

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Ansonsten gibt es keine weiteren Anschlüsse um HDDs für die parity anzuschließen.

Hat der Laptop denn kein DVD Laufwerk gehabt, wenn doch gibt es Breakout Kabel von diesen kleinen SATA auf normal.

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Ich habe dadurch natürlich auch den parity check ausgemacht und das System läuft so seit ca. 1 Monat ohne Probleme. Ich frage mich nur, ob durch den fehlenden regelmäßigen parity check zeitnah die Daten auf dem Cache (Docker + VM) korrupt werden.

Wie @Ford Prefect wenn nur eine Disk drin ist gibt es keine Parity und die Parity kann nicht korrupt werden, auf einer einzelnen Platte kann immer was korrupt werden, bitte beachte auch das dich der Parity Check auch nicht vor Bit Riot schützt.

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Ich sichere natürlich die Applikationen und VMs regelmäß auf meinem Datenserver (Truenas).

Wenn du das machst, regelmäßig, dann brauchst du auch keinen größeren Datenverlust fürchten.

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Dieser Aufbau ist sicherlich mit unraid so nicht gedacht.

Puh, sag das mal nicht, es gibt noch ein paar wildere konfigurationen die ich schon gesehen bzw. drüber gelesen hab... :)

 

On 12/17/2021 at 10:56 AM, Jack8COke said:

Wenn ich nur mit dem Cache arbeite, sollte es doch eigentlich genauso sein wie eine single disk mit jedem anderen System oder?

Ja, ich würde aber ehrlich gesagt die 14TB in einen eigenen Cache Pool oder sogar ins Array legen, ins Array deswegen weil du sowieso keine Parity hast und somit die Schreibgeschwindigkeit nicht gedrosselt wird durch die Parity und dir damit wiederum den USB Stick im Array sparen würdest.

Pass aber auf das deine Shares dann auf "Use Cache" "Only" steht, damit die Daten für die VMs und Docker nicht auf das Array verschoben werden.

 

On 12/17/2021 at 2:20 PM, Jack8COke said:

Kannst du mir sagen auf welche Werte ich da genau achten sollte? Ich habe soeben einen SMART extended self-test durchgeführt. Als TBW sind ja bei der Samsung 860 EVO 600TB angegeben. Wenn ich mir dazu den Wert Logical Sectors written mit 25TB noch sehr weit weg. Aber es gibt sicherlich noch andere interessante Werte. unraid sagt "

Completed without error"

Du brauchst dir meiner Meinung nach nicht wirklich Sorgen machen wenn du wie gesagt ständig sicherst und keine Fehlermeldungen bekommst.

 

Ich würd den Cache aber in XFS und das Array ebenso in XFS formatieren (BTRFS macht anscheinend auf manchen System Probleme, kann ich aber nicht bestätigen).

Link to comment
On 12/20/2021 at 9:20 AM, ich777 said:
Quote

Darf ich fragen welchen TPU du hast, Dual Edge?

Ich habe den M.2 Accelerator B+M key. Also nicht den dual, ich glaube der kam erst später. Aber läuft soweit auch sehr gut mit Frigate. Da ich damit mein privates Grundstück überwache und es dort eher selten vorkommt, dass alle Kameras gleichzeitig Bilder zur Analyse an die TPU schicken, hat die Coral TPU auch nicht dauerhaft sehr viel zutun. Zumindest ist mir da bisher keine länger anhaltende Überlast aufgefallen. Über dem m.2 slot ist noch ein weiterer Slot für einen wifi chip vorgesehen. Wenn ich es richtig verstehe, sollte da der Coral M.2 Accelerator A+E key drauf gehen. Aber da der Coral bei mir in Verbindung mit einem Nuc schon einmal Überhitzungsprobleme hatte, traue ich mich nicht, eine nvme + coral übereinander zu stapeln. Irgendwie wäre eine nvme aber auch zu Schade, weil das Board sowieso nur 1GB Netzwerkanbindung hat.

 

Quote

Wo hast du diese Festplatte dran bzw. wie hast du die eingebunden? Könntest du eventuell deine Diagnostics posten?

Die Platte ist per USB 3.0 über ein externes Festplattengehäuse angebunden, da ansonsten nichts mehr frei ist. Diagnostic habe ich angehängt. 

 

Quote

Hat der Laptop denn kein DVD Laufwerk gehabt, wenn doch gibt es Breakout Kabel von diesen kleinen SATA auf normal.

Leider nein

 

Quote

 

Ja, ich würde aber ehrlich gesagt die 14TB in einen eigenen Cache Pool oder sogar ins Array legen, ins Array deswegen weil du sowieso keine Parity hast und somit die Schreibgeschwindigkeit nicht gedrosselt wird durch die Parity und dir damit wiederum den USB Stick im Array sparen würdest.

Pass aber auf das deine Shares dann auf "Use Cache" "Only" steht, damit die Daten für die VMs und Docker nicht auf das Array verschoben werden.

 

Ich meine irgendwo gelesen zu haben, dass Platten die per usb angebunden sind, besser nicht in den Pool sollten. Kann sich ja mal warum auch immer trennen und dann kann es den gesamten Pool zerschießen?

 

Quote

Ich würd den Cache aber in XFS und das Array ebenso in XFS formatieren (BTRFS macht anscheinend auf manchen System Probleme, kann ich aber nicht bestätigen).

Ok dann muss ich wahrscheinlich aber alles einmal löschen und von einem Backup neu einspielen richtig? Ein Wechsel ist ohne Formatierung wahrscheinlich nicht möglich.

Ich denke ich werde erstmal weiter fleißig wöchentlich Backups auf meinen Truenas Server spielen und schauen, ob und wann unraid aussteigt 🙂

So läuft es aber bisher sehr gut. Ist schön kompakt, leise und stromsparend und dank dem i7-8565U lässt sich ohne weiteres die ein oder andere VM auch mal parallel starten ohne das das System direkt überlastet ist. Für meinen Anwendungsfall eigentlich optimal. Bei mir verändern sich die Daten nicht täglich und auch nicht gravierend. Wenn das System mal abschmiert und ich die Daten von 1 Woche verliere, wäre das überhaupt nicht tragisch. Deshalb will ich eigentlich auch nicht mehrere 3,5 Zoll Platten 24/7 in meinem System haben, auch wenn sie in den Standby gehen, verbrauchen sie Strom. 

 

 

tower-smart-20211222-1835.zip

Link to comment
Just now, Jack8COke said:

Über dem m.2 slot ist noch ein weiterer Slot für einen wifi chip vorgesehen. Wenn ich es richtig verstehe, sollte da der Coral M.2 Accelerator A+E key drauf gehen.

Exakt.

Nur rein interessehalber wieviele bilder schickst du dort hin 5FPS pro Kamera sollten doch reichen und die TPU kann 100+ FPS im Normalfall.

Wenn du da wechselst gibt es Adapter dafür, sogar für den A+E Key gibt es SATA Adapter, hab ich schon erfolgreich getestet: Klick oder Klick oder Klick (je nach dem Key und natürlich auch für richtige M Key Solts)

 

Just now, Jack8COke said:

Aber da der Coral bei mir in Verbindung mit einem Nuc schon einmal Überhitzungsprobleme hatte

Wieviel Grad bekommt die TPU denn bei dir, ich hab jetzt in der Plugin page eingebaut das du die Temperatur siehst der ersten 4 TPUs im System.

 

Just now, Jack8COke said:

Ich meine irgendwo gelesen zu haben, dass Platten die per usb angebunden sind, besser nicht in den Pool sollten. Kann sich ja mal warum auch immer trennen und dann kann es den gesamten Pool zerschießen?

Jein, die Antwort ist womöglich, kann aber bei so SATA Controllern auch passieren, aber normalerweise hilft dann:

  1. Nicht in Panik geraten
  2. unRAID rebooten
  3. Dann kann man noch immer hier posten falls unRAID was nicht passt
Just now, Jack8COke said:

Ok dann muss ich wahrscheinlich aber alles einmal löschen und von einem Backup neu einspielen richtig? Ein Wechsel ist ohne Formatierung wahrscheinlich nicht möglich.

Wechsel ist nicht möglich nein.

Link to comment

  

Quote

 

Exakt.

Nur rein interessehalber wieviele bilder schickst du dort hin 5FPS pro Kamera sollten doch reichen und die TPU kann 100+ FPS im Normalfall.

Wenn du da wechselst gibt es Adapter dafür, sogar für den A+E Key gibt es SATA Adapter, hab ich schon erfolgreich getestet: Klick oder Klick oder Klick (je nach dem Key und natürlich auch für richtige M Key Solts)

 

 

Ich habe 5 FPS genommen und nehme für die Analyse auch den etwas schlechteren Substream. Wird ja auch überall im Netz so empfohlen.

 

 

Quote

Wieviel Grad bekommt die TPU denn bei dir, ich hab jetzt in der Plugin page eingebaut das du die Temperatur siehst der ersten 4 TPUs im System.

 

Mit dem Nuc konnte ich das nicht mehr auslesen. Scheinbar hat entweder der Nuc oder der Coral eine Sicherheitsfunktion integriert und steigt vorher aus. Deine Page hat dann unter Status: Not Alive angezeigt. Also als ob kein Coral im System ist. Ich musste dann erst neustarten und kurze Zeit später ist er wieder ausgestiegen. Mit dem Laptopsystem gibt es überhaupt keine Probleme. Ich habe das bei dem Nuc auch überhaupt nicht verstanden weil er immer sofort nach ein paar Sekunden ausgestiegen ist, egal ob da gerade Bilder zu Analyse waren oder nicht. Irgendwie haben sich der Nuc und der Coral einfach nicht vertragen.

 

image.thumb.png.745ee7d35a0ce03d95eec64640fa4273.png

 

Edited by Jack8COke
Link to comment
31 minutes ago, Jack8COke said:

Ich habe 5 FPS genommen und nehme für die Analyse auch den etwas schlechteren Substream. Wird ja auch überall im Netz so empfohlen.

Genau, damit kannst du eigentlich viele Kameras abdecken...

Die Temperatur ist noch mehr als in Ordnung.

 

Ich hab die Temperaturen für Trottling usw ein wenig gesenkt eben genau aus diesem Grund und da die meisten vergessen das sie ausreichende Kühlung montieren...

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.