Mittlenick Posted April 14, 2021 Share Posted April 14, 2021 (edited) Guten Tag zusammen, Ich kenne mich mit Unraid Null aus, daher brauche Ich mal eure Expertise. Aktuell habe ich hier als Hardware: Gehäuse: Fraktal Define R5 CPU: Intel Xeon 1230v3 Mainboard: Asrok h87 Pro 4 Ram: 16GB DDR 3 ohne ECC Netzteil: 400 Watt BeQuiet! Pure Power 10 SSD: 1x 250GB Samsung 850 Evo (SATA) Was habe ich vor? Bis vor kurzem hatte ich einen Ubuntu 20.04 Dedicated Server bei Hetzner auf dem Quickbox (quickbox.io) lief. Es lief dort rclone+lokaler Cache für Gsuite, Plex, rtorrent+rutorrent, Sonarr, Radarr, Jackett, xTeVe. Rclone ist bei diesem Setup so eingestellt das Nachts um 3 Uhr der rclone cache auf Gsuite hochgeladen wird. Genau das möchte ich auch so wieder haben, nur eben hier lokal Zuhause. Zukünftig möchte Ich jedoch mindestens 16TB an Daten hier Lokal auf den Platten haben, damit ich auch bei einer Downtime seitens Gsuite zugriff habe. Später möchte ich aber eventuell alles lokal Speichern, das wären dann ca. 120 TB+. Der Server lädt Pro Tag zwischen 100 GB bis 700 GB an Daten die dann Nachts per rclone ins Gsuite hochgeladen werden. Mit Plex werden auch ab und zu mal 4K Remuxe auf 8 Mbits Transkodiert, wobei sich das auf nur einen Stream zumeißt beläuft. (Damit kommt auch mein Xeon 1230v3 noch klar) Jetzt zu meiner Überlegung: Funktioniert das was bisher Nativ unter Ubuntu 20.04 lief auch mit Unraid? Ich weiss nicht ob sich das mit dem Unraid Cache beißt. Sollte ich meine Hardware behalten und die Erweitern oder doch eher was neues anstreben? Wobei Ich da ständig zwischen dem Intel 11400 und dem Ryzen 5600x hin und hergerissen bin was nun mehr Sinn macht, auch im hinblick des Stromverbrauchs. Könnt ihr mit bitte ein paar Sinnvolle konfigs vorschlagen? Edited April 14, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 14, 2021 Share Posted April 14, 2021 Sollte alles wie gewohnt laufen. Bei Unraid wirst du nur alle Apps als Container laufen lassen. 4 hours ago, Mittlenick said: Ich weiss nicht ob sich das mit dem Unraid Cache beißt. Der Cache ist ein separates Laufwerk auf dem die Dateien liegen, die du da liegen haben willst. In der Regel sind das die Container oder VMDisks oder temporär Uploads auf den Server. Auch mal hier lesen: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=951565 4 hours ago, Mittlenick said: Sollte ich meine Hardware behalten und die Erweitern oder doch eher was neues anstreben? Wobei Ich da ständig zwischen dem Intel 11400 und dem Ryzen 5600x hin und hergerissen bin was nun mehr Sinn macht, auch im hinblick des Stromverbrauchs. Ein Ryzen 5600X wäre nur mit einem B550 Mainbiard sparsam und auch nicht mit jedem. Ein 11400 unterstützt keinen ECC RAM: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-947943 Ein Intel hätte den Vorteil, dass die iGPU für Plex zur Verfügung stände: https://forums.unraid.net/topic/97593-intel-i3-8100-with-uhd630-the-plex-transcoding-beast/ Mein Vorschlag für dich wäre ein C246 Setup mit i3-9100 oder W480 mit Xeon W-1250 (ab der 10ten Generation unterstützt der i3 keinen ECC RAM mehr). Beide Chipsätzen gibt es auf Boards mit 8 SATA Anschlüssen. Da würden sich 18TB HDDs anbieten. 7 für die Daten (126TB) und 1 als Parität. Entspräche dann meinem Setup: https://forums.unraid.net/topic/105909-mein-10-zoll-server/?tab=comments#comment-977501 Weniger große HDDs bedeuten logischerweise weniger Stromverbrauch. Insbesondere, wenn man keine zusätzliche Karte für mehr HDD Anschlüsse benötigt. Wegen der miserablen Verfügbarkeit und Preise würde ich aber erstmal mit dem starten was du hast. Mehr SATA Anschlüsse dann per JMB585 oder ASM1166 Karte. Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 (edited) Vielen Dank für deine Einschätzung. Demnach wäre es erstmal Klüger den Xeon weiter zu verwenden, bis mal neue Xeons auf dem Markt sind mit aktuellerer Igpu bzw. sich die Preise normalisiert haben. Die befüllten Festplatten kann ich ja später 1:1 auf neue Hardware übernehmen, wenn ich das richtig verstehe? Es muss dann halt nur die reihenfolge beim Anschließen beachtet werden? Das mit dem Unraid Cache versteh ich leider immer noch nicht so recht. Angenommen Ich nutze meine bestehende Hardware und kaufe 2x18TB HDDs. Dann würde Unraid die vorhandene 250GB SSD als Cache bekommen und die beiden neuen Platten, eine als Parity und die andere für die Daten. Jetzt möchte Ich aber wie gesagt Quickbox wieder verwenden mit dem beschriebenen Setup. Heißt ich müsste eine VM im Unraid aufsetzen. Kann ich beim Unraid irgendwie Definieren wie er mit der VM umgeht wegen dem Cache? Weil die VM wird ja ziemlich schnell Groß durch die Downloads und dem rclone cache. Das dürften mehrere Terrabytes sein weil ich ja mit rtorrent die files ziehe und im Seed behalte. Demnach wären dauerhaft beide Platten Aktiv bzw. später mal alle anderen Platten auch wenn rtorrent nur rum Idlet? Ich vermute du wirst mir dann dazu raten die VM auf den HDDs abzulegen. Aber was nützt mir dann der Unraid Cache? Ich würde schon gerne die schnellen IO/s mitnehmen wenns geht, damit die Datenbank besonders von Sonarr und Radarr zügig lädt. Edited April 15, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 3 hours ago, Mittlenick said: Die befüllten Festplatten kann ich ja später 1:1 auf neue Hardware übernehmen Ja 3 hours ago, Mittlenick said: Es muss dann halt nur die reihenfolge beim Anschließen beachtet werden? Nein. Ist egal. 3 hours ago, Mittlenick said: Jetzt möchte Ich aber wie gesagt Quickbox wieder verwenden mit dem beschriebenen Setup. Heißt ich müsste eine VM im Unraid aufsetzen. Kann ich beim Unraid irgendwie Definieren wie er mit der VM umgeht wegen dem Cache? Weil die VM wird ja ziemlich schnell Groß durch die Downloads und dem rclone cache. Das dürften mehrere Terrabytes sein weil ich ja mit rtorrent die files ziehe und im Seed behalte. Demnach wären dauerhaft beide Platten Aktiv bzw. später mal alle anderen Platten auch wenn rtorrent nur rum Idlet Dann erstell doch einfach eine 32GB VMDisk auf dem Cache für das OS und lässt die Downloads auf ein SMB Ziel, in dem Fall also einen Unraid Share speichern. Kein Grund das alles in einer VM abzulegen. Der Cache kann nicht Teile einer VM erfassen. Immer nur die komplette VM Disk. 3 hours ago, Mittlenick said: Sonarr und Radarr Gibt es doch alles als Container. Kein Grund für eine VM: https://blog.harveydelaney.com/installing-radarr-sonar-and-deluge-on-your-unraid-setup/ Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 Ah das ist ja sehr Interesant, gibts da zufällig auch rclone+lokalen cache? Eventuell auch mittels cronjob den upload zu steuern? Weil dann bräuchte ich auch gar nicht die VM. Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 16 minutes ago, Mittlenick said: gibts da zufällig auch rclone+lokalen cache? Was meinst du damit? Dir rclone Cache Option? Natürlich. Es gibt doch ein rclone Plugin für Unraid. Da hast du logischerweise alle Kommandos, die rclone kann. Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 Ich weiss jetzt leider nicht wie das genau hies. Ich glaube MergerFS oder so. quickbox instaliert das rclone so, das ein virtueller ordner im /home/ verzeichniss gemounted ist in dem ich mein zeug rein kopiere die Struktur war: TV Shows: /home/<username>/rclone/gmedia/TV/ Movies: /home/<username>/rclone/gmedia/Movies/ Music: /home/<username>/rclone/gmedia/Music Anime: /home/<username>/rclone/gmedia/Anime /gmedia war dieser virtuelle ordner in dem auch plex zugriff hatte. Von dort aus konnte Plex einerseits die lokalen videos sehen und aber auch die, die auf gsuite liegen. Sollte das so auch machbar sein bräuchte ich tatsächlich keine vm mehr. Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 MergerFS brauchst du denke ich nicht. Du kannst ja x-beliebige Verzeichnisse dem Plex Container zuweisen. Komplizierter wird es nur, wenn du die bestehende Plex Datenbank übernehmen willst. Denn je nachdem wie du das aktuell installiert hast, könnte es sein, dass sich die Pfade ändern. Da müsste man mal ausprobieren wie Plex auf neue Pfade reagiert. Aber normal sollte Plex das hinbekommen. Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 (edited) Naja ich würde Plex ganz clean installieren ohne eine migration der Daten. Wichtig ist mir halt nur das ich die downloads auch wieder per cronjob rauf ins gsuite bekomme. Ich kann mir sowieso nur 1x18 TB HDD Pro Monat leisten, dauert also bis ich mal meine 100TB aus gsuite raus bekomme. Edited April 15, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 Wie gesagt rclone gibt es auch für Unraid. Das wird also keine Hürde sein. Die Frage ist nur was mit Filmen wäre, die lokal UND in der Cloud liegen. Werden die von Plex nicht doppelt angezeigt bzw mit "zwei Versionen"? Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 (edited) Ne, durch das mergefs sieht der vereinte (gsuite+lokal) ordner aus wie nen ganz normaler. Genau das ist ja der vorteil von dem mergefs. So ist der aufbau: MergerFS mount (Da kommen alle lokalen dinge rein die später ins gsuite hochgeladen werden via cronjob und script) /home/${username}/rclone/gmedia/ Google Drive /home/${username}/rclone/gdrive/ RClone cache /home/${username}/rclone/cache/ Config Location /home/${username}/.config/rclone/ Quote Best practice says to use the GMedia folder for everything located at /home/username/rclone/gmedia. Sonarr, Plex, Ombi etc. This is a combination of what is stored locally, and what is on Google Drive. Edited April 15, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 1 hour ago, Mittlenick said: MergerFS mount (Da kommen alle lokalen dinge rein die später ins gsuite hochgeladen werden via cronjob und script) Das klingt nicht logisch. Ein MergerFS Mount ist doch nur die virtuelle Summe aus zwei Verzeichnissen. Er kann also physisch gar keine Dateien enthalten. Sagt ja auch das Beispiel in der Doku: A wäre zB das lokale Verzeichnis mit den Filmen B wäre zB Gsuite mit den Filmen C ist der MergerFS Mount Pfad, den man Plex mitteilt Wie auch immer. MergerFS scheint es als Docker Container zu geben, so dass auch das kein Hindernis darstellen sollte: https://forums.unraid.net/topic/74808-help-installing-mergerfs/ Die Frage ist allerdings, ob das wirklich notwendig ist: A) Was wäre, wenn du das per rclone gemountete Google Drive in Plex einfach als zweite Bibliothek einbindest? Ist Google offline, kannst du eben nur die lokale Bibliothek nutzen. Das selbe Prinzip nutzt man ja, wenn man die Bibliothek mit Freunden teilt. B) Was wäre, wenn du alle Filme, die du bereits heruntergeladen hast, auf dem Google Drive vom Verzeichnis "Filme" in das Verzeichnis "OfflineFilme" verschiebst? Du könntest dann dem Plex Container die Verzeichnisse /mnt/user/Filme (die lokalen Filme) und /mnt/remotes/GoogleDrive/Filme (rclone Mount des Google Drives) nennen. Duplikate gäbe es dann keine, weil die ja im Ordner /mnt/remotes/GoogleDrive/OfflineFilme liegen auf den Plex keinen Zugriff hat. Das Verschieben könnte ein simples Script lösen, das zb alle 5 Minuten ausgeführt wird und Dateiname und Dateigröße zwischen den beiden Verzeichnissen abgleicht und falls Übereinstimmungen vorhanden sind, die Datei dann verschiebt. Wenn Google offline geht, dann wird Plex die fehlenden Filme als "fehlend" markieren, aber das wird ja korrigiert, sobald Google wieder da ist. Quote Link to comment
Mittlenick Posted April 15, 2021 Author Share Posted April 15, 2021 (edited) Das stimmt schon das da keine daten drin liegen so lang ich da nicht selber was rein kopiere fürs spätere uploadscript. Die Ordnerstruktur hatte ich aus dem Orginalpost von dem Quickboxentwickler. Ich bin da auch nicht bewandert genug um dir zu sagen wie das genau funktioniert, auf jeden fall funktionierts. Vorschlag A bzw. B würde sich ja dann mit Sonarr und Radarr beißen. Weil die haben ja nur den einen Pfad der logischweise zum gdrive führt. In den beiden tools kann ich auch nicht Sagen das Film X einmal lokal und einmal im gdrive liegt. Quote Wie auch immer. Oh geil, somit brauch ich ja wirklich kein quickbox mehr und kann das alles einfach so mir im unraid zurecht basteln. Ein paar letzte Fragen hätte ich vorerst noch. Angenommen Ich Baue mir das nun so erstmal mit der 250GB SSD als Cache und den 2*18TB auf für den Anfang. Ist es möglich die Parity später mal gegen eine 25TB HDD zu tauschen sofern die mal zu kaufen wären? Und wie lange würde es dauern wenn eine Platte mal abraucht und diese 18 TB HDD wiederhergestllt werden müssen? Profitiert man da irgendwie von ECC Ram? Ich sehe schon, Unraid ist verdammt mächtig so dass ich mich da erstmal reinwurschteln muss. Edited April 15, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 15, 2021 Share Posted April 15, 2021 1 hour ago, Mittlenick said: Vorschlag A bzw. B würde sich ja dann mit Sonarr und Radarr beißen. Warum? Sagen wir beide speichern im Share /mnt/user/TV ab. Den Pfad synchronisierst du mit rclone zu /mnt/remotes/GoogleDrive/TV (also ins Google Drive) und Plex bekommt nur den Pfad /mnt/user/TV genannt (also die lokale Disk). Was davon nun schon ins Google Drive gesichert wurde, kann doch Plex egal sein oder nicht? Oder löschst du die Downloads wieder von der lokalen Disk und willst daher Plex auch das Google Drive nennen? Dann dreht das Konzept von B) doch einfach um. Also: - Sonarr+Radarr speichern nach /mnt/user/TV - rclone synct von /mnt/user/TV nach /mnt/remotes/GoogleDrive/OfflineTV - wenn lokal eine Datei gelöscht wird: Ein Script erkennt die fehlende Datei und verschiebt sie von /mnt/remotes/GoogleDrive/OfflineTV zu /mnt/remotes/GoogleDrive/CloudTV - in Plex sind die Verzeichnisse /mnt/user/TV und /mnt/remotes/GoogleDrive/CloudTV hinterlegt Also wie gehabt. Wurde die Datei gerade erst mit Sonarr+Radarr heruntergeladen, kannst du sie lokal über Plex abspielen. Wurde sie hochgeladen und lokal gelöscht, ist sie über das Google Drive abspielbar. 1 hour ago, Mittlenick said: Ist es möglich die Parity später mal gegen eine 25TB HDD zu tauschen Ja 1 hour ago, Mittlenick said: wie lange würde es dauern wenn eine Platte mal abraucht und diese 18 TB HDD wiederhergestllt werden müssen? Kommt auf die Geschwindigkeit der HDD an. Mein letzter Parity Check dauerte 24 Stunden: Date Duration Speed Status Errors 2021-04-13, 17:38:27 1 day, 20 min, 5 sec 205.5 MB/s OK 0 Die 12TB HDDs brauchten dafür noch 18 Stunden. Eine 6TB HDD (Ironwolf) schafft das in 9 Stunden. Eine 4TB in 7 Stunden (Toshiba N300). Leider nehmen HDDs nicht im gleichen Maße an Geschwindigkeit zu wie sie größer werden. Daher habe ich so meine Zweifel ob HDDs die 30TB jemals erreichen werden. Gerade Unternehmen haben nicht unendlich lange Zeit auf die Berechnung der Parität zu warten. Ist ja auch immer ein Risiko dabei, dass weitere HDDs in der Zeit ausfallen. 1 hour ago, Mittlenick said: Profitiert man da irgendwie von ECC Ram? https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-947943 Quote Link to comment
Mittlenick Posted April 16, 2021 Author Share Posted April 16, 2021 (edited) Ja gelöscht wurde alles was im /gmedia drin war mittels des rcloneuploadscript. Ich muss mal genau drüber nachdenken ob das so wie du schreibst funktioniert bzw. mal testen eventuell. Eventuell mounte ich auch einfach nur das gdrive um die daten aus der cloud lokal zu speichern. Von den 100 TB ist auch viel unnützes dabei wenn man ehrlich ist. Ich Pick dann vll. einfach nur mein lieblingszeug raus und ziehs lokal auf die Platten und bau einfach jeden Monat nach bedarf ne neue Platte ein. Ich glaube das wäre auch kostenmäßig das vernünftigere anstatt einfach nur Daten zu horten nur weils geht, aber die sachen eh nie guckt. Ich weis grad nicht wie diese PCI SATA erweiterungskarten heißen wo man noch so nen strang SATA anschlüßse hat. Kannst du mir da was empfehlen? Würde diese HDD geeignet sein für unraid? https://www.computerbase.de/preisvergleich/seagate-exos-x-x18-18tb-st18000nm000j-a2380634.html?hloc=de Edited April 16, 2021 by Mittlenick Quote Link to comment
mgutt Posted April 16, 2021 Share Posted April 16, 2021 3 hours ago, Mittlenick said: Würde diese HDD geeignet sein für unraid? Ja. Unraid ist es egal was du nimmst. Backblaze hat die Ultrastar (HGST) als sehr zuverlässig bezeichnet: https://www.backblaze.com/blog/backblaze-hard-drive-stats-for-2020/ Wobei sie noch nicht so große im Einsatz haben. 3 hours ago, Mittlenick said: Ich weis grad nicht wie diese PCI SATA erweiterungskarten heißen wo man noch so nen strang SATA anschlüßse hat. HBA Karte https://geizhals.de/?cat=iosasraid&xf=5678_ohne~5679_SAS&sort=t&hloc=at&hloc=de&v=e Quote Link to comment
Nobi Posted May 3, 2021 Share Posted May 3, 2021 Hallo, könnt ihr auch Mainboards empfehlen mit guter IOMMU-Gruppierungen. Ich kann mich nicht entscheiden intel oder AMD? Supermicro X10SRL-F Intel C612 So.2011-3 Quad Channel DDR4 ATX Retail oder Gigabyte X570 Aorus Pro AMD X570 So.AM4 Dual Channel DDR ATX Retail Es sollen paar Docker container laufen, 2vms win und OSx Welche Cpus würdet ihr mir empfehlen mit wie vielen Kernen? Danke im Vorab. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.