Jump to content

Viele Daten im Array auf mehrer Festplatten organisieren


Artur01
Go to solution Solved by Patty92,

Recommended Posts

Hallo,

ich habe eine Mediensammlung (Filme, Musik) und möchte diese über einen Share ("Medien") ins Array übertragen. Da es viele Dateien sind würden diese auf meheren Festplatten verteilt werden (z.B. Disk1, Disk2, Disk2). Wenn man jetzt eine MP3  abspielen würde (liegt auf Disk2), würden dann alle Festplatte starten (Disk1, Disk2, Disk2) die mit dem Share verbunden sind oder hat Unraid eine interne Datenbank wodurch es weiß auf welcher Festplatte die MP3 Datei liegt und nur diese Festplatte (Disk2) würde starten.

 

Link to comment

ich versthe schon wie Unraid im Groben funktioniert und was der Unterschied zum Raid ist, aber woher weiß Unraid dass die mp3 auf DISK2 liegt ohne alle Festplatten zu starten und reinzugucken?

Was würde z.B. passieren wenn ich von Hand die MP3 von DISK2 nach DISK3 verschieben würde ohne diesen user Pfad (/mnt/user/..) zu benutzen.

Und jetzt startet man die MP3, aber durch den User Pfad (/mnt/user/...). Weiß unraid dann dass die MP3 jetzt auf DISK3 liegt? oder würde er DISK2 und DISK3 starten und reingucken auf welcher Platte die MP3 liegt?

Link to comment
2 hours ago, Artur01 said:

Was würde z.B. passieren wenn ich von Hand die MP3 von DISK2 nach DISK3 verschieben würde ohne diesen user Pfad (/mnt/user/..) zu benutzen.

mal abgesehen davon dass dies kein normaler usecase ist, wenn du Sie manuell von disk2 zu disk3 verschiebst und dann weiß Unraid auch dass die Datei auf disk3 liegt ... aber deine Frage wurde doch bereits beantwortet ... oder hast du ein Problem was du uns nicht mitteilen möchtest ?

 

Technischer Aspekt, FUSE ... einfach googlen und einlesen wenn ernsthaftes Interesse daran besteht und du @Patty92 Aussagen nicht traust ;)

Link to comment
5 hours ago, Artur01 said:

Wenn man jetzt eine MP3  abspielen würde (liegt auf Disk2), würden dann alle Festplatte starten (Disk1, Disk2, Disk2) die mit dem Share verbunden sind oder hat Unraid eine interne Datenbank wodurch es weiß auf welcher Festplatte die MP3 Datei liegt und nur diese Festplatte (Disk2) würde starten.

 

Es gibt keine Datenbank, es gibt nur den Linux Cache im Speicher. Das ist zwar eine Organisationseinheit aber hat mit einer Datenbank im klassischen Sinn nichts zu tun.

 

Deine Frage kann man mit einem ganz klaren "Kommt drauf an" beantworten. Es gibt Situationen in denen kann es passieren, dass alle Platten eines User-Shares hochfahren, da zuvor der gesamte Speicher entleert war. Kann schon mal passieren, habe ich selbst schon mehrfach erlebt, es gibt dann immer gute Gründe dafür.

 

Wie spielst Du ab? Und was hast Du dem Medienplayer gegeben? /mnt/user/sharename/ oder /mnt/diskx/sharename/? Das ist mitunter entscheidend. Media-Systemen wie Plex kann man hunderte Ordner geben, die verwalten dann die Datenbank und fragen dann beim Abspielen gezielt die gewünschte Location an. Ich kann nur jedem mit einem Media-System wie Plex wärmstens empfehlen alle Disks einzeln einzutragen. Dann muss man über eventuell auftretende Refreshes des Caches und das damit unter Umständen einhergehende Aufwachen aller Platten eines User-Shares nicht nachdenken. Problem gelöst.

 

Edited by hawihoney
Link to comment
2 hours ago, alturismo said:

mal abgesehen davon dass dies kein normaler usecase ist, wenn du Sie manuell von disk2 zu disk3 verschiebst und dann weiß Unraid auch dass die Datei auf disk3 liegt

Ich betreibe diese "nicht normalen usecase" recht häufig, weil unraid (bis zur aktuellen Version) die Dateien einfach per Mover nicht dahin verschieben kann, wo ich will. Ich habe es eben gerne sortiert zusammen.

Link to comment
9 minutes ago, DataCollector said:

Ich betreibe diese "nicht normalen usecase" recht häufig, weil unraid (bis zur aktuellen Version) die Dateien einfach per Mover nicht dahin verschieben kann, wo ich will. Ich habe es eben gerne sortiert zusammen.

naja, ich weiß du hast viele viele Daten ... ;) aber dafür kann ich ja Shares sogar ganz bestimmten disks zuweisen wenn ich das bräuchte ... aber ja, das kann es geben und ja, Unraid weiß danach trotzdem wo die Daten liegen, @hawihoney hat es ja bereits erwähnt, wird im RAM per FUSE gesammelt ...

 

ps. auch ich move gerne mal etwas "zusammen" ... aber bei mir greift der mover mal alle paar Wochen da ich meine Medien lange im cache belasse ...

 

Seine Thematik mit aufwachenden arrays bei Zugriff einer Datei habe ich zwar nicht, daher auch keine Notwendigkeit x mal x Shares in Plex einzubinden, aber wenn ich ein Problem damit hätte würde ich es auch so umsetzen ... daher wäre dies ja eine Lösung sofern es ein Problem bei mir gäbe ... diese Frage wurde ja auch noch nicht beantwortet ob der Ersteller es nur "mal wissen will" oder ein Problem hat ...

Link to comment
1 hour ago, alturismo said:

Seine Thematik mit aufwachenden arrays bei Zugriff einer Datei habe ich zwar nicht

 

Alles eine Frage der Zahl der Platten im User-Share, dessen gesamte Größe, die Größe des RAM und des Caches, der weiteren laufenden Services und deren RAM- und Platten-Nutzung, usw usf

 

Der Plex-Transcoder puffert bei mir 120 Sekunden. Wenn aber ein etwas größerer User-Share nicht mehr gecacht ist und dessen Platten hochgefahren werden müssen, dann fahren die Platten in dem User-Share eine nach der anderen hoch. Macht ~ 10-15 Sekunden pro Platte. Dann ist bei ~ 10 Platten im User-Share der Transcoder-Cache leer. Und dann habe ich die remote streamende Familie an der Strippe ;-)

 

  • Haha 1
Link to comment
2 hours ago, alturismo said:

naja, ich weiß du hast viele viele Daten ... ;) aber dafür kann ich ja Shares sogar ganz bestimmten disks zuweisen wenn ich das bräuchte ...

Tja, leider kann ich meine nun knapp unter 400TB an thematisch zusammenhängenden Dateien nicht auf eine Festplatte/Disk linken, da ich eben keine so große Disk habe. Dafür ja das Array. Und es ist einfach sehr unpraktisch, wenn ich auch Jahre nach dem Anlegen eines Unterverzeichnisses zu einem Thema dann da etwas neues zufüge oder so, daß der Mover die Daten dann nicht in das korrespondierend eVerzeochnis der ursprünglichen Disk verschiebt, sondern eben (je nach EInstellung Highwater, all, most free....) auf eine (oder gar mehrere) ganz ander Disk(s).

Link to comment
47 minutes ago, hawihoney said:

Alles eine Frage der Zahl der Platten im User-Share, dessen gesamte Größe, die Größe des RAM und des Caches, der weiteren laufenden Services und deren RAM- und Platten-Nutzung, usw usf

Zu Plex kann ich nichts sagen, aber ich bin selber überrascht, daß mein 1st System (massiv mit RAM voll gestopft) die Festplatten im Normalbetrieb bisher wirklich nur beim Schreiben anlaufen läßt (sofern man die Datei nicht direkt lesen will). Ich kann in den Verzeichnissen wunderbar herumspringen, ohne daß eine Festplatte anläuft.

unraid/linux scheint da beim Booten sehr viel im Ram abzulegen.

Wobei ich nicht ausschließen will, daß es auch die Wirkung des installierten Plugin ist (Dynamix Cache Directories).

Ich habe auch beobachten, daß bei unraid bei einem neuen Boot alle Festplatten der Reihe nach einmal eine Zeit lang Lesezugriffe verzeichnen. Ich schaetze unraid liest nach dem Booten (wenn die Platten sowieso gerade schon laufen) die Verzeichnisstruktur ein und legt die im Ram ab.

 

Ich empfinde für meine Nutzung dieses Verhalten ziemlich gut.

Link to comment
44 minutes ago, DataCollector said:

Ich schaetze unraid liest nach dem Booten (wenn die Platten sowieso gerade schon laufen) die Verzeichnisstruktur ein und legt die im Ram ab.

 

Unraid macht nix außer das Mounten der Platten. Das caching geschieht normalerweise nur beim Zugriff. Da geschieht nix im Voraus. Das wird bei Dir das Plugin machen. Wenn mein System hochfährt dann gibt es einen kurzen Blipp aller Platten durch den HBA - zu sehen an der Activity-LED an der Backplane. Kurze Zeit später, immer noch während des Bootens, gibt es einen kurzen Blipp aller Platten wenn der Mount erfolgt. Das war's. Weitergehende Plattenaktivitäten erfolgen erst bei Zugriffen.

 

Der entscheidende Hinweis lautet "[...] beim erstmaligen Lesen von oder Schreiben auf Datenträgern [...]".

 

https://www.thomas-krenn.com/de/wiki/Linux_Page_Cache#:~:text=Der Page Cache unter Linux,ungenutzten Bereichen des Arbeitsspeichers cacht.

 

Edited by hawihoney
Link to comment

ich möchte wirklich ein Plex Server für zuhause aufbauen und habe Fotos, Musik und Videos.

Bevor ich starte habe ich mir Gedanken wie man das am besten macht ohne dass beim Angucken eines Fotos drei Festplatten angehen.

 

Soll ich Plex die Disks direkt geben "/mnt/diskx/sharename/" ? Hat das Vorteile im späteren Betrieb? Meine Überlegung ist im Moment so:

Shares anlegen:

/mnt/user/Bilder

/mnt/user/Movies

/mnt/user/Musik

/mnt/user/TV Shows/  (entstehen eventuelle Nachteile wenn man ein Leerzeichen im Namen hat?)

 

Macht es Sinn Musik nochmal zu teilen in Musik , Hörbücher?

Macht es Sinn Movies nochmal zu teilen in Movies, Animes?

Macht es Sinn alles in Kinder, Erwachsene zu Teilen?

 

Danach dem Docker die Disks einzel übergeben also so:

/mnt/Disk1/Bilder

/mnt/Disk2/Bilder

/mnt/Disk3/Bilder

....

/mnt/Disk1/Movies

/mnt/Disk2/Movies

/mnt/Disk3/Movies

 

 

Link to comment

Was du wie teilst ist ja persönlicher Geschmack ... das musst du schon selbst entscheiden ... 10 antworten, 10 Meinungen ...

Thema splitting ... Antworten stehen bereits da, ist übrigens auch kein Thema im laufenden Betrieb umzustellen, immer nur erst ergänzen und dann die vorhandene/n entfernen ...

Einfach mal machen ...

Gesendet von meinem SM-S901B mit Tapatalk

Link to comment
2 hours ago, Artur01 said:

Macht es Sinn Musik nochmal zu teilen in Musik , Hörbücher?

Macht es Sinn Movies nochmal zu teilen in Movies, Animes?

Macht es Sinn alles in Kinder, Erwachsene zu Teilen?

 

Alles Geschmackssache.

 

Ich habe Musik und Hörbücher geteilt. Anime ist ein Filmgenre, würde ich nicht von Filme trennen. Kann man über das Genre in Plex filtern. Kinder, Erwachsene bei Filmen? Da gibt es bei der Freigabe an Andere Beschränkungsmöglichkeiten über die Alterseinstufung. Diese Trennung habe ich also auch nicht vorgenommen. Habe den Zugriff also innerhalb Plex verwaltet.

 

2 hours ago, Artur01 said:

/mnt/Disk1/Bilder

/mnt/Disk2/Bilder

/mnt/Disk3/Bilder

 

Bei Bildern fände ich das Quatsch die auf mehrere Disks verteilen zu lassen, die passen in der Regel auf eine Platte.

Ansonsten trenne ich wie oben beschrieben:

 

image.png.1be028817b68c883cea67acffe5967a6.png

Link to comment

vielen Dank für die Tipps und Anregungen.

 

Quote

Tja, leider kann ich meine nun knapp unter 400TB an thematisch zusammenhängenden.....

400TB 😲? Hast du das Deutschland-Videoarchiv auf deinem Server 😲 ? Spaß beiseite, das müsste ja fast das maximum sein was in Unraid zur Zeit geht, ca 24x 16TB und 2x16TB Parity? Hast du deinen Server mal vorgestellt?

Link to comment
5 hours ago, Artur01 said:

vielen Dank für die Tipps und Anregungen.

 

400TB 😲? Hast du das Deutschland-Videoarchiv auf deinem Server 😲 ? Spaß beiseite, das müsste ja fast das maximum sein was in Unraid zur Zeit geht, ca 24x 16TB und 2x16TB Parity? Hast du deinen Server mal vorgestellt?

unraid könnte aktuell 28 Datenfestplatten zu 22TB verwenden und das wären 616TB Gesamtkapazität (+ Parität).

 

Ich setze zur Zeit überwiegend 18 und 20 TB Festplatten ein (24 Datendisks und 2 Parität).

 

Ja, daß ich da bei unraid nahe der Maximalgrenze operiere ist mir klar, deshalb habe ich mich ja auch gezwungen sah ein 2. Unraid-System aufzubauen.

Dennoch hoffe ich weiterhin auf baldige umsetzung der Funktionalität "Multiarray".

 

Vorstellung des Systemes:

 

Edited by DataCollector
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...