Jump to content

DataCollector

Members
  • Posts

    3,974
  • Joined

  • Last visited

  • Days Won

    20

Everything posted by DataCollector

  1. Achso, bei einem nicht praktischen Benchmark. Ich weis snicht, wie die die Werte mit HDTune hinbekommen haben, aber da komem ich nicht hin. Hier Werte sequentielles Schreiben und danach Lesen (Verify/ErrorScan) einer Toshiba MG09ACA18TE in einem I5 Skylake OnBoard SATA vom DIenstag/Mittwoch die gerade vergangene Woche (fabrikneue Festplatte initial getestet) (im Spitzenwert/Anfang noch einiges von 300 MByte/s entfernt). (Und auch in unraid an meinem W480 zeigen die Festplatten nicht wirklich (fast) 300MByte/s):
  2. Hallo @mgutt Nur aus Neugier: mit welcher Festplatte hast Du bis zu 300MByte/s erreicht? Abgesehen von 10k+ RPM Festplatten schaffe ich das zumindest mit den schnellsten (bei mir 18TB) Festplatten nicht.
  3. https://geizhals.de/inter-tech-ipc-sc-4004-88887186-a1485329.html Dazu brauchst Du ein (maximal) Mini ITX Board und passende Stromversorgung. Extra kleine Komponenten sind meist etwas teurer als Standard (ATX). Zu Deiner ursprüngliuchen Frage: Ja es ist möglich ungefär so groß einen urnaidServer aufzubauen und ja der wird universell(er) einetzbar sein, als die DS214play. Aber es bleibt die Frage, ob Du es willst. Es wird einiges an Geld kosten und wenn Du es dann doch nur als NAS hinter den Fernseher stellst ist es vielleicht zuviel Aufwand und raus geschmissenes Geld. Wenn Du hingegen weißt, daß Du mehr willst (Docker, VM, etc...) dann ist unraid ein spannendes Projekt und zwischen Schwei0, Traenen und Freude ist so alles möglich. Also überlege zuerst: was willst Du damit machen und bedenke, die Hardwarekaufsituation ist seit Corona schlecht und seit dem Rußland über die Ukrainische Grenze herüber geschwappt ist, sieht es eher noch schlechter aus. Viele interessante Komponenten sind schwer oder sehr teuer (oder beides) zu bekommen, wenn überhaupt. Overkill. Wieviele Streams in welcher Qualität willst Du gleichzeitig transcoden? @mgutt hat zum dem Thema öfters was gepostet. Transcoden ist nicht so mein Ding. Ich greife eher einfach auf ein SMB/NFS Share zu und überlasse die Darstellung dem Client (PC/Handy/Taböet/Notebook/Receiver). Aber eine RTX 2060 wäre mutmaßlich für nur transcoden zuviel Stromverbrauch und Lärm und Abwärme. mgutt kann/wird Dir bestimmt eine geeignete CPU mit iGPU nennen können, die für wenige Streams transcoden ausreicht. Dann kannst Du die RTX 2060 vielleicht besser gebraucht verkaufen. Für Grafikkarten sind die Preise ja recht hoch und Du kannst damit vielleicht einen Teil der unraidhardware + unraidlizenz finanzieren. SSD als SATA oder NVMe sind möglich. Wenn Du interesse an Docker und/oder VM hast profitieren die von flotter SSD Performance (die man dann als Cache und für die Lagerung der Docker/VM nutzen kann). Ob man NVMe oder SATA nutzen will, hängt vom Geldbeutel, Anschlußmöglichkeit und auch hier vom Anwendungszweck ab. Für einfache Docker oder VM Nutzung wird man zwischen SATA und NVMe unter unraid kaum einen so großen Unterschied spüren, als wenn man diese von HDD nutzt. Schließlich sind die jeweilig zugrundeliegenden Dateien bei Docker oder auch eines VM-Images ja nicht wirklich sehr groß.
  4. Hallo @Frefle Das ist wohl eine Raidkarte https://storage.microsemi.com/de-de/products/controllers/hardware/sata/entry/aar-1430sa/ "SATA mit 3 Gbit/s, PCI Express x4, 4 Anschlüsse; unterstützt RAID 0, 1 und 10" Sowas ist nicht unbedingt die beste Wahl für unraid. M.2 5 Port SATA Karte mit JMB585 Chip (PCIe Gen3 x2 to x5 SATA 6Gb/s) Das gibt rechnerisch: ca. 2GByte/s PCIe Geschwindigkeit geteilt durch 5 SATA Ports = ca. 400MByte/s pro SATA Port. Für aktuelle Festplatten reicht das gut aus. Für flotte SSDs wäre etwas mager (wenn man voll reinrassig mit flotten SSD bestückt). (Dies ist laut Abbildung bei Amazon eien M-Key Karte, siehe 2. Bild unten) Wie Du am M.2 auf der Rückseite des Boards mechansich aber die SATA Anschlüsse montieren willst ist mir noch nicht klar. Es gibt aber schön flache SATA Kabel mit seitlichem Kabelabgang (falls Du vor dem Problem stehst) und Du das Board vielleicht etwas anheben kannst (größere Abstandshalter und das ATX-Anschlußshield weglassen/versetzen): https://www.amazon.de/gp/product/B00KTLGDZG Möglicherweise böse Falle! Achtung! Die Beschreibung bei Amazon ist etwas "wackelig"/"gebabelfischt". "-Ermöglicht die Verlagerung der Verbinder m.2 – dieses Riser ist für SSD M2 Typ SATA nur. -Die interne Teil kommen wird den Urlaub bei der Platzierung M2. Sie ist im Format 2230/42/60/80/110, und verfügt über die zwei Schlüsseln B und M -Die äußeren Teil verfügt über einen Verbinder M2 mit Schlüssel B..." Laut https://de.wikipedia.org/wiki/M.2#Formfaktoren_und_Keys gibt es zwar auch die B.Key PCIe Kombination, aber ich bin bei der wackeligen Übersetzung eher skeptisch und gehe von dem üblichen SATA aus, weil das für den Externder (externen Teil) auch so klingt. Du brauchst für den JMB585 auf der M.2 Karte keinen SATA M.2 (B-Key) am abgesetzten Teil sondern einen M-Key! Der Adapter wird Dir mutmaßlich nichts für die M.2 PCIe x2 Steckkarte bringen! Siehe Bild unten!! Es gibt bei Amazon auch Karten, die mechanisch mit B.Key sein sollen: https://www.amazon.de/PCIe-Adapter-Internal-Linux-Windows-M-2-NGFF-B-KEY-SATA/dp/B09GW7LMR8 Aber hier hege ich ein paar Zweifel. Wäre auch billiger. Nur so am Rande: Ich glaube Dein ITX (Asrock Fatal1ty x370 ITX) hat auch einen PCIe A/E Slot (es wird ja mit ac beworben) Ich weiß aber nicht, ob der ac-Teil entfernbar und darunter eine frei belegbare A/E-Key M.2 ist, die auch PCIe spricht (und ob Du WLAN ac auf dem Board brauchst oder darauf verzichten kannst). Falls Du kein WLAN auf dem Board brauchst (hattest ja 1GB und 2,5GBLan erwähnt): Ich liebäugele aktuell in meinem nun wieder reaktivierten System (Fujitsu D36ff-B) wegen zu wenig SATA Ports zu einer Kombination aus einer eben solchen M.2 5Port Karte mit JMB585 welche ich aber mit folgendem Adapter in einem E-Key M.2 einsetzen will (leider habe ich auf die Schnelle nur dieses eher wackelige senkrecht adaptierende Modell gefunden): https://www.amazon.de/gp/product/B09MTQHKZ5 Soweit ich das Handbuch meines Fujitsu D3644-B Boards richtig verstanden habe, steht an meinem M.2 (E Key) leider nur PCIe3.0 x1 bereit, was somit aber für 4 Ports zu je rund 250MByte/s ausreichen müsste. Einen SATA Port lasse ich dann wohl brach liegen. (Schließlich setze ich auch in vorhandene PCIe 3.0 x1 Slots 2 Stück ASM1064 Karten ein, die ebenfalls PCIe 3.0 x1 zu 4 SATA Ports adaptieren.) Dafür fliegt die bisher dort eingesetzte https://www.amazon.de/gp/product/B083SSQQYV M.2 Karte E/A-Key 2Ports SATA (JMB582 PCIe Gen3 x1 to Dual SATA 6Gb/s) raus.
  5. Ich kennen den DS nicht und kann Dir nicht sagen, ob man den dafür nutzen kann. Aber um ein System so klein wie den DS214 zu bekommen, müsstest Du schon allein ein entsprechend kleines Gehäuse bekommen, in welches Du dann 2x 3,5Inch Festplatten rein bekommst und noch die Komponenten für ein PC tyüisches System. Standard Mainboards pasen da schon nicht mehr herein. Es wird also schwierig/teuer etwas so klein mit unraid hin zu bekommen. Nun stellt sich die Frage ob es wirklich Sinn macht den Mehraufwand zu betreiben. Und da kommt die Frage auf, was Du erreichen willst. Wenn es Dir nur um reinen NAS Betrieb für maximal 2 eingebaute Festplatten und Stromsparen geht, wirst Du mit dem DS214 mutmaßlich ausreichend glücklich werden/sein. Um Unraid in allen Belangen in diese Größe/sprsamkeit zu quetschen wäre schon einiger Aufwand nötig und das lohnt sich vermutlich nicht. Solltest Du hingegen einen größeren Funktionsumfang, Flexibilität, etwas mehr Baugröße und auch etwas mehr Stromverbrauch anstreben und akzeptieren kann unraid das bieten. Am günstigsten ist es, aber, wenn Du auf gebrauchte Standardkomponenten zurück greifst und dann ist "klein" und "stromspartend" eher selten zu finden. Es steht und fällt also damit, was Euer begehrt ist werter Herr. 😁 Have fun!
  6. ... ja, genau. Jetzt sehe ich auch diese Signatur des Authors. Als ich meine Frage stellte, sah ich diese nicht. Aber, ich hatte den Beitrag von bonienl wirklich in dem Moment von einem PC aus gelesen, von dem auch ich gerade ein unraid System steuerte und über das Dateimanagerplugin von bonienl in den Supportbereich des Forums gelangte. Dadurch war ich in dem Moment im Forum nicht eingeloggt. Das hat dann wohl den Unterschied ausgemacht. Mir war nicht bekannt, daß die Forumssoftware sich ohne Anmeldung in der Anzeige anders verhält. Ich danke Dir für die Aufklärung!
  7. Bezogen auf die benannte Hardware: SU-SA3014.V1 PCIe Sata Karte (Wenn ich richtig sehe ein Marvell 9215 Chip) Ich habe extra keine Marvel SATA Kontroller genommen, weil ich ab und zu schon mal von Problemen las. Aber in diesr Kombination ist mir spezielles nicht bekannt. Hast Du mal überlegt einen ASM1064 oder ASM1166 auszuprobieren? Wobei ich nicht weiß, ob hier die fehlende GPU (egal ob iGPU oder DGPU) nicht auch noch Auswirkungen zeigt. logisch. Aber er müßte Headless ja dennoch starten können. Welcher Chip(satz) ist in der alten SATA Karte? Ich kennen diese Adapter für M.2 Key M (PCIe) auf 5 SATA Ports (PCIe x2 mit JMB585) oder 6 Ports (PCIe x2 mit ASM1166). Ob Dir einer davon hilft, kann ich nicht sagen, aber eigentlich sollten diese Adpater funktionieren. Aber ich glaube der M.2 Slot ist laut Handbuch auf der Rückseite. Kannst Du da überhaupt mechanisch SATA verkabeln? Auch ist das Handbuch zum Board etwas ungenau ob mit einem Ryzen der M.2 Slot überhaupt funktionieren soll. Da bin ich dann aktuell ratlos.
  8. Es sind alles unterschiedliche PC, Alle Desktop/Tower, alle Firefox100, alle Windows 10 Pro oder Home. Mir ist nicht bewußt, daß ich irgendwo eine "mobile" Option für dieses Formum aktiviert hätte. Mit einem Smartphone oder Tablet habe ich bisher dieses forum nicht direkt besucht. Andere Signaturen (auch meien eigene unter Postings) sehe ich in voller Länge. 🤔
  9. Mehr Infos zur Hardware bitte. Und bei diesem neuen Problem vielleicht auch gleich ein neues Topic?
  10. Hallo. Ich stehe bei der Forumsbedienung mal auf dem Schlauch und benötige Hilfe. Ich finde die Signatur eines Authors nicht. Ich beziehe mich auf folgenden Beitrag und dabei fiel mir auf, daß ich keine Signatur dort sehe und auch über seine Memberpage keine finde. Was mache ich falsch? https://forums.unraid.net/topic/120982-dynamix-file-manager/?do=findComment&comment=1118505
  11. Diese Aufteilung (Blockschaltbild oder -diagramm) hatte ich in den spärlichen Fujitsu Manuals nicht finden können. Deshalb vermutete ich ursprünglich, daß die beiden X16 Slots per Bifurcation gekoppelt sein. Dem ist aber wohl wirklich nicht so. Das freut mich, da ich dann ohne einen aktives PCIe Switch eine weitere M.2 NVMe als Cache einbauen und nutzen kann. Interessieren würde mich dennoch generell: wenn eben 2 PCIe Ports (egal ob nun PCIe Slotbauform oder M.2) entsprechend aneinander gekoppelt sind, woran das Board erkennt, welchen Slot es aktiv nutzen und welchen ignorieren sollte. Basierend auf der Bifurcation Annahme: Wenn im oberen Slot eine solche passive Karte ohne aktives PCIe Gerät (SSD) auf den 4 Lanes steckt und im unteren Slot eine aktive Karte steckt (hier LAN) und beide Slots per Bifurcation aneinander gekoppelt sind (so daß eben nur einer der Slots diese doppelt belegten Lanes gleichzeitig nutzen kann). Ist bei diesem Board nicht der Fall, aber es gibt boards, bei denen entweder M.2 PCIe oder PCIe x4 Slot benutzt werden dürfen. Woren erkennt die Technik, welchen Anschluß sie bevorzugen und welchen ignorieren soll? Ich glaube mein W480 Vision W hat eine solche Doppelnutzung um 'unteren' Bereich. Im BIOS kann man zwar das Bifurcation in einigen Formen einstellen, doch das erkennt ja nicht automatisch ob es nun die Lanes auf einen so angebundenen anderen Slot umleiten oder für eine eingesteckte bifurcationfähige Steckkarte im oberen Slot diese bereitstellen soll (egal ob auf den Lanes dann ein aktives gerät auf der Karte lauscht oder nicht)?.
  12. Bei einem neuen System habe ich einfach mit dem Tool einen neuen USB Stick erstellt und im Tool von Stable umgestellt, schon konnte ich die RC wählen und damit den Stick installieren. Unraid.USB.Creator.Win32-1*.exe Vor ein paar Tagen war das noch RC7 bei mir. Aber Du hast recht, gestern hat man schon RC8 raus gebracht: Im Flash Creator sieht das so aus (Bild1) Ansonsten zeigt sich bei einem Update auch die Downloadadresse (Bild2).
  13. Das Video von Spaceinvader one, wo er das mit 10GB und 1GB dargestellt hat, kennst Du schon? Ab ca. 7:50 Min:Sec wird es interessant
  14. Da ging ja die Frage hin: Woran erkennt ein Board (die Switche) ob ein Slot belegt ist oder nicht und welchen es aktiv schalten soll. EInerseits eine eingesteckte NVME SSD x4x4x4x4 Karte in der an der fraglichen Stelle kein aktives Gerät (SSD) steckt, auf der anderen Seite eine LAN Karte. Oder meinst Du wirklche aktive PCIe Switche, die beide Slots gleichzeitig anbinden? Nein, die sind nicht vorhanden.
  15. Bifurication ist der Vorgang es aufzuteilen (Gabelung/Verteilung), sagt aber nichts dazu aus, wie Ver"gabelt" wird. Wie der Slot mit seinen PCIe Lanes aufgeteilt wird/kann bestimmt die Boardarchitektur. Diees Board (Fujitsu D3644-Bx) kann den oberen PCIe x16 (PEG) Slot 16x oder 8x8x oder maximal 8x x4 x4 aufteilen. Somit kann man für übliche NVMe PCIe x4 SSDs eine SSD im vorderen Teil des X8 verwenden, der hintere Teil des x8 liegt dann mit seinen weiteren 4 Lanes brach. Weitere NVMe x4 SSD können dann aber in den jeweils hinteren X4 Teilen des Plots per Riserkarte (siehe die von Amazon benannte Karte) nutzen. EIne PCIe x16 Karte mit einer Bauartbedingten Konstruktion nach x4x4x4x4 Aufteilung kann in diesem Slot also erwartungsgemäß nur 1 * x4 SSD vorne (Port 1) und 2 * x4 SSDs hinten (Port 3 + 4) nutzen. Der hintere Teil der vorderen x8 Bereiches liegt leider unnutzbar brach. (vgl. die Problematik der ASM1166 Kontroller mit x4 Steckkarten, bei denen leider auch 2 Lanes brach liegen). Die von Dir benannte Supermicrokarte hat nur einen elektrisch beschalteten PCIe x8 Anschluß und keine PCIe Switchelektronik. Somit kann sie nur im Boards, die den vorderen x8 Bereich nach x4x4 "Gabeln" wirklich 2 dieser x4 SSDs anbinden. Das ist bei diesem Board nicht möglich. (Siehe auch Foto der UEFI Auswahlmöglichkeit weiter unten) DIe bei Amazon gekaufte x4x4x4x4 Karte hat mir im Test gezeigt, daß ich dort erwartungsgemäß 3 NVMe Ports in diesem Slot getrennt ansprechen kann, das Board also genau so per Bifurcation den PEG Slot aufteilt, wie es im BIOS maximal möglich einstellbar ist 8x x4 x4. Zur Konstruktion dieses Fujitsu Boards habe ich leidre keine Zugriff, somit habe ich eben keine Unterlagen, wie die Slots angebunden sind.
  16. So, ich habe gestern Nacht doch noch eine NVMe SSD gefunden und dann heute morgen mal durchgetestet. Überraschung: der obere PCIe x16 im hinteren teil belegt sperrt nicht den unteren PCIe x16 (elektrisch x4). Die Slots hängen also nicht voneinander ab. Das freut mich. 😁 Dadurch kann ich auf der Karte in dem oberen PCIe x16 Slot (PEG) mutmaßlich dann doch 3 Stück NVMe SSD gleichzeitig nutzen und im M.2 OnBoardSlot eine 4. NVMe SSD und wunschgemäß die Mellanox 10GBit SFP+ Karte. Siehe beiliegende 4 Bildschirmkopien aus unraid, nachdem ich die NVMe SSD jeweils einen Port weiter eingesteckt habe:
  17. 1. Weil die Karte teurer ist und 2. nur den x8 Teil vorne belegt. Das wäre in dem Bifurication Slot des Boards also das Ergebnis, daß nur eine M.2 darin läuft. Das hatte ich im UEFI gefunden: Siehe Screenshot unten. Und das habe ich nun getan (siehe Foilgebeitrag).
  18. Hallo. Da ich kein Reply hierzu lesen kann weiß es wohl keiner. Somit habe ich einfach mal eine PCIe x16 4fach NVME/PCIe M.2 Slot Karte (Bifurcation) bestellt und in den obersten Slot eingebaut. https://www.amazon.de/gp/product/B09QWDCTRP Leider habe ich aktuell keine freie NVMe M.2 SSD zur Hand, aber meine Frage war ja, ob der untere PCIe x16 (elektrisch x4) Slot für meine Mellanox Netzwerkkarte weiter in Betrieb bleibt, wenn ich im oberen PCIE x16 Slot eine solche Bifurication Karte einbaue und das BIOS auf 8x4x4x umstelle, ohne den mutmaßlich nach unten abgezweiten X4 Bereich zu belegen. Falls jemand diese Information gebrauchen kann: Aktuell funktioniert die Netzwerkkarte, während oben die Karte (ohne Belegung der M.2 Ports) eingesteckt ist. Also mutmaße ich hiermit, daß das alleinige Stecken einer PCIe Karte auf eine (bwz. hier 4) PCIe Lanes dem Slot nicht suggeriert, daß dieser Slot aktiv sein soll. Es scheint wohl eher ein logisches Handshake notwe4ndig zu sein, damit erkannt wird, welcher Slot/M.2Port die Lanes zugeordnet bekommt. Sobald ich ein paar M.2 NVMe SSD frei habe, werde ich mal testen ob meien Vermutung richtig ist, daß die beiden X16 Slots die Lanes wirklich sharen, indem ich beide mit einem Device bestücke und schaue was passiert. Mal sehen ob ich bei ebay oder so billig eine oder mehrere kleine SSD für diesen Test schießen kann. Software: Unraid server Trial, version 6.10.0-rc7 Zur Hardware: LAN im unteren PCIe x16 (elektrisch x4): Mellanox ConnectX-3 CX311A der Rest siehe Screenshot
  19. Nein, kannte ich noch nicht, aber bei 1,2PB Gesamtkapazität (1* unraid im Testbetrieb, 2* Windows Main und Backup mit je 400TB) bin ich gerade schon. Aber es ist alles etwas billiger, als das suggerierte VM Setup bei Spaceinvader One in dem 1.April Video.
  20. Solche Ankündigungen lese ich oft. Doch erstens sind die von Toshiba schon vor Jahren versprochenen 30TB Festplatten noch nicht da, zweitens ist für mich auch der Preis wichtig, Drittens ist SMR nicht unbedingt eine gute Wahl bei Festplattenverbund (aber es funktioniert) und nicht zuletzt hab eich nun aktuell alles mit recht neuen 16 und 18TB Festplatten bestückt und hoffe wegen der Kosten eher auf den MultiArray Betrieb in unraid. Schon die aktuellen 20TB sind mir mit >20Euro/TB zu teuer. Aktuell zahle ich rund 16Euro/TB bei 18TB HDDs. Und wenn ich schon massig viel Geld zum verprassen hätte, würden mich vielleicht sogar die 64TB oder gar 100TB SSDs interessieren. Dann stört mich Spinupzeit auch nicht mehr. 😁 https://www.computerbase.de/2020-08/exadrive-nl-64-tb-ssd-qlc/ https://www.notebookcheck.com/Die-erste-100-TB-SSD-ist-da-aber-viel-zu-teuer.480530.0.html Dann bräuchte ich nur rund 6x 40.000 US-Dollar (4+2 Array, Pool oder gar unter Windows) und könnte alles sogar in ein kleines ITX Gehäuse quetschen und käme mutmaßlich bei rund 10-30W idle raus. 🤩 Aber ca. 240.000 Dollar sind schon eine Hausnummer...
  21. Von Dateien, bei denen es mir wichtig ist, daß diese eben nicht ungewollt verändert sind/werden. Und wenn ich dann ab und zu kreuz und quer in den Datenbestand einige dutzend bis hunderte GB einsortiere (letztes Wochenende war ich mal wieder fleissig und habe rund 600GB von aktuell rund 36 TB noch wartenden Daten einsortiert), dann prüfe ich erst ob die neuen Daten von dem Temporärverzeichnis binaer korrekt im Ziel (aktuell noch Windows multiple Raid6 / später unraid Array) angekommen sind (aktuell per Windows Clonespy) und wenn alles korrekt dort angekommen ist, werden die Dateien im Temprärverzeichnis gelöscht & die neuen md5 Checksummen den bestehenden Dateien mit den MD5 Checksummen der bisherigen Dateien zugefügt. Und in unregelmäßigen Abständen lasse ich auch (bisher unter Windows) ein Batch über den gesamten Datenbestand (aktuell kleiner 400TB) laufen und die Checksummendateien gegen die realen Dateien prüfen. Bei Differenzen erfolgt Protokollierung in Ergebnisdatei bei der ich dann die Fehler filtere und denen nach gehe (mit Hilfe gleicher Prüfung der Dateien in den Backups und zurückspielen der korrekten Dateien). Von manuellen Bedienungsfehlern (wenn ich beim Bearbeiten Fehler gemacht habe), über versehentliche Löschungen und Amok gelaufene Software, bis zu Bitrot hatte ich schon alles. Bisher hatte ich es noch nicht, aber selbst bei Ransomwarebefall/Verschlüsselungstrojaner, könnte ich damit nach Schädlicngsbereinigung halbwegs bequem prüfen, welche Dateien noch okay und welche verändert sind.
  22. Dito, doch greife ich eben bei der bearbeitung auf mehr als nur jeweils eine Datei zu. Und wenn die so verstreut sind, fahren mehrere (bis zu alle) Festplatten lesend an.
  23. Ich habe 1 Share mit aktuell knapp uter 400TB Daten bei knapp über 20 Festplatten. Getrennte Sahres sind auf diesem System aufgrund der Datenmenge und der kleinen Festplatten (wegen Kosteneffizienz aktuel 16 und 18TB) nicht zweckmäßig. Und bevor nun auf den Splitlevel hingewiesen wird, das bringt nichts. Wenn er splittet, dann will ich bei riesigen oberen Verzeichnisse (ueber eine Plattengrenze hinaus) die unteren Verzeichnisse in dem oberen Verezeichnis zusammen halten. Aber genau das kann unraid leider nicht. Unraid splittet nach unten hin. (Fast) da will ich hin. Mit Hinblick auf meine Nutzung hätte ich die Erstbefüllung nicht mit Highwater, sondern mit FillUp und 1,2 TB Free Space durchführen sollen. Aber das Kind liegt nun im HighWater Brunnen und das will ich eben nun entsprechend nach alphabetischen Unterverzeichnissen umsortieren. Da ich aktuell bei meiner schnelleren Windows/Hardwareraid6 Lösung nahezu täglich den gesamten Datenbestand auf binäre Übereinstimmung mit neuem Material überprüfen lasse und somit alle Platten abgefragt werden ... und ich (aufgrund des langsameren unraidverrhaltens) mindestens wöchentlich dort das Selbe machen will, beschränken sich meine Zugriffe nicht auf einzelne Platten, sondern gehen in größeren Zeitabständen über das gesamte Array. Wegen dem geringeren Energieverbrauch stelle ich ja auf unraid um. Aktuell verballern meine Haupt- und Backupsystem das 3-4fache des gemessenen Unraid idle/Spindown Verbrauchs 24/7. Somit wird sich (ohne, daß ich mich aktuell mit Optimierungen (powertop oder so) beschäftigt habe der Verbrauch schon stark reduzieren. Feinarbeiten in die Richtung stehen an, wenn ich erst einmal die Daten so/dort drauf habe, wie ich es will.
  24. Das ist mir bewußt und ist nicht anders, als meine aktuelle Struktur, bei der ich mit mehreren Raidverbünden arbeiten muß. Um kompatibel zu bleiben woill ich unraid eben vergleichbar haben. Diese Meinung kannst Du vertreten und entspricht auch der üblichen Nutzung eines normalen NAS (Datenfass). Ich gedenke aber aufgrund der Datenmenge bestimmte Verzögerungen durch Spinups zu vermindern. Nein, auch ein 8TB Cache hilft nicht, wenn man knapp unter 400TB Daten auf Binaerebene lesen oder Differenzen zu andren ebenfalls so großen Systemen finden will. Ich danke für die Erklärung, doch kenne ich das Problem und es geht mir auch nicht darum, daß ich nicht eine Grenze finde um auch einen Buchstaben über 2 Festplatten zu splitten. Aber ich will nicht, daß alle Dateien des Verzeichnisses E sich im Laufe der Monate/Jahre dann auf fast allen Festplatten befinden und schon das Auflisten und auslesen der Dateien dann zusätzlich ca. 20x Spinup benötigt. Ja, ich lese (unregelmäßig) alle Dateien der Reihe nach aus und vergleiche sie mit den MD5-Checksummen des selben und auch anderer Systeme. Das habe ich, Und im ersten Anlauf (Erstbefüllung) habe ich es ja mit Highwater getan. Dadurch besteht ja schon eine gewisse Sortierung. Doch leider habe ich schon in den ersten paar Tagen dacach 8also jetzt) gesezhen, daß ich im Kopf zehntauschende von Verzeichnisen nicht mehr so gut nachverfolgen kann, daß ich schnell einzelne Verzeichnisse/Dateien direkt in unraid (nicht über lan, sondern idrekt mit MC/Krusader/...) finden kann. A bis L sind ja noch schön brav auf die Disks 1 - x verteilt worden udn die find eich direkt auch schnell wieder. Aber schon Verzeichnisse mit S oder T sind nun schon auf mehrere Disks verstreut. Dazu kommt noch, daß die Dateimanager (MC/krusader/list) andere Sortierreicenfolgen nutzen und dann Verzeichnisse wie "TO-ARU" und "TO-BE-HERO" bei dem einen weiter vorne und bei dem anderen weiter hinter "TO", "TODAY-IN-CLASS", "TO-Y" liegen. Es ist mir eben zu (anders) sortiert. Um effizienter auf den Platten zu arbeiten und die richtigen STellen zu finden ist eine streng alphabetische Sortierung für mich hilfreicher. Nein, ich plexe nicht. Ich nutze das NAS als reines NAS mit VM und Dockerfunktionen. Ich bin kein Fan von zusätzlichen Bibliotheken und Indexen und so. Diese ist bei einer angelernten (alpanumerischen) Sortierung nicht zwingend notwendig und für meinen Anwendungszweck lästig. Ich habe auch eine Zeit lang mit Descript.ion gearbeitet. Nein, bis ich über den Weg das gefunden habe, was ich suchte ist weitaus mehr Zeit vergangen, als ich bereit war für sowas zu opfern. Das ist bei mir auf diesem Sysetm nicht sinnvoll, da ich hier einen Share mit allen Unterverzeichnissen für die Unterteilung habe. Die Datenmenge ist zu groß (bzw die Datenträger zu klein) als daß ich thematisch pro Datenträger sortieren wollte. Um bei dem gerne benutzten Thema Video zu bleiben: Stell Dir vor, alles sind TV-Ausstahlungen. Du hast von A wie Airwolf bis Z Z-Nation alles da drin. Zehntausende Serien und Filme zusammengehörend in alphabetischer Trennung. In jedem Ordner sind die weiter in Verzeichnissen nach Erscheinungsjahr sortiert (Jahreszahl/Season/Film/...) und darin dann nach Sprachen getrennt DubVersion, Untertitelt. Dann nach Sprachen (arabisch, bulgarisch, chinesisch (Mandarin), ... deutsch, ...englisch, ...französisch, .... Italienisch, koreanisch, türkisch, und so weiter) [teilweise sogar bei multi sprachlichen Versionen extra einsortiert]. Dann sind darin die Sachen auch noch fein säuberlich durchnummeriert und nach Senderquelle sortiert.... Und jedesmal, wenn man hier später etwas ergänzt (dieses Wochenende waren es rund 600GB an Daten, die ich einsortiert habe), landen die hübsch über das Array verteilt (leider sind die Datenträger eben so voll, dass auch bei Highwater die Sachen sich irgendwann gut verteilen). Und nun lasse ich die Checksummen berechnen. Schon muesen alle betroffenen Festplatten Spinuppen, anstatt, daß alles auf einer Platte liegt und die sequentiell gelesen werden kann. Wenn ich es der automatik komplett überlassen wollen würde, brauchte ich ein genau anders herum laufendes Splitting. Aber unraid beherrscht es eben nur in einer Richtung: Leider kann man bei unraid zwar das Splitting so einstellen, daß überliegende Hauptverzeichnisse zusammen bleiben (nur bis zu 4 Ebenen) (Filme, Serien, Dokumentationen, etc...), aber leider bräuchte ich für effiziente Bearbeitung (nicht nur auslesen, sondern wirklich benutzen) es genau anders herum. Die unteren Verzeichnisse sollten zusammen bleiben. Dann wäre die Automatik auch für meine Nutzung okay. Aber das kann unraid (und auch keine andere mir bekannte Automatik), so daß ich eben von Hand ran will/muß. Programmieren geht bei mir nicht über Windows/Dos-Batch hinaus. Das steht zwar irgendwann mal auf einer ToDo Liste, aber ich hexe schon seit 1/2 Jahr an unraid und das frisst aktuell schon genug Zeit. da habe ich wenige Zeit übrig mich mit Programmiersprache lernen zu beschäftigen. Auch deswegen benutze/bevorzuge ich aktuell auch weiterhin die von Windows über jahrzehnte zusammengesuchten Programme zur Nutzung und aus deshalb wird diese Unraidmaschine auch eine Windows Vm, bekommen um auch damit im Datenbestand zu fuhrwerken. Kann man machen, aber will/brauche ich nicht. Es würde mich auch sehr stören, wenn ich etwas unter (um im Beispiel zu bleiben) "Terminator/1991-Film-Terminator2/Untertitel/deutsch/t2005-xyz.avi" einsortiere und es später suchen muß um es dann bei "Terminator 2 Tag der Abrechnung deustch" zwischen "Terminator 2 : Le Jugement dernier", "Terminator 2: Judgment Day", "Terminator 2: Sudnji dan", "Terminator 2 - Il giorno del giudizio", "Терминатор 2: Судный день", "Terminatör 2: Kıyamet Günü" zu finden. Nein, Automatisches umbenennen/-sortieren hat mir schon eine mehrere TB große Audiosammlung (ohne Backup) durcheinander gebracht. Man für Deine Anwendung sinnvoll sein, ist aber nichts für mich. Wenn ich auf den ordner zugreife, will ich schnell im ersten Teil des Dateinamens das relevante sehen,w as ich brauche um den Inhalt zu unterscheiden. Ich will kaum Overhead. Unter Windows/Dos reicht mir einfach ein (ungefär) DIR /S /B >inhalt.txt Ich danke Dir für die Auflistung Deiner Verfahrensweise und sie ist für Deine Nutzung schlüssig und sinnvoll. auch hast Du Dir mit der Erklärung für mich sehr viel Mühe gegeben. Danke! Aber ich bitte zu akzeptieren, daß ich aufgrund meiner eigenen Anforderungen und Arbeitsweise da etwas anderes wünsche und meien Frage nicht in Änderung der Arbeitsweise enden sollte, sondern in der Ausage, ob das, was ich machen will, zu technischen probleme führt, weil ich etwas nicht bedacht habe. Bitte nicht vor den Kopf gestoßen fühlen. Ich suche einfach etwa, was zu meinem Vorgehen passt und das ist eher sehr komplex.
×
×
  • Create New...