mgutt Posted March 22, 2021 Author Share Posted March 22, 2021 So, ich habe mir jetzt 4x die 18TB Elements bestellt und zusätzlich 1x die Original 18TB DC-HC550 für die Parität. Dadurch sollte die Geschwindigkeit trotzdem hoch bleiben. Mit Glück sogar höher, da die ja sogar etwas schneller sein sollen als die 12TB. Da bin ich mal gespannt. Aktuell habe ich einen Gesamtspeicherplatz von 108TB bestehend aus 9x 12TB und 1x 12TB Parität. Da das Board nur 8x SATA, 1x PCIe (10G Karte) und 1x M.2 hat, musste ich den M.2 auf SATA Adapter installieren. Im ersten Schritt werde ich genau den wieder ausbauen, so dass ich mit 4x 18TB + 3x 12TB und 1x 18TB Parität bei 108TB bleibe, aber dafür wieder eine M.2 NVMe verbauen kann. Erst wenn die Preise weiter fallen, kaufe ich dann die restlichen HDDs und komme so mit 7x 18TB + 1x 18TB Parität auf 126TB Speicherplatz. Mir graust es schon davor die Filme wieder umzusortieren ^^ Das hat eine ganze Weile gedauert, bis ich eine gute Verteilung für 5 HDDs gefunden habe: Und zwar ohne, dass die Unraid wild verteilt, sondern in dem ich die nach Buchstaben sortiert habe: Disk1 A, B, O, P Disk2 C, D, E, F, W, X Disk3 G, H, I, J, U, V Disk4 0-9, K, L, M, N, Y, Z Disk5 Q, R, S, T Bei 4x 18TB wird das dann wieder ganz anders aussehen. Bei den Serien werde ich von 3x 12TB auf 2x 18TB reduzieren. Ich denke das reicht, auch wenn ich da noch eine ganze Menge rippen muss (aktuell 15TB). Dann hätte ich noch 1x HDD für User-Shares und 1x für Backups. Eventuell schließe ich dann noch eine 4TB SSD über USB als Backup für die M.2 an. Dann kann ich die häufiger sichern und die HDDs bleiben länger aus. Ganz so teuer wird das Upgrade denke ich nicht. Ich schätze ich bekomme pro gebrauchter 12TB um die 180 €. Die haben ja noch Garantie. Macht dann: 8x 18TB = 2300 € 10x 12TB = - 1800 € 18TB mehr Speicher = 500 € Nicht gerade billig, aber was macht man nicht alles für einen freien M.2 Slot ^^ Die Stromersparnis rechtfertigt das jedenfalls nicht. Das werden 5W sein, also ~10 € pro Jahr. Wo bleiben eigentlich die 100TB SSDs für 1000 € ^^ Quote Link to comment
i-B4se Posted March 22, 2021 Share Posted March 22, 2021 Ich würde auch gerne mal shucken, aber ich hab irgendwie Angst das ich eine „billige“ HDD erwische wie zb nur 5600 U/Min oder so Quote Link to comment
mgutt Posted March 22, 2021 Author Share Posted March 22, 2021 "billig" wären nur SMR Platten und alles ab 12TB ist CMR. Da brauchst du dir keinen Kopf machen. Ab 12TB sind auch alle 7200 U/min, allerdings sind die in den WD Gehäusen per Firmware gedrosselt. Vor kurzem hat jemand herausgefunden, dass die einen Bug haben und temporär "freigeschaltet" werden können: https://amp.reddit.com/r/DataHoarder/comments/k3xl6p/wd_white_label_12tb_and_14tb_drives_get_30_faster/ In den Seagate Gehäusen sind ab 12TB nur gute Platten verbaut. Also Exos oder Ironwolf. Und alle ungedrosselt. 1 Quote Link to comment
jj1987 Posted March 22, 2021 Share Posted March 22, 2021 (edited) 4 hours ago, mgutt said: So, ich habe mir jetzt 4x die 18TB Elements bestellt und zusätzlich 1x die Original 18TB DC-HC550 für die Parität. Dadurch sollte die Geschwindigkeit trotzdem hoch bleiben. Mit Glück sogar höher, da die ja sogar etwas schneller sein sollen als die 12TB. Da bin ich mal gespannt. Aktuell habe ich einen Gesamtspeicherplatz von 108TB bestehend aus 9x 12TB und 1x 12TB Parität. Da das Board nur 8x SATA, 1x PCIe (10G Karte) und 1x M.2 hat, musste ich den M.2 auf SATA Adapter installieren. Im ersten Schritt werde ich genau den wieder ausbauen, so dass ich mit 4x 18TB + 3x 12TB und 1x 18TB Parität bei 108TB bleibe, aber dafür wieder eine M.2 NVMe verbauen kann. Erst wenn die Preise weiter fallen, kaufe ich dann die restlichen HDDs und komme so mit 7x 18TB + 1x 18TB Parität auf 126TB Speicherplatz. Mir graust es schon davor die Filme wieder umzusortieren ^^ Das hat eine ganze Weile gedauert, bis ich eine gute Verteilung für 5 HDDs gefunden habe: Und zwar ohne, dass die Unraid wild verteilt, sondern in dem ich die nach Buchstaben sortiert habe: Disk1 A, B, O, P Disk2 C, D, E, F, W, X Disk3 G, H, I, J, U, V Disk4 0-9, K, L, M, N, Y, Z Disk5 Q, R, S, T Bei 4x 18TB wird das dann wieder ganz anders aussehen. Bei den Serien werde ich von 3x 12TB auf 2x 18TB reduzieren. Ich denke das reicht, auch wenn ich da noch eine ganze Menge rippen muss (aktuell 15TB). Dann hätte ich noch 1x HDD für User-Shares und 1x für Backups. Eventuell schließe ich dann noch eine 4TB SSD über USB als Backup für die M.2 an. Dann kann ich die häufiger sichern und die HDDs bleiben länger aus. Ganz so teuer wird das Upgrade denke ich nicht. Ich schätze ich bekomme pro gebrauchter 12TB um die 180 €. Die haben ja noch Garantie. Macht dann: 8x 18TB = 2300 € 10x 12TB = - 1800 € 18TB mehr Speicher = 500 € Nicht gerade billig, aber was macht man nicht alles für einen freien M.2 Slot ^^ Die Stromersparnis rechtfertigt das jedenfalls nicht. Das werden 5W sein, also ~10 € pro Jahr. Wo bleiben eigentlich die 100TB SSDs für 1000 € ^^ Jetzt ist Saturn/MM mitgezogen, mit NL-Gutscheinen und 8 separaten Bestellungen lässt sich da dann nochmal das Ergebnis "optimieren" Da könnte ich jetzt tatsächlich auch schwach werden - aber wenn dann will ich eigentlich wenigstens gleich zwei. Und in absoluten Zahlen ist das dann eigentlich schon wieder "über Budget". Immer diese schwierigen Entscheidungen... Das ging schnell. Alles ausverkauft bei Saturn/MM Edited March 22, 2021 by jj1987 Quote Link to comment
mgutt Posted March 22, 2021 Author Share Posted March 22, 2021 24 minutes ago, jj1987 said: mit NL-Gutscheinen und 8 separaten Bestellungen lässt sich da dann nochmal das Ergebnis "optimieren" Mist, verpasst. Dann hätte man auch noch Cashback mitnehmen können 😭 Quote Link to comment
jj1987 Posted March 22, 2021 Share Posted March 22, 2021 Ja ich hatte die Platte dann auch im Warenkorb und ZACK vorbei 😭 Dank NL-Gutschein Fehler sogar für 269,- nur eine Minute zu spät. Scheiß Verstand der so eine "nicht notwendige" Investition doch nochmal überdenkt... Quote Link to comment
sd007 Posted March 24, 2021 Share Posted March 24, 2021 On 2/21/2021 at 12:16 PM, mgutt said: Ich suche eine schnelle HDD (250 MB/s aufwärts) ab 14TB für max 15 € pro TB. Kennt da jemand was? Ich habe bisher 12TB aus dem WD D10 Gehäuse gekauft. Sind mir nur mittlerweile zu klein. Hallo, ich weiß, mgutt hat Seine HDDs bereits bestellt. Wollte nur meine Erfahrungen mit den neuen Toshiba MG07/08 HDDs berichten. In meinem Array befindet sich eine MG07 12TB Helium als Parity HDD drin und macht überhaupt keine Probleme im Gegensatz mit bereits 3 defekten, innerhalb eines halben Jahres, Seagate 10TB IronWolfs. Ich persönlich kann die Toshiba's uneingeschränkt empfehlen. Vor allem haben sie 5 Jahre Garantie, eine MTBF von 2.5Mio. Stunden, eine jährliche Workload von 550TB und einem Error-Count von 10E15. Leise, effizient und kühl sind sie auch. Habe die 12TB zusammen mit 7xHGST He10 im Verbund und kann sagen, keinerlei Auffälligkeiten. Wenn mein SuperMicro SC846 Case als JBOD-Case umgebaut ist, werde ich mal drei von den 16TB Modellen holen und meine Parity auf 2x 16TB erhöhen. Hier der Preis der MG08 16TB Platte mit 4K Sektor (512e Emulation): https://geizhals.de/toshiba-enterprise-mg08aca-16tb-mg08aca16te-a1964518.html?hloc=at&hloc=de Meiner Meinung nach ein absoluter Preiskracher, 16TB/7200rpm/Persistent Write Cache/CMR für "nur" ca. 300Euro. Hier ein Test von hardwareLUXX, bei dem sie sehr gut abgeschnitten hat: https://www.hardwareluxx.de/index.php/artikel/hardware/storage/53904-toshiba-mg08-im-test-enterprise-hdd-mit-16-tb.html?start=3 Lt. Benchmarks von hardwareLUXX hat die Platte eine sequenzielle Schreib-/Leserate von 270MB/s, was ich mit meiner MG07 12TB, die bei ca. 250MB/s liegt, bestätigen kann. Schaut Euch die mal an, sind echt eine Alternative. Bei Backblaze kann man sich mal die Ausfallstatistik von verschiedenen Herstellern ansehen: https://www.backblaze.com/blog/backblaze-hard-drive-stats-for-2020/ 1 Quote Link to comment
mgutt Posted March 24, 2021 Author Share Posted March 24, 2021 Eine Elements und die Ultrastar wurden zwischenzeitlich geliefert. Ich verschwende gerade etwas Zeit in dem ich die Elements als Parität teste. Der Trick mit dem Start des kurzen SMART Test funktioniert auch mit der 18TB Version. Der bleibt bei 90% stehen: Und schreibt dafür mit 245 MB/s, statt 228 MB/s. In CrystalDiskMark kletterte die Geschwindigkeit sogar auf über 260 MB/s: Mich interessiert jetzt noch wie schnell die Elements als Parität ist. Danach baue ich die Ultrastar ein und wiederhole den Test für einen Vergleich. 2 Quote Link to comment
mgutt Posted March 25, 2021 Author Share Posted March 25, 2021 Es gibt übrigens noch weitere Unterschiede zwischen den WD Elements und den Ultrastar. Ich habe auch mal den Stromverbrauch gemessen und dabei festgestellt, dass die Elements keinen Leerlauf kennen. Sie verbleibt dauerhaft im Betriebsmodus: 18TB WD Elements WD180EDFZ Standby 1,21W Leerlauf 6,22W Betrieb 6,22W Benchmark 6,22 bis 7,08W Spinup 21,10W 18TB Ultrastar DC-HC550 Standby 1,21W Leerlauf 4,29W (nach 2 Minuten) Betrieb 6,22W Benchmark 6,22 bis 8,22W Spinup 21,46W Wer seine Platten hauptsächlich schlafen lässt, den wird das nicht sonderlich interessieren, aber in einem RAID oder im Array-Dauerbetrieb sind das bei 5 Platten immerhin ein Mehrverbrauch von ~10W. Aber auch das spricht nicht gegen die WD180EDFZ, da sie in der Anschaffung einfach deutlich günstiger ist. Dann ist mir noch was eingefallen als ich die Parity habe neu aufbauen lassen. Und zwar sollte es für Unraid von Vorteil sein, wenn man für die Parity ein minimal größeres Laufwerk nutzt, da das größere Laufwerk beim selben Füllgrad schneller ist. Hier zB die 12TB und die 18TB Ultrastar, wobei ich die 10TB Position markiert habe: Dadurch sollte die Lesegeschwindigkeit beim Parity Check oder beim Turbo-Write, nicht mehr durch die Schreibgeschwindigkeit der Parity limitiert sein. Bei Read/Modify/Write kommt es dagegen auf den Random-Access an. Aber da größere Platten tendenziell schneller sind, sollte es auch hier einen kleinen Vorteil bringen. Beides versuche ich noch zu verifizieren. Quote Link to comment
mgutt Posted March 27, 2021 Author Share Posted March 27, 2021 Also die Original Ultrastar lohnt sich auf jeden Fall als Parität: Elements nach ca 15 Stunden: Ultrastar nach ca 15 Stunden: Und das wohlgemerkt trotz des Smart-Check Tricks, der ja die Elements schneller macht. 1 Quote Link to comment
moreman Posted March 28, 2021 Share Posted March 28, 2021 Ist der Geschwindigkeistunterschied im Alltag spürbar? Wenn eine SSD als Cache eingesetzt wird sollte das doch nicht so sehr ins Gewicht fallen, oder? Quote Link to comment
jj1987 Posted March 28, 2021 Share Posted March 28, 2021 10 minutes ago, moreman said: Ist der Geschwindigkeistunterschied im Alltag spürbar? Wenn eine SSD als Cache eingesetzt wird sollte das doch nicht so sehr ins Gewicht fallen, oder? Im Alltag mit Cache eher nicht, nein. Und bei 1GBit Ethernet ja auch eh nicht ganz so relevant. Aber wo wir gerade beim Thema Parity Check sind: Gut 20% schneller! Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 1 hour ago, moreman said: Ist der Geschwindigkeistunterschied im Alltag spürbar? Solange genug Cache da ist, ist alles gut. Ich will aber trotzdem eine möglichst schnelle Parität, da die nun mal der Flaschenhals des Arrays ist. Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 Der Parity Rebuild ist fertig und hier nun die Performance beim Hinzufügen neuer Dateien auf Disk8 (12TB Ultrastar) im Vergleich: 18TB Elements (White Label) 18TB Ultrastar Wie man sieht gibt es keinen Unterschied. Allerdings wunderte mich die Differenz zu der vorherigen Parität (12TB Ultrastar) beim Kopieren auf Disk1: Um ganz sicher zu gehen, habe ich den Test dann mit der 18TB Ultrastar auf Disk1 (12TB Ultrastar) wiederholt und war dann wieder beruhigt ^^ Trotzdem erstaunt mich das schlechte Abschneiden von Disk8, denn Disk8 ist nur zu 30% gefüllt, während Disk1 zu 90% gefüllt ist. Eigentlich müsste doch alleine deswegen Disk8 schlechter abschneiden, da die inneren Bereiche der Plattern ja langsamer sind. Aber vielleicht ist der Wechsel zwischen Lesen und Schreiben da wieder schneller, weil eine Umdrehung und damit der Positionswechsel schneller erledigt ist?! Jedenfalls werde ich das Gefühl nicht los, dass Unraid viel schneller sein könnte, wenn es viel größere Chunks lesen und schreiben würde. Umso kleinere Blöcke man liest und schreibt, umso größer ist natürlich der Overhead durch das ständige Neupositionieren des Schreib-Lese-Kopfes. Quote Link to comment
hawihoney Posted March 28, 2021 Share Posted March 28, 2021 On 3/22/2021 at 11:06 AM, mgutt said: Disk1 A, B, O, P Disk2 C, D, E, F, W, X Disk3 G, H, I, J, U, V Disk4 0-9, K, L, M, N, Y, Z Disk5 Q, R, S, T Darf ich fragen warum Du das machst? Hab bei mir alles wild über die Platten verteilt. Die First Level Root Verzeichnisse benenne ich überall identisch, die Buchstaben als Second Level habe ich vor einiger Zeit eliminiert. Diese Buchstaben zwingen Dich alleine durch ihre Anwesenheit zur Sortierung - die sind aber wirklich nicht erforderlich. Ich nutze keine User Shares sondern ausschließlich Disk Shares. Und ich nutze den Cache nicht als Zwischenspeicher. Alle Anwendungen haben alle Disk Shares zugeordnet. Das klappt ohne Sortierung einwandfrei. Grüße aus K nach L. Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 Meine Backup-Ziele haben nicht die selben Plattengrößen. Ich sichere daher keine Disks, sondern Shares. Wenn ich mir jetzt vorstelle, dass die Paritäten und zB Disk3 kaputt geht und da ist wirklich alles zufällig drauf, wäre das bei der Wiederherstellung kompliziert. Der nächste Punkt ist die Wartezeit, wenn man Serien schaut. Wenn jede Episode auf einer anderen Disk ist, hast du immer erst 15 bis 20 Sekunden Wartezeit. Wie gehst du mit den beiden Punkten um? Quote Link to comment
hawihoney Posted March 28, 2021 Share Posted March 28, 2021 (edited) 2 hours ago, mgutt said: Wenn jede Episode auf einer anderen Disk ist Beispiel Serien: Die sind bei mir in der Tat als Ganzes auf einer Platte. Pro Serie ein Second Level Ordner - keine Season Folder. Da kann dann mal, sehr selten, ein Verschieben von anderem Content notwendig werden. Wer rechnet denn schon damit, dass manche Serien in die 18. Staffel gehen Beispiel Filme: Pro Film ein Second Level Ordner. Backup: Ganz heikles Thema. Da bin ich paranoid. Nach über 40 Jahren in IT habe ich schon alles erlebt. Maynard Backup Bänder die gefressen werden, olle 1,4er Disketten wo sich das Blech im Laufwerk verkanntet, Backup CDs die aus der Hülle fallen und über die man aus Versehen mit dem Bürostuhl rollt. Alles, wirklich alles, schon erlebt und es wird noch mehr Möglichkeiten geben. Auf jedem Unraid Server ist eine Platte für "richtig" wichtige Sachen reserviert. Das wird alles jede Nacht synchronisiert. Von Datenbanken (MariaDB, SQLite, ...) werden Kopien sowie Dumps erzeugt. Zusätzlich gibt es drei externe und rollierende Backup Platten. Zwei landen im eigenen Safe, zwei in zwei externen Safes. Nix landet in externen Clouds. In dem "richtig" wichtigen Zeugs liegen digitalisierte Bilder die bis Anfang 1900 zurückreichen, Dokumente, ... Das ist alles mühevoll die letzten Jahrzehnte gepflegt worden. Da will ich nicht ein Byte verlieren. Unsere große Familie lacht immer darüber wenn ich bei denen die externen Backup-Platten austausche, aber wehe Nextcloud (unsere private Cloud für alle Familienmitglieder lokal wie extern) steht mal für eine Stunde nicht zur Verfügung. Da ist das Geschrei groß. Content wie Filme, Serien, etc. werden nicht dupliziert. Wenn da mal etwas weg sein sollte, egal. Edited March 28, 2021 by hawihoney Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 Ich habe über 50TB Filme und Serien. Die muss ich sichern. Zu viel Arbeit das alles noch mal zu rippen ^^ Quote Link to comment
hawihoney Posted March 28, 2021 Share Posted March 28, 2021 34 minutes ago, mgutt said: Zu viel Arbeit das alles noch mal zu rippen Verstehe ich, aber ein Duplikat dieser Art von Content kann und will ich einfach nicht mehr erstellen. Ich erzeuge täglich einen tree aller Platten. Im Katastrophenfall muss ich _hoffentlich_ nur den Inhalt einer Platte neu generieren. Da ich ohnehin vieles automatisiert habe kann ich damit leben. Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 6 hours ago, hawihoney said: Ich nutze keine User Shares sondern ausschließlich Disk Shares. 6 hours ago, hawihoney said: Hab bei mir alles wild über die Platten verteilt. Was mir da gerade auffällt. Dh "wild" ist es aber, weil du es wild draufkopierst oder wie? Weil bei Disk Shares greifen ja nicht die Verteilungsregeln von Unraid?! Quote Link to comment
i-B4se Posted March 28, 2021 Share Posted March 28, 2021 Um den Thread mal kurz zu missbrauchen Wie ist das eigentlich bei Blu Rays, benötigt man zum rippen einen speziellen Player oder kann man da irgendeinen kaufen? Meine PS4 gibt langsam den Geist auf und dann würde ich mir auch mal eine Mediathek anlegen. Quote Link to comment
mgutt Posted March 28, 2021 Author Share Posted March 28, 2021 7 minutes ago, i-B4se said: benötigt man zum rippen einen speziellen Player Nö. Es gibt wohl die Möglichkeit die Laufwerke mit einer anderen Firmware zu versehen, damit sie schneller rippen, aber auch ohne diese Modifikation gibt es da keine Probleme. Zum Rippen nutze ich ausschließlich MakeMKV und 5.25 Zoll Blu-Ray Laufwerke. 2 Quote Link to comment
jj1987 Posted March 28, 2021 Share Posted March 28, 2021 1 hour ago, i-B4se said: Um den Thread mal kurz zu missbrauchen Wie ist das eigentlich bei Blu Rays, benötigt man zum rippen einen speziellen Player oder kann man da irgendeinen kaufen? Meine PS4 gibt langsam den Geist auf und dann würde ich mir auch mal eine Mediathek anlegen. 1 hour ago, mgutt said: Nö. Es gibt wohl die Möglichkeit die Laufwerke mit einer anderen Firmware zu versehen, damit sie schneller rippen, aber auch ohne diese Modifikation gibt es da keine Probleme. Zum Rippen nutze ich ausschließlich MakeMKV und 5.25 Zoll Blu-Ray Laufwerke. Ich bin mir nicht hundertprozentig sicher, aber ich meine UHD BluRay gehen tatsächlich nur mit der modifizierten Firmware. Habe mir gerade bei den Amazon Warehouse Deals ein ASUS BW-16D1HT für 40EUR organisiert. Da werde ich dann jetzt Mal die andere Firmware draufspielen und dann Mal testen. Hat jemand Ripper im Einsatz? Das klingt ja eigentlich nach einer guten all-in-one Lösung Quote Link to comment
i-B4se Posted March 28, 2021 Share Posted March 28, 2021 (edited) Für DVD/BD nutzt er doch trotzdem MakeMKV. Da bleibe ich lieber bei einem Programm mit WebUI, da ich eh keine Musik-CDs habe Edited March 28, 2021 by i-B4se Quote Link to comment
hawihoney Posted March 28, 2021 Share Posted March 28, 2021 1 hour ago, mgutt said: Weil bei Disk Shares greifen ja nicht die Verteilungsregeln von Unraid? Die nutze ich nicht. Alle Platten werden über Disk Shares befüllt bis sie voll sind. Dann kommt die nächste dran. Ich lasse ein wenig Platz für unvollständige Serien. Hab mir das so angewöhnt und empfinde es nicht als zusätzliche Belastung. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.