Stromsparen: welche 10GB Ethernet SFP+ PCIe 3.0 Karte für unraid

[Sascha75]

Nochmal ein Update zu der TrendNET 10GBe  von mir: ich hatte mich zwischenzeitlich etwas mit den Fehlermeldungen des AER beschäftigt. Diese werden wohl durch eine fehlerhafte Kommunikation zwischen PCIe Host und Gerät hervorgerufen und können alle möglichen Geräte betreffen, z.B.B auch Grafikkarten und NVME's. Teilweise hilft auch ein Umstecken auf einen anderen PCIe Slot.

Das Problem wird durch einen fehlerhaften Zugriff auf Speicher-Register des Geräts verursacht (die aber wohl nur für Verwaltungsaufgaben wie z.B. ASPM verwendet werden). Man kann die Art des Zugriffs mittels Boot-Parameter "pci=nommconf" von Speicherbereichen auf klassische IO umstellen, das habe ich getan und seitdem treten die Meldungen nicht mehr auf. Die Karte läuft im ASPM L1 Modus.

Ich habe die Karte auch nochmal mit einem genaueren Messgerät gemessen, der Mehrverbrauch gegenüber dem onboard 1Gbe LAN beträgtz 1,3W.

 

 

Edited December 5, 2023 by Sascha75

[Computerboss]

Guten Abend zusammen,

 

ich suche ebenfalls für Unraid eine 10 Gigabit Karte.

Bisher habe ich in meinem alten Dell PowerEdge T20 Mellanox Connect X3 im Einsatz, welche ich damals günstig gebraucht bei Ebay gekauft habe.

 

Diese ist per DAC an meinem Switch angeschlossen.

 

Gibt es eine aktuelle Empfehlung für Unraid für eine stromsparende 10 Gigabit Karte SFP+ in Verbindung mit DAC oder RJ45 Netzwerkkarte?

Kann man sagen was allgemein stromsparender ist? RJ45 Netzwerkkarten oder SFP+ Karten mit DAC Kabeln?

 

Sind neuere Karten viel stromsparender, gerade im Vergleich zu meiner Mellanox Connect X3?

 

2,5 Gigabit ziehe ich auch in Erwägung, da es dafür einen sehr großen Markt an Netzwerkakrten und Switchen gibt

Die Frage ist nur ob die so viel stromsparender sind?

 

Viele Grüße

 

 

[eicar]

TRENDnet TEG-10GECSFP 3.0R?

 

https://www.trendnet.com/langge/products/10g-sfp-pcie-adapter/10-gigabit-pcie-sfp-network-adapter-TEG-10GECSFP-v3

 

Maximum power coonsumption: 1.5 W

Edited Sunday at 09:35 PM by eicar

[DataCollector]

14 hours ago, Computerboss said:

ich suche ebenfalls für Unraid eine 10 Gigabit Karte.

 

Brauchst Du die 10GBLan?

 

14 hours ago, Computerboss said:

Gibt es eine aktuelle Empfehlung für Unraid für eine stromsparende 10 Gigabit Karte SFP+ in Verbindung mit DAC oder RJ45 Netzwerkkarte?

 

Einige haben es wohl geschafft die Intel X710 basierten Karten etwas auf stromsparen zu trimmen, aber 10GBLan ist in der Regel energieintensiver als beispielsweise 2,5GBLan.

 

14 hours ago, Computerboss said:

Kann man sagen was allgemein stromsparender ist? RJ45 Netzwerkkarten oder SFP+ Karten mit DAC Kabeln?

 

SFP+ mit DAC ist auf PC Seite stromsparender als 10GB RJ45.

Was der dann ertforderliche Switch verbraucht steht auf einem anderen Blatt (aber auch da ist SFP+ meist weniger "hungrig").

 

14 hours ago, Computerboss said:

Sind neuere Karten viel stromsparender, gerade im Vergleich zu meiner Mellanox Connect X3?

 

Das kann man nicht generell sagen.

 

[Computerboss]

1 hour ago, DataCollector said:

Brauchst Du die 10GBLan?

Hmm sagen wir so ich hätte es gern, bzw. ich habe schon länger eienn Switch und auch in meinem alten Dell T20 werkelt eine alte Mellanox Karte.

Ich finde es schon sehr angenehm, wenn nicht mehr das Netzwerk der Flaschenhals ist.

 

1 hour ago, DataCollector said:

SFP+ mit DAC ist auf PC Seite stromsparender als 10GB RJ45.

Was der dann ertforderliche Switch verbraucht steht auf einem anderen Blatt (aber auch da ist SFP+ meist weniger "hungrig").

Ah ok, ich bin immer davon ausgegangen das RJ45 stromsparender ist, aber das war nur eine Vermutung, danke dir

 

1 hour ago, DataCollector said:

Das kann man nicht generell sagen.

Ok, danke dir. Dann macht es denke ich garkein Sinn meine Karte zu ersetzen gegen eine neuere.

Werde dann meine Mellanox einfach umbauen

 

[DataCollector]

46 minutes ago, Computerboss said:

Hmm sagen wir so ich hätte es gern, bzw. ich habe schon länger eienn Switch und auch in meinem alten Dell T20 werkelt eine alte Mellanox Karte.

Ich finde es schon sehr angenehm, wenn nicht mehr das Netzwerk der Flaschenhals ist.

 

Dan gehe ich also auch mal davon aus, daß Du das System auch mit massig SSD Speicher aufgerüstet hast, so daß das auch wirklich etwas bringt. Denn eine Festplatte schafft ja sowieso nicht mal durchgängig 2,5GBLan auszulasten.

Und Da es Dir ja um Stromsparen geht, wirst Du das System ja bestimmt nicht im Reconstruction-Mode oder mit zfs Festplatten Raid betreiben.

 

46 minutes ago, Computerboss said:

Ok, danke dir. Dann macht es denke ich garkein Sinn meine Karte zu ersetzen gegen eine neuere.

Werde dann meine Mellanox einfach umbauen

 

Schaue Dir Dein Nutzungsverhalten genau an. Wenn Du wirklich schnellere Transfers als ca. 270MBte/s brauchst ist 10GBLan wirklich sinnvoll. Aber wie gesagt: von den Festplatten schafft man das eigentlich nicht und ob man nun beim Schreiben auf den Cache von rund 1GByte 1 oder 4 Sekunden wartet ist auch nicht wirklich so der riesige Unterschied. Oder transferierst Du spontan dann doch mal so 2-3TB an Daten in Dein unraid (wie ich in mein großes unraid)?

Edited Monday at 11:05 AM by DataCollector

[Computerboss]

4 hours ago, DataCollector said:

Dan gehe ich also auch mal davon aus, daß Du das System auch mit massig SSD Speicher aufgerüstet hast, so daß das auch wirklich etwas bringt. Denn eine Festplatte schafft ja sowieso nicht mal durchgängig 2,5GBLan auszulasten.

Hmm, Wenn ich eine Vollsicherung mache verteilt er ja die Daten auf mehrere Platten oder? Und wenn ich Unraid dann zu einem anderen PC im Netz Sicher liest er ja paralle von mehreren Platten oder verwechsel ich da was?

 

Leider gibt es bei UniFi keinen günstigen 2,5 Gigabit Switch bisher.

 

4 hours ago, DataCollector said:

Und Da es Dir ja um Stromsparen geht, wirst Du das System ja bestimmt nicht im Reconstruction-Mode oder mit zfs Festplatten Raid betreiben.

Was genau ist der Reconstrucion Mode?

ZFS hatte ich nicht angedacht ich wollte ein Verschlüsseltes XFS Array einrichten.

4 hours ago, DataCollector said:

Schaue Dir Dein Nutzungsverhalten genau an

Hast du schon recht bei meinem bisherigen Synology NAS habe ich ja ein RAID benutzt da war das was anderes hmm.

 

Sinnvoll wäre wohl 2,5 Gigabit.

 

Aber etwas anderes möchte ich wegen Client und VLAN Verwaltung nicht kaufen.

Den 10 Gigabit Switch sowie Mellanox Connect X3 Karte habe ich bereits

 

Und Gigabit ist dann in jedem Fall ein Flaschenhals.

 

Vielleicht kommt von UniFI irgendwann mal ein 8 Port 2,5 Gigabit Switch

[jj1987]

1 hour ago, Computerboss said:

Hmm, Wenn ich eine Vollsicherung mache verteilt er ja die Daten auf mehrere Platten oder? Und wenn ich Unraid dann zu einem anderen PC im Netz Sicher liest er ja paralle von mehreren Platten oder verwechsel ich da was?

Ja. UNRAID heißt UNRAID weil's kein RAID ist 😉

Ausgehend von einem Parity gesicherten Array hast du schreibend ca 1/3 der Schreibgeschwindigkeit der HDDs, bei aktuellen HDDs also so 90mb/s.

Lesend hast du die Geschwindigkeit der jeweiligen HDD. Wenn's gut läuft also vielleicht 270mb/s

Deshalb gibt es den vorgeschalteten (Schreib-)Cache. Nur muss der im Zweifel dann ausreichend groß sein.

[DataCollector]

On 4/15/2024 at 5:33 PM, Computerboss said:

Hmm, Wenn ich eine Vollsicherung mache verteilt er ja die Daten auf mehrere Platten oder?

 

Ich vermute Du hast die stromspartende Standardarbeitsweise eines Array noch nicht so ganz verstanden.

 

Falls Du vom Array sprichst: unraid schreibt die Dateien dort hin, wo Du es in der vorherigen Konfiguration vorgegeben hast.

Das bedeutet Du kannst angeben welche Disks im Array benutzt werden sollen und wie die Verteilung vorgenommen werden soll (Highwater, most free, ....)

Aber es ändert nichts dran, unraid schreibt immmer nur auf EINE Datenfestplatte im Array gleichzeitig.

Somit wäre die Schriebgeschwindigkeit bei einem Array ohne Parity bei exakt dem, was diese einzelne Festplatte kann. Und das ist eben bei den großen und neuen Festplatten irgendwo unter 300 MByte/s im Außenbereich und irgendwas so um 130MByte/s im langsamen Innenbereich der Festplatte.

Wenn man mal sie Sonderfälle der Seagatefestplatten mit 2 Kopfkämmen absieht ist das nur rund 1/4 (oder weniger) der 10GBLan Anbindung ... oder besser gesagt 2,5GBLan reichen dafür gut aus..

 

Und jetzt eine schlechte Nachricht: Wenn Du ein Array mit Parity in Standardeinstellung nutzt sinkt die Schreibgeschwindigkeit noch weiter. Da sind dann nur noch zwischen 33 und 50% der Schreibrate der Parityfestplatte zu erreichen. Somit langweilt sich sogar eine 2,5GBLan Verbindung dabei.

 

Genau deshalb schaltet man für Schreibvorgänge ja einen Pool/Cache mit SSD vor, damit der (bis zum nächsten Moverdurchlauf) alle Schreibvorgänge flott puffert.

Aber auch der wird dann irgendwann auf das langsamere Array schreiben.

 

On 4/15/2024 at 5:33 PM, Computerboss said:

Und wenn ich Unraid dann zu einem anderen PC im Netz Sicher liest er ja paralle von mehreren Platten oder verwechsel ich da was?

 

Ja, Du verwechselst da etwas.

 

Hier ist noch eine Überraschung: das da oben war jetzt nur mit Bezug auf Schreibvorgänge.

Da bei unraid im Array jede einzelne Dateien nur immer auf einer einzigen Datenfestplatte liegt, kann somit auch lesend nur die Geschwindigkeit dieses einzelnen Datenträgers genutzt werden. Und leider lesen Festplatten auch nicht signifikant schneller als sie schreiben. Also auch hier schafft man mit den modernsten/Neuesten/Größten Festplatten aktuell nur unter 300MByte/s im Außenbereich (und noch weniger im Innenbereich).

 

Erwähnte ich schon, daß Du wirklich überlegen solltest ob eine 10GBLan Anbindung Sinn macht?

 

Eine 10GBLan Anbindung kannst Du nur mit dahinter liegenden flotten SSDs sättigen. Aber das hat mit dem Array eben nichts direkt zu tun.

 

 

On 4/15/2024 at 5:33 PM, Computerboss said:

Leider gibt es bei UniFi keinen günstigen 2,5 Gigabit Switch bisher.

 

Ich habe mir ein paar ungemanagte hingestellt für die Verteilung in den Zimmern. Bei AliExpress sind die in letzter Zeit ziemlich im Preis gesunken.

 

On 4/15/2024 at 5:33 PM, Computerboss said:

Was genau ist der Reconstrucion Mode?

 

Eine Einstellung um alle Festplatten im Array gleichzeitig laufen zu lassen. Somit umgeht man die Paritybremse, verschwendet aber eben den vollen Strom für alle gleichzeitig laufen Festplatten. Also genau das, was man nicht machen will, wenn einen schon die paar Watt einer 10GBLan Netzwerkkarte stören.

 

On 4/15/2024 at 5:33 PM, Computerboss said:

ZFS hatte ich nicht angedacht ich wollte ein Verschlüsseltes XFS Array einrichten.

 

zfs ist im Array (meiner Meinung nach!) sowieso sinnlos.

Aber man kann damit in einem Pool beispielsweise 2 SSDs zu etwas wie Raid0 kombinieren und hat somit erheblich mehr flotte Kapazität um beispielsweise eben große Arbeitsprojekte da drauf zu bekommen. Viel 8k Videomaterial unkomprimiert roh frißt sich problemlos durch eine einzelne 4TB SSD und ruckzuck wird es eng.

 

Deshalb hatte ich anfangs in einem System 3 x2TB SSD zu 6TB kombiniert und in einem anderen System 4x2TB SSD zu 8TB.

Zwischenzeitlich habe ich aber die 4x2TB SSD gegen 3x8TB SSD ausgetauscht.

(Ich glaube eben viel schnellen Platz zu brauchen.)

 

On 4/15/2024 at 5:33 PM, Computerboss said:

Sinnvoll wäre wohl 2,5 Gigabit.

 

Wie gesagt: Es gbíbt Anwendungszwecke, wo 10GBLan Sinn macht. Oder es iste ben ein Nice to have, bei dem man dann eben den extra Stromverbrauch akzeptieren muß.   Aber aus Deiner bisherigen Beschreibung erkenne ich das bei Dir noch nicht.  Bevor Du da irgendwie geld für rauswirfst: probiere es erst einmal mit dem, was Du vielleicht schon hast aus. Geld 'rauswerfen' zum  Aufrüsten kann man meist immer noch.

💸 💸 💸

Edited Tuesday at 09:27 PM by DataCollector
Typo

[Computerboss]

On 4/15/2024 at 7:10 PM, jj1987 said:

Ausgehend von einem Parity gesicherten Array hast du schreibend ca 1/3 der Schreibgeschwindigkeit der HDDs, bei aktuellen HDDs also so 90mb/s.

Ah ok, das relativiert das ganze dann doch. Danke dir, das hatte ich garnicht bedacht......

 

On 4/15/2024 at 7:24 PM, DataCollector said:

Das bedeutet Du kannst angeben welche Disks im Array benutzt werden sollen und wie die Verteilung vorgenommen werden soll (Highwater, most free, ....)

Aber es ändert nichts dran, unraid schreibt immmer nur auf EINE Datenfestplatte im Array gleichzeitig.

Ah ok, danke dir ich dachte beim Schreiben können vielleicht mehrere Platten gleichzeitig verwendet werden.

Wieder was gelernt.

 

Vielen Dank dir für deine ausführliche Hilfe!

 

On 4/15/2024 at 7:24 PM, DataCollector said:

Genau deshalb schaltet man für Schreibvorgänge ja einen Pool/Cache mit SSD vor, damit der (bis zum nächsten Moverdurchlauf) alle Schreibvorgänge flott puffert.

Aber auch der, wird dann irgendwann auf das langsamere Array schreiben.

Super, vielen herzlichen Dank dir für die Erklärungen!

Verstehe nun besser Warum ein Cache noch mehr Sinn macht bzw. machen kann.

 

 

On 4/15/2024 at 7:24 PM, DataCollector said:

Erwähnte ich schon, daß Du wirklich überlegen solltest ob eine 10GBLan Anbindung Sinn macht?

Vielen herzlichen Dank.

 

Ich gebe dir recht, das kann ich mir dann wohl sparen.

 

 

On 4/15/2024 at 7:24 PM, DataCollector said:

Eine Einstellung um alle Festplatten im Array gleichzeitig laufen zu lassen. Somit umgeht man die Paritybremse, verschwendet aber eben den vollen Strom für alle gleichzeitig laufen Festplatten. Also genau das, was man nicht machen will, wenn einen schon die paar Watt einer 10GBLan Netzwerkkarte stören.

Das klingt vielleicht komisch, aber die Festplatten möchte ich alle durchlaufen lassen, da ich persönlich bessere Erfahrung gemacht habe. Auch wenn ich weiß, das genau das der Sinn hinter Unraid ist, das dies nicht sein muss.

Allerdings fahre ich seit vielen Jahren einfach sehr gut damit, das die Platten nicht in den Spindown gehen. Bisher ist noch keine kaputt und das seit echt vielen Jahren

 

Hmm da muss ich nochmal schauen wo und wie man das dann einrichtet.

Die Parity wird aber trotzdem gebildet oder?

 

Ich plane 2 Array Platten und 2 Parity Platten.

 

On 4/15/2024 at 7:24 PM, DataCollector said:

zfs ist im Array (meiner Meinung nach!) sowieso sinnlos.

Danke dir für deine Einschätzung!

 

Frisst die Verschlüsselung auch Schreib/Lesegeschwindigkeit oder geht das nur zu lasten der CPU?

 

Viele Grüße und nochmal ein riesen Dankeschön an dich für die klasse Hilfe

 

[DataCollector]

1 hour ago, Computerboss said:

Das klingt vielleicht komisch, aber die Festplatten möchte ich alle durchlaufen lassen, da ich persönlich bessere Erfahrung gemacht habe. Auch wenn ich weiß, das genau das der Sinn hinter Unraid ist, das dies nicht sein muss.

 

Alles Deine Entscheidung.

Ich persönlich sehe Festplatten die idle spindown sind eher als langlebiger an, als welche, die dauerlaufen. Aber das ist eben ein Vergleich, bei dem keiner gewinnt, da wir das nur einschätzen aber nicht belegen können.

 

1 hour ago, Computerboss said:

 

Die Parity wird aber trotzdem gebildet oder?

 

Wenn Du Parity eingestellt hast, wird die auch gebildet und benutzt.

 

1 hour ago, Computerboss said:

Frisst die Verschlüsselung auch Schreib/Lesegeschwindigkeit oder geht das nur zu lasten der CPU?

 

xfs-enc (encrypted) frisst nur minimal CPU Leistung.