Cannon

Ich habe mir jetzt 2 10 GbE Karten verbaut und die per RJ-45 ASUS XG-C100C (V2 in Windows, V3 in UnRaid) direkt verbunden. Auf den UnRaid-Sever greife ich nun über meinen Windows PC über sie separate IP-Adresse zu. Laut OpenSpeedTest habe ich 3.329 Mbps im Download und 6.338 Mbps im Upload. Auch wenn das sicherlich noch besser gehen sollte (ich habe noch mal andere Kabel bestellt) irritiert mich eher, warum der Datentransfer so langsam ist. Wenn ich direkt auf dem Server von Pool nach Pool kopiere, komme ich auf ungefähr 2 GB/s lesend und schreibend. Wenn ich aber von UnRaid übers Netzwerk auf meine SSD kopiere, dann schaffe ich nur ca. 180 MB/s. Und das komischerweise über die IP des 1 G-Netzwerkes, als auch über die IP des 10 G-Netzwerkes. Wenn ich aber das 10 G-Netzwerktrenne schaffe ich nur knapp 100 MB/s. Damit würde ich feststellen, dass da mit dem Netzwerk auch irgendwas nicht stimmt, denn obwohl ich explizit mit der 1 G-IP zugreife verwendet der dann doch den höheren Speed, aber eben auch keine 10 G. Stimmen meine Einstellungen? Irgendwas ist also falsch konfiguriert. Wenn ich den 1 G-Stecker abziehe dann geht es deutlich schneller. Das habe ich in Windows für den 2. Adapter eingestellt:

Da wo Spin-Up steht, die wachen immer wieder auf. Sind aber auch gleiche Platten, die nicht aufwachen. Alle ST sind Seagate, WDC ist Western Digital und Hitachi bzw. Toshiba steht ja dabei. Ja genau. Immer 4 Platten (eine Reihe) haben einen eigenen Stromanschluss. Die Platten sind übrigens in der Reihenfolge hintereinander in den Slots, außer die Parity die steckt in Position 24 von 24.

Ja. Wobei so richtig da nicht wirklich was einzustellen ist. Da sind ein paar Optionen bzgl. des Cache, des Backpanels usw. Aber nichts wesentliches. Hotplug kann man auch nicht konfigurieren. Und pro Disk kann man sowieso nichts einstellen oder ich habs übersehen. Aber ich habe mir noch mal den Spaß gemacht einfach mal 2 Platten in den HD-Slots zu tauschen. Die Erkenntnis dabei ist, dass es an der Platte und nicht am Slot am Controller liegt. Denn die gleiche Platte, die beispielsweise auf Port 3-3 an war ist nun auf Port 2-0 an und die andere Platte, die vorher in den Standby ging und blieb tut das auch jetzt. Was kann ich damit anfangen?

Habe ich probiert. Neuer Stick, Probelizenz und nur das Array, ohne Pool und ohne Parity eingerichtet. Die gleichen Platten wachen immer wieder auf. Liegts dann doch am Controller? Aber wieso nur bestimmte Platten?

Die Begeisterung hält sich in Grenzen. Aber bleibt ja keine andere Wahl. Natürlich. Den Spaß mit hin- und her bauen wollte ich mir ersparen. Mal noch eine Anmerkung zu den exklusiven Freigaben. Am Ende machen die genau das, was der User am Anfang beschrieben hat, dass man nämlich die direkten Pfade konfigurieren muss. Denn wenn ich z.B. in einer VM die Disk-Location mit dem Browser bearbeite, dann kann ich wählen /mnt/user/domains/Mint/ ... spätestens beim klicken auf den Namen Mint wandelt sich die Zeile dann automatisch in /mnt/cache/domains/Mint/ .. (cache ist mein Pool).

Ich weiß nicht, ob es Hardware ist oder nicht. Erscheint mir auch unlogisch, dass bestimmte Platten dann aus bleiben und bestimmte nicht. Hardware würde für mich bedeuten alles oder nichts geht. Ich habe jetzt aber alles mal umgesetzt: die smartclt aus der GO-Datei auskommentiert (sicher ist sicher, auch wenn es nicht das Problem sein soll) exklusive Shares eingerichtet alten Müll gelöscht neu gestartet Geht aber immer noch nicht. Es laufen immer wieder die gleichen Disks an. Ich habe die Diagnostic noch mal neu erstellt. Der Parity-Sync ist aber auch erfolgreich beendet. tower-diagnostics-20250207-1051.zip

Vielleicht etwas übertrieben. Laut Schätzung von Unraid aktuell noch 5,5 h, dann sind wir bei insgesam 1 Tag und 18 h. Da sind dann nun die Hoffnungen dahin. Ich probiere das dennoch mal. Irritierend ist, dass es immer die gleichen Disks sind, die online gehen. Vor allem hängt es auch nicht mit dem Kanal am Adaptec zusammen, woran die hängen.

Nee der dauert auch schon so 3 Tage. Ich hoffe dann das der das der ERSTE MAL durch ist. Ich meine auch Parity-Sync.

Sorry, ich wusste nicht, was ich tue. Deshalb besonderen Dank für die Mühe und Geduld! Mache ich wenn der Paritycheck morgen durch ist mit den letzten 3 Disks. Ja hießen dann sowas wie "New folder". Ist jetzt weg. Ich hatte Problem mit dem Parity check. Da ging dann nix mehr. Das ganze System hing. War ein Hardwareproblem, der Powerstecker an einem der HD-Arrays, war nicht fest genug und löste sich nach mehreren Stunden. Ich vermute das war das Problem. Hatte ich auf Grund der Spinup-Probleme rauf gemacht. Aber ist auch deaktiviert und wieder entfernt. Die Docker liefen dann wieder, nachdem die Probleme sich damit nicht gelöst haben. Die VM arbeitet aktuell erst mal woanders, bis die Maschine fehlerfrei läuft. Die Docker und der Rest soll aber weiter laufen. Ich lasse mich dann morgen überraschen, ob alles läuft.

Das sollte ich so machen. Das hat mir DataCollector so empfohlen, damit der Schreibcache an ist: Entschuldige, dass ich doof Frage, was hat denn er Cache damit zu tun?

Ja verstehe ich auch nicht. Ein Plugin würde ich ausscließen. Da ist nichts aktives. Meint das, dass die keinen Secondary storage haben und nur im Pool liegen? Oder ist damit was anderes gemeint? Ist dran. Was mir schon aufgefallen ist, dass der bei der parity da am Ende steht DISK_INVALID. Das hat aber sicher seinen Grund, weil das ja keine normale Datendisk ist. tower-diagnostics-20250206-1841.zip

Ich habe mal den Log aufgemacht. Sieht lustig aus, warum die angehen: Feb 6 16:07:01 Tower emhttpd: spinning down /dev/sdx Feb 6 16:07:29 Tower emhttpd: spinning down /dev/sdp Feb 6 16:07:44 Tower emhttpd: spinning down /dev/sdo Feb 6 16:07:58 Tower emhttpd: spinning down /dev/sdk Feb 6 16:08:09 Tower emhttpd: spinning down /dev/sdq Feb 6 16:08:22 Tower emhttpd: spinning down /dev/sdr Feb 6 16:08:52 Tower emhttpd: spinning down /dev/sdi Feb 6 16:09:11 Tower emhttpd: spinning down /dev/sdg Feb 6 16:10:37 Tower emhttpd: read SMART /dev/sdx Feb 6 16:11:07 Tower emhttpd: read SMART /dev/sdp Feb 6 16:11:21 Tower emhttpd: read SMART /dev/sdo Feb 6 16:11:33 Tower emhttpd: read SMART /dev/sdk Feb 6 16:11:45 Tower emhttpd: read SMART /dev/sdq Feb 6 16:11:59 Tower emhttpd: read SMART /dev/sdr Feb 6 16:12:29 Tower emhttpd: read SMART /dev/sdi Feb 6 16:12:49 Tower emhttpd: read SMART /dev/sdg Feb 6 16:25:31 Tower emhttpd: spinning down /dev/sdx Feb 6 16:25:58 Tower emhttpd: spinning down /dev/sdp Feb 6 16:26:15 Tower emhttpd: spinning down /dev/sdo Feb 6 16:26:27 Tower emhttpd: spinning down /dev/sdk Feb 6 16:26:39 Tower emhttpd: spinning down /dev/sdq Feb 6 16:26:52 Tower emhttpd: spinning down /dev/sdr Feb 6 16:27:21 Tower emhttpd: spinning down /dev/sdi Feb 6 16:27:42 Tower emhttpd: spinning down /dev/sdg Feb 6 16:29:07 Tower emhttpd: read SMART /dev/sdx Feb 6 16:29:37 Tower emhttpd: read SMART /dev/sdp Feb 6 16:29:51 Tower emhttpd: read SMART /dev/sdo Feb 6 16:30:03 Tower emhttpd: read SMART /dev/sdk Feb 6 16:30:15 Tower emhttpd: read SMART /dev/sdq Feb 6 16:30:28 Tower emhttpd: read SMART /dev/sdr Feb 6 16:30:59 Tower emhttpd: read SMART /dev/sdi Feb 6 16:31:19 Tower emhttpd: read SMART /dev/sdg Also der fährt die immer wieder runter und nach 3-4 Minuten will der die SMART-Parameter lesen und die gehen wieder an. Das ist doch wirklich etwas unsinnig. Wie kann ich das denn verhindern?

Alle Platten hängen am ASR-72405. Sonst wäre das Problem sicherlich leichter zu lösen gewesen.

Ich habe jetzt mal alle Docker beendet und auch eine VM läuft nicht. Das heißt es ist nichts aktiv, was ggf. auf ein Share und damit auf die Disks zugreifen könnte. Dennoch das gleiche Problem. Die bestimmten gleichen Platten, auch leere, fahren immer wieder hoch. Manche bleiben aber aus.

Ist bei mir ähnlich. Aber von den 8 Platten die angehen, sind 6 leer. Da ist nichts drauf. Die Docker laufen auch alle im SSD Pool. Also appdata, domains, system. Das heißt das funktioniert bei dir nur, wenn du den SSD Pool direkt zuweist, auch wenn appdata ohnehin im Pool liegt und auch kein mover hinterlegt ist?

Die Distanz ist nicht sehr groß, vielleicht 15-20m. Das ist aber ein fertiges Kabel. und das kann ich ja nur in die SFP+ Slots stecken. Ich muss ja noch das Patchpanel überbrücken, was die Netzwerkdose des PCs anbindet.

Ich habe jetzt einiges umgebaut und inzwischen scheint das System wohl zu laufen. Was mich aber irritiert, dass bestimmte Laufwerke immer wieder aus dem Spindown aufwachen. Eingestellt sind 15 Minuten. Aber manche gehen immer wieder an, gehen dann wieder im Spindown und fahren dann wieder hoch. Und es sind immer die gleichen Platten. Manche bleiben aus. Verwenden tue ich ein Adaptec ASR-72405. Muss da evtl. was eingestellt werden? Vor allem sind einige der Platten die hochfahren komplett leer. Deshalb gibt es auch gar keinen Grund, dass die hochfahren sollten.

Ich möchte das Thema noch mal aufgreifen. Ist es denn machbar sowohl an einem Windows PC, als auch auf einen UnRaid-Server mit 2 Netzwerkkarten, die eine als Direktverbindung zwischen den PCs laufen zu lassen? Braucht man da nicht ein gekreuztes Patch-Kabel? Und die 2. Frage wäre, kommt man dann mit der 2. Netzwerkkarte jeweils ins Internet bzw. Rest des gesamten Netz? Es gibt von den ConnectX-3-Karten eine unzählige Auswahl. Die CX311A braucht z.B. nur ca. 3,5 W und hat auch nur einen Port. In meinem Fall würde ich also einfach 2 davon kaufen. In meinen PC und im UnRaid Server jeweils eine Karte rein, den Switch sparen und die mittels 2x SFP+ zu R-J45 Transceiver verbinden. Oder alternativ in beiden Rechnern, also PC und Unraid die ASUS XG-C100C. Dann braucht man nix an Adaptern.

Gut, dass wir darüber gesprochen haben. 200 W waren nun nicht meine Erwartung. Ich habe damit auch gar nicht gerechnet. Dann war der Thread doch der Richtige. Schon aus Gründen der Abwärme ist jedes Watt nicht optimal. In dem Raum steht auch noch der Batteriespeicher eine Wechselrichter und die heizen schon gut. Mit der RJ45 10G-Karte war ein Missverständnis. Ich meinte da den Switch, der beides kann, also 10G RJ45 und 10G SFP+. Also doch wieder kompliziert. Auch das war mir nicht bewusst. Ich dachte das ist immer Ethernet. Um es kurz zu machen: Ich werde wohl deiner ursprünglichen Empfehlung folgen. Und zusätzlich noch mal beim Switch auf den Energiebedarf achten. Das hatte ich nie so im Blick. Ich hatte mich sowieso immer schon gewundert, warum der Standby recht hoch ist. Das mag wohl auch am bestehenden Switch liegen. Der war nie in meiner Rechnung drin.

Ich habe mir das mal alles angeschaut, auch deine ganzen sinnvollen Informationen weiter oben. So bleibt es bei meinem PC bei der ASUS XG-C100C. Die Variante mit RJ45-10G ist nicht so ganz leicht zu finden. Deshalb macht das wirklich wenig Sinn. Auch mein Link oben war wohl nicht ganz richtig. Sodass wir auf der Serverseite dann den tollen Switch nehmen könnten (RJ45 mit 10G ist zu kompliziert: https://www.ebay.de/itm/375963538779 Der hat wohl 48 x 1 GbE RJ45, 4x SFP+ 10 GbE und 2x QSFP+ 40 GbE. Das ist doch maximal flexibel. Als Netzwerkkarte dann die hier https://www.ram-koenig.de/Mellanox-MCX353A-QCBT-ConnectX-3-FDR-InfiniBand-Single-Port-QSFP-40Gb-s-PCIe-x8-Adapter-LP. Die kostet ja fast nix und hat 40G. Und dann noch ein QSFP+ DAC Kabel und dann wäre die ganze Kiste fertig. Der Sever kann dann mit 40G zum Switch arbeiten und mein PC hat 10G. Alternative wäre eben der SFP+ DAC und eine Mellanox mit 10G SFP+. Passt doch alles, wenn ich nichts übersehen habe. Das mit dem PCIe ist mir nur noch nicht so ganz klar. Steht auch nur x8, aber nicht. Laut Mainboard mit meinem Prozessor (eingebauter Grafik). wird x8 aber gar nicht unterstützt. Lediglich x16 oder x4. Wobei mir schleierhaft ist, warum ein x16 Slot nicht auch x8 unterstützen sollte und nur x4 unterstützt. AMD Ryzen™ 9000 & 7000 Series Desktop Processors* 1 x PCIe 4.0/3.0 x16 slot(s) AMD B650 Chipset 1 x PCIe 4.0/3.0 x16 slot (supports x4 mode) 2 x PCIe 4.0/3.0 x1 slots

Weil die sehr rar gesät sind. Und alles was selten ist, ist schwierig zu kriegen. Beides wäre allerdings perfekt. Und idealerweise noch im 19" Format. Wobei das sicher eine Option wäre oder? https://www.ebay.de/itm/375935338074

Also ich glaube ich habs gerafft. Der Server hat 2.5G Onboard. Da kommt dann eine 10G-Karte ConnectX-3 rein. Da muss ich nur auf PCIe achten, dass das auch bei mir passt. Es sollten aber bei mir beide Versionen gehen. Also die mit PCIe 3.0 und 4.0. Ich habe extra auf mehr PCIe - Plätzen geachtet (ASUS TUF GAMING B650-PLUS). Die Verbindung Server/Switch, beide stehen im Serverschrank passiert dann mittels SFP+ Kabel mit passivem DAC. Falls ich doch spinne und 40G nehme, dann eben QFP+ auch hier mit dem passivem Kabel. Mehrverbrauch laut Datenblätter zwischen 10G (3,47 W) und 40G (5,63 W) sind jetzt auch nicht so immens. Allerdings nur die eine Karte. Der PC hat nur 1G Onboard. Verbaut wird dann hier die ASUS XG-C100C für 10G. Die Verbindung PC - Netzwerkdose - Switch passiert dann direkt mit normalem LAN-Kabel und ich benötige den RJ45 SFP+ Transceiver an der Switch-Seite. Für 40G wäre dann der der RJ45 QFP+ Transceiver möglich. Ich glaube passt alles soweit. Einzig allein der Switch ist noch nicht ganz klar. Die meisten haben viel zu viele SFP+ / QFP+ Ports. Ein paar mehr 1G-Ports würden aber auf jeden Fall nicht schaden. Da muss ich wohl einfach suchen. Gegen gebraucht habe ich auch nichts.

Ich habe den Thread hier mal durchgelesen und hätte vielleicht noch ein paar technische Fragen. Aktuell habe ich nur einen Switch mit 1 G. Die Leitungen sind aber alle schon CAT7a. Das Patchpanel und die Dosen, bin ich nicht ganz sicher, müsste ich aber mal schauen. Ich glaube ich war da beim Bau vorausschauend. Jetzt stellt sich aber die Frage, wie ich die Sachen anbinde. Ich muss im Prinzip nur den UnRaid-Server und meinen PC verbinden übers Netzwerk verbinden. Dazu bräuchte ich entsprechend einen separaten Switch. Und mit den Steckertypen und Adaptern ist mir das nicht ganz klar: Server: Kann ich direkt mit dem zu kaufenden 10G-Switch per SFP (ohne Adapter) verbinden, ja? Also ohne diesen Transceiver ? Mein PC: Steht woanders und ist per RJ45 (Dose/Patchpanel/Switch) angebunden. Hier kommt dann so eine Karte Mellanox ConnectX-3 rein oder eine andere ggf. gleich mit 40G. Und wie bekomme ich dann auf RJ45 für die Dose? Diesen Transceiver kaufen, was man in die Karte steckt? Ist das alles abwärtskompatibel? Und die Module haben noch Längenangeben. Auf was bezieht sich das? Auf due Strecke bis zum Switch?

Is there any possibility to set it up? Normally the motherboard support pwm fans. It's an ASUS B650 Board. ASUS have there own Windows tool to set up the PWM-Fans.

The same error: /bin/ls: cannot access '/sys/devices/platform/*/*/hwmon*/pwm*_enable': No such file or directory