DerTom
-
Posts
61 -
Joined
-
Last visited
Content Type
Profiles
Forums
Downloads
Store
Gallery
Bug Reports
Documentation
Landing
Posts posted by DerTom
-
-
Hi JorgeB
2 hours ago, JorgeB said:Please post the diagnostics.
I had some help by ich777 - as I do use his plugin for MellanoxCards - and the solution was that I had to delete the network configuration files (network.cfg and network-rules.cfg from /boot/config).
Thank you!
Tom -
19 hours ago, ich777 said:
I don't see why your card should not work:
04:00.0 Ethernet controller [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003] Subsystem: Mellanox Technologies ConnectX-3 10 GbE Single Port SFP+ Adapter [15b3:0055] Kernel driver in use: mlx4_core Kernel modules: mlx4_core 06:00.0 Ethernet controller [0200]: Mellanox Technologies MT27710 Family [ConnectX-4 Lx] [15b3:1015] Subsystem: Mellanox Technologies Stand-up ConnectX-4 Lx EN, 25GbE dual-port SFP28, PCIe3.0 x8, MCX4121A-ACAT [15b3:0003] Kernel driver in use: mlx5_core Kernel modules: mlx5_core 06:00.1 Ethernet controller [0200]: Mellanox Technologies MT27710 Family [ConnectX-4 Lx] [15b3:1015] Subsystem: Mellanox Technologies Stand-up ConnectX-4 Lx EN, 25GbE dual-port SFP28, PCIe3.0 x8, MCX4121A-ACAT [15b3:0003] Kernel driver in use: mlx5_core Kernel modules: mlx5_core
Both your ConnectX3 and ConnectX4 are detected and running.
You can delete network.cfg and network-rules.cfg from /boot/config, reboot and see if that changes anything (keep in mind that your server may have another IP and it is not reachable on the IP where it was before).
I had to delete the two network config files. Right now it seems to work.
-
1
-
-
21 hours ago, ich777 said:
Hi ich777!
Thank you for your short dated reply! That is what I thought also after having read about the connectx-4 cards and unraid.
What comes to my mind... I just installed the new card and changed the assignment for the first eth-port to the new nic within network settings. Is it that I have to 'reset' the network before assigning the nic?I added the diagnostics-file
-
Hi!
I'm trying to get my Mellanox ConnectX4LX MCX4121A-ACAT working with unraid. Started with the 'German' and the 'General Support' sub-forums before I remembered that I used your plugin to get the ConnectX-3 working.
Right now it seems that my connectX-4 nic isn't supported.Quotemstconfig q
Device type: ConnectX4LX
Name: MCX4121A-ACA_Ax
Description: ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; ROHS R6
Device: /sys/bus/pci/devices/0000:06:00.0/config...
-E- Unsupported device
Is there a chance to get this card working with unraid also? What is it that I have to do?
Kind regards,
Tom -
Hi!
In the german subforum I posted my question about my MCX4121A Mellanox card which seems to be 'unsupported'.
Quotemstconfig q
Device type: ConnectX4LX
Name: MCX4121A-ACA_Ax
Description: ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; ROHS R6
Device: /sys/bus/pci/devices/0000:06:00.0/config...
-E- Unsupported device
As I do not have an answer or a solution I kindly ask for your help also.
Is there a way to get this card working with unraid (6.12.6)?
I found this threadwhere an MCX4121a is used also - I know it is the dual 10G, not the dual 25G... but there seems to be a way to get this working (driver modul!?)
I just don't know what and how to get this done...
Kind regards,
Tom -
Hallo zusammen,
ich nutze Unraid 6.12.6 und bemühe mich eine Mellanox ConnectX-4 MCX4121A-ACAT einzubinden, was mir nicht gelingen will...
Mir stellt sich nun die Frage, ob ich einen Fehler mache oder Unraid hier weitere Einstellungen benötigt. Wenn ich richtig Mr. Google genutzt habe, dann haben mehrere Nutzer 40 und 100Gb-Karten im Betrieb, darunter auch ConnectX-4!?
Die Karte wurde auf die letzte verfügbare Firmware-Version gebracht. Genutzt wird ein 10G/25G-Transceiver von FS.com. Diese Kombination funktioniert unter Windows ohne Probleme.
Die Abfrage unter Unraid zeigt in der letzten Zeile ein '-E- Unsupported device' - was nicht so schön wäre...Quotemstconfig q
Device type: ConnectX4LX
Name: MCX4121A-ACA_Ax
Description: ConnectX-4 Lx EN network interface card; 25GbE dual-port SFP28; PCIe3.0 x8; ROHS R6
Device: /sys/bus/pci/devices/0000:06:00.0/config...
-E- Unsupported device
Kennt jemand hier die Ursache bzw. Lösung und lässt mich daran teilhaben?
Viele Grüße
Tom
-
Ich denke, dass ich den Fehler gefunden habe...
Ich hatte in den Netzwerkeinstellungen eine zweite IP in einem anderen VLAN vergeben (Nur die IP, kein Gateway definiert).
Scheint nicht die richtige Vorgehensweise zu sein, um die smb-Shares auch in anderen VLANs verfügbar zu machen...
-
Hallo zusammen,.
ich habe aktuell das eigenartige Verhalten, dass sich die Verbindung zu Docker-Containern nach einigen Sekunden beenden. Dies passiert nicht nur bei einem Container - getestet für jellyfin und luckybackup bezüglich Terminal/Console.
Auch die Verbindung zur luckybackup-WebUI beendet sich nach einigen Sekunden -> noVNC. Lade ich die Seite von luckybackup neu, ist diese - für ein paar Sekunden - wieder erreichbat, um sich dann wieder zu verabschieden.
Die WebUI von jellyfin läuft hingegen stabil, hier ist nur das Terminal betroffen.
Kennt jemand dieses Verhalten und kann mir diesbezüglich unter die Arme greifen?
Vielen Dank!
Tom -
Hi,
just to let you know that I experienced the same thing now with 6.12.0-rc7. Until rc6 all was fine. With rc7 I had to add 'modprobe ddbridge' to the go-file to have the module loaded. -
Hallo Hoopy,
ich habe das Problem gefunden. Ich habe in dem go-file (nach dem Aufruf GUI) den USB-Stick wieder 'umounted' und die kopierte Datei/keyfile gelöscht. Das ist wohl etwas zu schnell, so dass, wenn die Festplatten entschlüsselt werden sollen, die Datei fehlt. Es funktioniert, wenn ich die keyfile-Datei nicht lösche.
Da diese Datei aber nicht auf dem Server verfügbar sein soll, muss ich den Befehl zum löschen der Datei etwas verzögern...
Viele Grüße -
On 5/30/2023 at 3:43 PM, Hoopy said:
Mittlerweise weiß ich aus dem Englischen Teil des Forums den Grund meines Problems: Ich habe auto-start für den array enabled und hole dafür den passphrase beim booten von einem anderen Server. Soweit so gut. Aber wenn der Array gestartet ist, lösche ich diese Datei, d.h. der passphrase steht für den nachfolgenden format nicht mehr zur Verfügung und die GUI gibt mir keine Möglichkeit ihn einzugeben. Außer man benutzt das UD plugin, dort kann man den passphrase eingeben.
Interessant - da ich gerade vor dem Problem stehen, dass ich das Array ebenfalls automatisch starten möchte, allerdings nicht über das Netzwerk.
Folgendes habe ich gemacht:
- Laufwerke mit zfs encrypted formatiert (passphrase genutzt)
- für alle Laufwerke in einem anderen slot ein keyfile (/root/keyfile) ergänzt
- go-Datei angepasst mit
#1 mount usb (mit uuid) nach /mnt/addons/usb
#2 keyfile nach /root/keyfile kopiertund als letzte Befehle in der go-Datei
#3 usb umount
#4 rm /root/keyfile=> Array wird nicht automatisch gestartet
Versucht in Unraid das keyfile zu ergänzen, damit unraid davon Kenntnis erlangt (die einfache Ergänzung des keyfiles in einem weiteren slot scheint ja nicht zu funktionieren)
=> geht nicht, da unraid auf dem Server selbst die Auswahl von '/root/keyfile' nicht ermöglicht - kein Auswahlfenster bei Nutzung des Buttons.Vom PC auf dem Server eingeloggt. Jetzt kann ich zwar ein keyfile auswählen, welches aber auf dem PC liegen muss. Auswahlfenster zeigt nur die Laufwerke auf dem PC. Dort keyfile hinkopiert und ausgewählt
=> Automatischer Start funktioniert nicht
Mit anderen Worten, ich muss immer (noch) die passphrase eingeben, damit das Array gestartet wird!?
Was habe ich nicht gelesen?
Hinweis: ich nutzte 6.12-rc6
-
26 minutes ago, Hoopy said:
Hallo Tom,
genau so, wie von dir beschreiben, hab' ich's gemacht. ABER bei Schrit 8 bekomme ich keine Möglichkeit die passphrase einzutippen. Bisher dachte ich, das sei kein Problem, da die passphrase ja schon bekannt sein müsste von den anderen Platten.
Langsam dreh' ich am Rad und greife zu verzweifelten Maßnahmen. Momentan mache ich einen pre-clear auf eine weitere unbenutzte Platte und werde dann versuchen im unassigned-devices plug-in diese Platte mit xfs-encrypted zu formatieren. Dort habe ich die Möglichkeit eine passphrase einzugeben, wobei dort steht, wenn man nichts eintippt, wird die bereits bekannte passphrase verwendet. Mal sehen was passiert. Der pre-clear dauert matürlich wieder ...
Viele Grüße
@Hoopy
nur die Ruhe, konnte auch den Wald vor lauter Bäumen nicht mehr sehen...
Ich bin mir nicht sicher, ab welchem Zeitpunkt die Möglichkeit zur Eingabe der Passphrase angezeigt wird. Wenn Du die 'alte' Platte noch im Zugriff hast, würde ich nochmals testen, ob die Eingabefelder nicht erst mit Setzen des Häkchens bei der Option zum Formatieren der Festplatte angezeigt werden (wäre dann in Schritt #9 (korrigiert, hatte #8 doppelt). Die stehen da nicht immer... auch muss die Platte nicht durch den pre-clear... geht schneller.
Ansonste - wenn ich es heute noch schaffe - schaue ich mal, wie ich meine letzte Festplatte auf encrypted setze und wann auf diese Felder zugegriffen werden kann.
Viel Erfolg! -
16 hours ago, Hoopy said:
Ich habe quasi das gleiche Problem mit 6.11.5 und xfs-encrypted. Ich will eine neue disk hinzufügen. Dazu habe ich ein pre-clear drüberlaufen lassen, dann die disk auf xfs-encrypted gesetzt, die disk hunzugefügt und das array wieder gestartet. Nach 7 Stunden war es dann fertig aber bei der disk erscheint "Unmountable: volume not encrypted". Ich habe jetzt auch das default disk formet auf "xfs-encrypted" gesetzt und nochmal probiert, aber es hilft nicht. Wenn ich die disk formatiere erscheint für etwa 2s "formatting" aber dann springt die Anzeige wieder auf "Untom-diagnostics-20230529-1830.zipmountable: volume not encrypted". Hat noch irgendwer eine Idee, da die Lösung von DerTom bei mir nicht hinhaut.
Hallo Hoopy,
ich bin mir jetzt nicht sicher wie Du vorgegangen bist, da Du nicht auf die 'passphrase' eingehst, die auch zu setzen ist. Die ''7 Stunden" würde ich jetzt auch auf die Erstellung eines Parity-Drives zurückführen...
Bei mir habe ich die folgenden Schritte ausgeführt (aus dem Gedächtnis, da ich nicht vor dem PC sitze):
#1 Array stoppen
#2 die zu verschlüsselnde Festplatte aus dem Array entfernen
#3 Festplatte wird dann unter 'unassigned devices' gelistet#4 Festplatte komplett löschen (clear-Funktion in unassigned devices)
#5 Die Festplatte wieder in das Array aufnehmen
#6 Auf 'Disk X' klicken (Eigenschaften für die jeweilige Festplatte)
#7 Es wird der Reiter 'Disk x Settings' angezeigt. Dort 'file system type' auf xfs/zfs encrypted setzen (apply und done)#8 Array starten
#9 Main zeigt dann ganz unten unter 'Array Operation' an, dass diese Festplatte formatiert werden muss. Gleichzeitig kann man dort die Passphrase eingeben
#10 Formatierung durchführen - sollte nur ein paar Sekunden dauern (habe hier 12TB Festplatten, Dauer ca. 20 Sekunden (ZFS))
#11 Unter Array Devices wird die Festplatte jetzt mit einem grünen Schloß und dem ausgewählten Dateisystem angezeigt.
Viele Grüße -
nicht zu glauben... den ganzen Tag verschwendet...
Falls jemand die Antwort zu meiner Frage braucht...
Unraid formatiert die disk nicht auf Grundlage der allgemeinen Vorgaben unter 'Settings - disk settings'. Es hat jetzt funktioniert, als ich für das Laufwerk direkt als filesystem 'zfs encrypted' eingegeben habe....
Viele Grüße -
Hallo zusammen,.
ich habe heute versucht mein Array auf encrypted umzustellen. Dafür habe ich in einem ersten Schritt#1 eine bereits im Array eingebundene Festplatte mit unbalance geleert
#2 eine komplett neue Festplatte einzubinden versucht.
Beide Alternativen hatten keinen Erfolg. Ich bekomme die (leere) Disk zwar angezeigt und kann diese in das Array einbinden, in dem Moment aber, in dem ich dann diese Disk mit xfs/zfs encrypted formtieren möchte, wird das Laufwerk als 'Unmountable: Unsupported or no filesystem' gelistet!?? Es erfolgt keine Formatierung!?
Als default filesystem habe ich xfs/zfs encrypted versucht und vor dem Formatieren eine entsprechende passphrase eingegeben.
Komme nicht weiter und hoffe auf Hilfe... Nutze 6.12-rc6
Viele Grüße und ein schönes Pfingstwochenende! -
3 hours ago, saber1 said:
Es geht um die Dienste:
Settings > Docker
Settings > VM-Manager
Ja,, beide Dienste waren disabled.
-
13 hours ago, Ford Prefect said:
Das Daten dabei verloren gehen? nein.
Ich habe selbst nach der Standard-Vorgehensweise meinen Cache von BTRFS auf ZFS umgestellt.
Das "problem" mit dem langsamen mover für das Docker-Container (unter system) Verzeichnis hatte ich auch...abgebrochen und den Verzeichnisbaum zuerst dann gelöscht...da es BTRFS basiert ist und auf ZFS migriert werden soll, muss man die Docker eh neu laden, wenn Docker ein Verzeichnisbaum und keine vdisk ist.
Was man braucht/behalten muss ist das appdata Verzeichnis.
...bei mir hat das prima funktioniert....warum bei Dirr nicht kann man von hier nicht wirklich nachvollziehen.
Auch das Daten vom Array betroffen sind, soweit ich verstehe, ist mir schleierhaft. Bist Du sicher, dass Docker- und VM-Dienste gestoppt waren, ach als DU manuell, ohne mover verschoben hast?
Wie gesagt, für mich nicht zu rekonstruieren...
Hallo Ford Prefect,
die Docker-Container und die VMs waren beide deaktiviert.
Ich vermute einen Zusammenhang damit, dass 0,2 TB an Daten unter 'system' auf dem cache-drive nach dem kopieren auf das Array auf einmal über 2,0 TB belegten. Mit dem Löschen dieser Dateien - die ja unter system liegen sollten, die anderen shares waren alle vollständig gesichert (zumindest nach der Anzeige) - werde ich wohl auch Dateien erwischt haben, die nicht nur unter 'system' lagen.
Warum kapiere ich nur nicht... Mist -
Tja, Umstellung habe ich vorgenommen, dafür fehlen jetzt diverse Dateien...
Da die letzten 200 GB durch den mover nicht bewegt wurden, habe ich diese direkt von der cache-disk auf das array geschrieben. Warum dabei 2TB an Daten auf das array gekommen sind ist mir nicht begreiflich - schließlich wurden auf dem cache-Laufwerk nur diese 0,2GB angezeigt. Die Dateien wurden nach 'system' kopiert, da es sich um docker-container handelte. Alle anderen shares waren als gesichert=grün markiert. 'ZFS-cache' Laufwerk erstellt und Array gestartet.Docker-container neu erstellt und gestartet. Alte Konfiguration wurde geladen -> alles gut, dachte ich...
Die alten container (Ordner docker unter system) habe ich dann gelöscht.
Nun sehe ich, dass mir einzelne Dateien unter dem share der filme für meinen jellyfin-server fehlen, der aber als 'gesichert' unter der Registerkarte 'Shares' angezeigt wurde.
Mal ganz abgesehen davon, dass ich jetzt div. Filmchen verloren habe, welche anderen - weit wichtiger Dateien fehlen denn jetzt noch!?Auch würde ich gerne verstehen, was da falsch gelaufen ist, um dies für die Zukunft auszuschließen.
Kennt jemand dieses verhalten?
-
38 minutes ago, DataCollector said:
Da liegt irgendetwas im Argen.
Schreiben von Cache auf Array sollte doch schon im zweistelligen MB/s Bereich liegen (bei meinen 18TB Platten sind es bis zu 70MByte/s. Kleinere Festplatten sind ggf. langsamer).
Ist Dein Array oder die Cache SSD generell irgendwo zu langsam?
Hallo DataCollector,
ich habe mir mal das Vergnügen gegönnt, den Dateitransfer etwas länger zu beobachten. Es scheint mir, dass zuerst die einzelnen Dateien in den subvolumes gelesen werden (dies ist der Vorgang, bei dem nur ein paar kb übertragen werden) und erst später der eigentliche Kopiervorgang (dann mit ca. 45 - 70 MB/s) erfolgt.
Das passt zwar grundsätzlich (Unraid soll ja bezüglich lesen optimiert sein und nicht hinsichtlich des Schreibvorgangs), ist aber doch verdammt langsam. In den letzten zwei Tagen wurden so ganze 3 GB übertragen, auf dem Cache-Laufwerk liegen noch 205 GB...
-
29 minutes ago, saber1 said:
Warum nicht einfach wie hier beschrieben vorgehen:
https://wiki.unraid.net/Manual/Storage_Management#Backing_up_the_pool_to_the_array
Link zu den Manual's generell:
Hallo saber1,
mit dem Umstellen der shares auf cache=yes und mover starten habe ich begonnen. Ich kann da nur nicht erkennen, was da gerade passiert. Nach ca. 1,5 Tagen und Transfergeschwindigkeiten von ein paar kb habe ich den Vorgang beendet und den manuellen Befehl verwendet. Damit kann ich nun zumindest verfolgen, welche Datei gerade auf das Array geschoben wird. Der Vorgang dauert aber hier nun auch beinahe wieder zwei Tage...!?
Der Mover ist ausschließlich mit den Dateien unter /mnt/cache/system/docker/docker/btrfs/subvolumes/ beschäftigt. So viele Docker-Container habe ich nicht eingerichtet und mir bleibt die Frage, warum nun subvolumes auf das xfs-Array geschoben werden? -
Hallo zusammen,
ich nutze die Version 6.12.0-rc3 und bin auf die Idee gekommen, mein Cache-Laufwerk zu erweitern und auf zfs umzustellen. Dies ist zzt. eine einzelne nvme-ssd mit btrfs als Dateisystem.
In dem thread zu 6.12.-rc2 war eine Anleitung aufgeführt, wie das alte cache-Laufwerk geleert werden kann, um dann anschließend den alte Cache zu löschen.
Mittels 'find /mnt/cache/ -depth | /usr/local/sbin/move -d 1' kann ich nun seit Tagen sehen, wie einzelne Dateien aus div. subvolumes des Ordners 'btrfs' angefasst werden - ein Vorgang, der nicht enden will.
Komisch ist m. E. auch, dass die Cache-nvme nur mit 208GB belegt, gleichzeitig aber meine Datendisk 1 nun um beinahe 1 TB zusätzlich belegt ist. Andere Prozesse laufen nicht (VMs und Docker sind deaktiviert).
Ist dieses Verhalten normal? Was sollen die ganzen btrfs subvolumes auf der Datendisk 1, die mit xfs formatiert wurde? Kann ich den Ordner btrfs unter 'system' nach dem Kopiervorgang löschen?
Viele Grüße! -
Es handelt sich um eine WD Black SN850. Die neue Firmware hat leider nicht so viel gebracht - Fehler ist wieder da.
Ich werde also mal schauen müssen, was in den Thread, den jj1987 genannt hat, noch als Lösung angeboten wird.
Zur Hardware:
Ryzen 9 5950xASRock x570 taichi
64 GB ECC RAM
RX5700
-
54 minutes ago, jj1987 said:
Der part ist ein Fehler im Stromsparmodus deiner eingesetzten NVME (ich vermute Mal eine Western Digital?)
Das hatten wir hier schon:
Hallo @jj1987
vielen Dank für den Link. Habe mal die Firmware der (ja tatsächlich) WD NVME aktualisiert. Mal abwarten... -
Hallo zusammen,
durch 'Fix Common Problems' wurde ich soeben auf Fehlermeldungen zu meinem Server aufmerksam gemacht.
Das sind die entsprechenden Einträge im log:Jan 6 18:55:52 Halut kernel: pcieport 0000:00:01.3: AER: Corrected error received: 0000:10:00.0 Jan 6 18:55:52 Halut kernel: nvme 0000:10:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID) Jan 6 18:55:52 Halut kernel: nvme 0000:10:00.0: device [15b7:5011] error status/mask=00000001/0000e000 Jan 8 02:51:51 Halut kernel: mce: [Hardware Error]: Machine check events logged Jan 8 02:51:51 Halut kernel: [Hardware Error]: Corrected error, no action required. Jan 8 02:51:51 Halut kernel: [Hardware Error]: CPU:1 (19:21:2) MC13_STATUS[Over|CE|MiscV|AddrV|-|-|CECC|-|Poison|-]: 0xccccccccc35d5b00 Jan 8 02:51:51 Halut kernel: [Hardware Error]: Error Addr: 0x0000000000000000 Jan 8 02:51:51 Halut kernel: [Hardware Error]: IPID: 0x0000000000000000 Jan 8 02:51:51 Halut kernel: [Hardware Error]: Bank 13 is reserved. Jan 8 02:51:51 Halut kernel: [Hardware Error]: cache level: RESV, tx: INSN Jan 8 04:30:06 Halut root: Fix Common Problems: Error: Machine Check Events detected on your server ** Ignored Jan 8 04:30:06 Halut root: mcelog: ERROR: AMD Processor family 25: mcelog does not support this processor. Please use the edac_mce_amd module instead.Wenn ich die Meldungen richtig verstehe, dann handelt es sich um Fehler, die bereits entsprechend korrigiert wurden und ich somit nicht tätig werden muss. Ist diese Wertung so richtig?
Viele Grüße!
Mellanox ConnectX-4 MCX4121A-ACAT nicht unterstützt?
in Deutsch
Posted
Falls jemand eine Lösung für ein ähnliches Problem benötigt...
Nach Rücksprache mit ich777 wurden in meinem System die verbauten connectX-3 und connectX-4 nics von unraid erkannt. Warum auch immer musste ich die beiden Netzwerk-Konfigurationen network.cfg und network-rules.cfg aus /boot/config löschen und das Netzwerk 'neu' konfigurieren.
Zu beachten ist, dass mit dem Löschen der beiden Dateien auch der Netzwerk-Zugriff auf unraid nicht möglich ist/sein kann, da eine neue IP per DHCP vergeben wird oder die Zuweisung der nics komplett nicht passt und keine IP für unraid besteht!