JayDee73

Ähm, vielleicht habt ihr mich und meinen eingeschränkten Sachverstand gerade verloren.... Syslog spricht von "igc 0000:03:00.0 eth0: PCIe link lost, device now detached". Daraus lese ich, dass es sich um das PCI-Device "Netzwerkkarte" (also die Onboard-Intel-225) dreht. Stimmt das nicht? DataCollector schreibt ja jetzt, dass man das richtige PCI-Device erst noch finden muss. Ich dachte, das wäre eindeutig die NIC. Nicht?

Dank dir. Ich habe aktuell alleine 5 Threads hier im Forum, denen ich folge, wo dieses Board verwendet wird und wo es das gleiche Fehlerbild gibt. Könnte die Links hier posten, aber muss ja nicht sein. Ja, das könnte ich noch probieren. Nicht hart aspm=off für alles setzen und damit alle Devices rausnehmen, sondern tatsächlich nur die Intel-NIC. Da muss ich mal schauen, welcher Befehl da zu verwenden ist. Wird sich vermutlich hier im Thread oder im Powertop-Thread irgendwo finden. Bin kein Linux-Spezi....

Moin! Da es im Wesentlichen ein Stromsparthema ist, poste ich mein Problem mal hier. Ich habe ein Gigabyte B760I MiniITX (mit Intel 2,5G Onboard), welches nicht stabil läuft. Zumindest nicht, sobald die üblichen Stromsparmechanismen aktiviert werden (ASPM, C-States, Powertop selbst war aber noch gar nicht aktiv). Es gibt zahlreiche Leidgenossen hier im Forum mit dem gleichen Board und dem gleichen Problem. In unregelmäßigen, nicht reproduzierbaren Abständen steigt die NIC aus, im Syslog steht dann: Unraid kernel: igc 0000:03:00.0 eth0: PCIe link lost, device now detached Workarounds, die mir jetzt einfallen (oder im Netz schon empfohlen wurden): a) pcie_port_pm=off pcie_aspm.policy=performance (was den Stromverbrauch erhöht, da dann auch alle anderen Devices ASPM=off sind (siehe Screenshot anbei). Da ich ja gerade stromsparen will, erscheint mir das nicht als die beste Option. Aber das System liefe damit zumindest stabil. b) Es gibt ein Github-Repo, wo jemand ein Script geschrieben hat, welches regelmäßig im syslog nach diesem Eintrag schaut und dann die NIC einmal deaktiviert und wieder aktiviert. Das scheint zu gehen, aber das ist ja eher rumdoktorn an den Symptomen als dass es Ursachenbekämpfung ist. c) Board tauschen gegen eins, was keinen Stress macht (welches ITX-Board käme in Frage)? d) separate PCIe-NIC verwenden und die Onboard-NIC kaltstellen. Was nimmt man da? RTL? Oder ne Intel 226? Oder macht eine gesteckte 225 vielleicht keinen Stress? Welche PCIe-NIC (1G würde mir reichen, 2.5G wäre für die Zukunft nice to have) kann ASPM und tiefere C-States? Wobei auch diese NIC dann wieder zusätzlich Strom verbraucht, was so ja eigentlich nicht zwangsläufig notwendig gewesen wäre... Habt ihr dazu Ideen oder Vorschläge? Und vielleicht auch nochmal zum technischen Problem: Was mich wundert: Im Syslog kam die Detach-Meldung gestern um 20.19 Uhr. Ich habe abends einen Film geschaut, der vom Unraid-Server gestreamt wurde. Der Film brach allerdings erst gegen 20.50 Uhr ab, sprich da war die Verbindung erst weg, bzw. da habe ich es gemerkt. Ok, es wird vielleicht etwas gepuffert, aber dass die Verbindung trotz Detach noch 30min funktioniert, ist doch auch komisch, oder? Vielen Dank für eure Unterstützung. Gruß, JD

Öhm, hast du dann auch das Gehäuse getauscht? Das (ursprüngliche) B760I ist ja Mini-ITX und das B760M ist Micro-ATX. Das mit ECC wäre für mich nicht ausschlaggebend. Das B760I kann auch kein ECC.

Kannst du mir sagen, welches Board du konkret jetzt im Einsatz hast?

@skycptn There are several users here working with the Gigabyte B760I and some are facing the same problem (me included, see my postings in other related threads). I am gathering informations of what exactly is causing this behavior. ASPM could be one reason. But there are also user with the B760I running fine for months without a crash at all. At the moment, I assume it could be one of these things: ASPM enabled in BIOS (and using powertop within Unraid) WoL activated C-States enabled in BIOS (and using powertop within Unraid) EEE (Energy efficient Ethernet) enabled for the NIC I have used my system with the following things activated/deactivated for the last 20 days with no crash: ASPM enabled in BIOS (but no Powertop) C-States deactivated WoL active EEE not active So this seems to be a stable environment. But this is not max. power saving, so I want to go further... I am now testing with: ASPM enabled in BIOS (but no Powertop) C-States enabled in BIOS (with C8 highest, no Powertop) WoL deactivated (one user suggested to deactivate this if not needed) EEE not active If this is running stable for the next 20 days or so, I will try with powertop.

Noch ne Idee: Vielleicht gibt es auch unterschiedliche Board/Chip-Revisionen. Könnt ihr mal schauen, was bei euch unter Tools/System Devices für die NIC angezeigt wird? Bei mir steht da: IOMMU group 14:[8086:15f3] 03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I225-V (rev 03) (also Revision 3)

I am dealing with the same issue. In my case running an Intel-based CPU (Gigabyte Mobo with 2.5G Intel 225 NIC onboard). Same occasional crashes, same syslog error message. About 14 days ago I deactivated all ASPM BIOS settings and all C-State settings. Also everything related to powertop tweaking in Unraid. Since then, no crash. You may give this a try yourself… Nevertheless this should not be the final solution for me, as the server consumes more energy than necessary…but to track things down I started „from scratch“. I am abroad at the moment, so I cannot tweak anything in BIOS. I will try to re-activate things as soon as I come back.

Ok, gut zu wissen. Das es mit 2,5G mehr Probleme geben kann als mit 1G, hatte ich auch schon gelesen. Daran kann es bei mir allerdings nicht liegen, denn ich habe den Server auch nur an einem Gigabit-Switch. Damit ich das vielleicht noch besser eingrenzen kann: Könntest du mir noch sagen, welche Unraid-Version und welche BIOS-Version du nutzt? Und hast du im BIOS ASPM und C-States alle auf ENABLED? Und nutzt du powertop?

…und ich hänge mich gleich auch noch mit dran, weil es hier weitere User mit dem B760I DDR4 gibt. Allerdings primär nicht wegen Stromsparfragen, sondern wegen Stabilitätsfragen. Ich betreibe das Board auch seit einigen Wochen und habe unregelmäßige Aussetzer der Intel NIC. Wie auch hier und hier beschrieben. Die NIC „disconnectet“ sich dann mit folgender Meldung im Syslog: igc 0000:03:00.0 eth0: PCIe link lost, device now detached Lokal komme ich noch an das System, aber ansonsten hilft dann nur Reboot. Und alle Docker etc. sind natürlich ab dem Moment auch nicht mehr erreichbar, was also ein nicht-nutzbares System bedeutet… Das Problem haben auch weitere User mit diesem Board hier im Forum bestätigt. Auch bei reddit gibt es dazu Einträge. Habt ihr, als weitere User des B760I, dieses Problem auch bemerkt? Ich versuche herauszubekommen, ob das an bestimmten BIOS-Einstellungen, BIOS-Versionen, Unraid-Versionen oder sonstigen Punkten liegt. Oder vielleicht doch sogar ein Hardware-Defekt ist.

Hmm….habe gerade in einem anderen Fred „herausgefunden“, dass BIOS-Versionen mit Buchstaben immer Beta bedeuten. Das war mir bisher so nicht bewusst und wurde auf der Bios-Downloadseite von Gigabyte auch nicht explizit erwähnt. Ich werde also nach meiner Rückkehr zumindest auf F9 zurückgehen (sofern möglich). Und dann nochmal mit den Bios-Einstellungen von mgutt neu testen. Erstmal ohne Powerstop. Wenn das 2-3 Wochen klappt ohne Netzwerkprobleme, dann würde ich Powertop noch aktivieren.

Ok, Danke! Ich bin mit 6.12.13 eingestiegen und würde auch nur ungern so weit zurück gehen (falls das überhaupt möglich ist). Ich weiß auch nicht, ob ich das BIOS auf F7 downgraden kann. Ansonsten hatte ich mMn auch weitestgehend die Einstellungen von mgutts Thread übernommen. Ich sehe aber gerade, dass ich mich oben zwar auf einen Thread beziehe, diesen aber gar nicht verlinkt hatte. Ok, hier nochmal nachgeholt: Ich werde dann nochmal weitere Infos sammeln. Vielleicht melden sich Jabberwocky und Manyak ja auch noch. Bin eh die nächsten zwei Wochen außer Landes und habe keinen direkten Zugriff auf den Server. Rumspielen geht also derzeit eh nicht.

Hallo @Jabberwocky @Quarkmax @Manyak Betreibt ihr eure Unraid-Systeme noch mit dem B760I Aorus Pro DDR4? Ich habe mir auch ein Unraid-System vor einigen Wochen aufgesetzt, ebenfalls mit diesem Board. Leider stürzt das System unregelmäßig ab, was an der Kombination ASPM/C-States/EEE und der Intel NIC zu scheinen liegt (siehe auch diesen Thread, wo ich das Problem geschildert hatte und der User @Der_D1D1 das auch bestätigt. Habt ihr dieses Problem nicht? Trotz 24x7 Dauerbetrieb? Und ASPM aktiv? Dann würden mich eure BIOS-Settings dazu nochmal interessieren. Und ob ihr mit Powertop arbeitet (wovon ich ja ausgehe…). Und welche BIOS-Version (bei mir die neueste F11). Ich halte das ja für recht unwahrscheinlich, dass das Board bei manchen diesen Fehler zeigt und bei anderen nicht… Gruß, JD

Ok, Danke! Einerseits gut, dass das Problem nicht nur bei mir auftaucht, aber andererseits natürlich auch unschön, dass es anscheinend ein grundsätzliches Problem ist. Für mich zum Verständnis: Der Passus "append vfio_iommu_type1.allow_unsafe_interrupts=1" hat mit der Intel NIC aber nichts zu tun, oder? Ich habe auf Reddit einen Thread dazu gefunden, da wird lediglich "pcie_port_pm=off pcie_aspm.policy=performance" als potentielle Lösung genannt. Und was hast du im BIOS konfiguriert? ASPM trotzdem überall auf ENABLE? Und die C-States? Auch alle enabled? Und was ist mit EEE? Ist das aktiv oder hast du das auch auf off? Hattest du mal in Erwägung gezogen, die onboard-NIC abzuschalten und eine dedizierte PCIe-NIC zu stecken (und damit wieder ASPM nutzen zu können)? Ich habe allerdings kein Gefühl dafür, ob das stromverbrauchstechnich überhaupt einen Vorteil bringen würde...

Hey @mgutt, darf ich mal fragen, wie lang und intensiv deine Tests mit dem Gigabyte B760i waren/sind? Ich habe vor einigen Wochen einen Unraid-Server mit diesem Board aufgesetzt und leider läuft das System nicht stabil. In unregelmäßigen Abständen (tlw. mehrere Tage) ist Unraid nicht mehr erreichbar. Nachdem ich Syslog aktiviert hatte, fand ich diese Meldung: igc 0000:03:00.0 eth0: PCIe link lost, device now detached Also die Netzwerkkarte macht irgendwie Stress. Gibt auch einen anderen Thread, wo schon mal jemand davon berichtet hat. Ist eine onboard Intel 225, die bei mir mit 1Gbit läuft. Ich hatte bisher ASPM on und alle C-States auf enabled. EEE war "vermutlich" auch an, weil ich Powertop hab laufen lassen. Könnte sein, dass eins davon der Grund für den Fehler ist. Ich habe jetzt alles auf OFF gestellt, seit 2 Tagen läuft es nun damit ohne Probleme. Meine konkrete Frage: Konntest du bei längeren Tests dieses Problem bei dir auch feststellen und wenn ja, hast du dich damit beschäftigt und eine Maßnahme ergriffen, mit der es dann stabil lief? Danke & Gruß, Stefan

Hi @eLpresidente: Der Thread ist ja schon etwas älter, aber ich habe bei meinem neuen Unraid-System das gleiche Problem. Sporadisch ist der Server nicht erreichbar. Nachdem ich Syslog aktiviert hatte, war ebenfalls folgender Eintrag vor dem "Absturz" bei mir zu finden: igc 0000:03:00.0 eth0: PCIe link lost, device now detached Also (vermutlich) gleiches Fehlerbild wie bei dir. Konntest du das Problem bei dir letztendlich lösen? Wenn ja, womit lief es dann stabil? C-States auf C9? EEE off? Beides? Oder noch weitere Dinge? Und was für eine NIC hast du denn? Onboard? Wenn ja, welches Board? Gruß, JD

Öhm, vielleicht hätte ich vorher mal im Forum suchen sollen...Es gibt alte Threads mit der gleichen Frage. Und als Antwort, dass man das immer ins Verhältnis zur Gesamtanzahl der Pakete setzen muss. Das sind bei mir 359324162, und damit ein Ratio von 0,000028%. Vielleicht also doch kein Problem... Wobei ein ungutes Gefühl bleibt, weil ja alle anderen Werte 0 sind...

Hi zusammen, ich "erforsche" noch mein relativ frisch installiertes Unraid. Habe dabei gerade gesehen, dass es beim Netzwerkinterface auf dem Dashboard ein Dropdown-Menü gibt für diverse Infos, u. a. auch ein "Errors-Info". Und da sehe ich überall eine Null, außer bei Receive-Drops: Das System läuft aktuell knapp zwei Stunden, also 9000 Drops in 2 Stunden. Da alle anderen Werte 0 sind, würde ich irgendwie denken, dass das nicht so sein soll... :-( Das ist eine Onboard-NIC auf dem Gigabyte B760I Board (intel 2,5G NiC, läuft aber auf 1G). Ich würde mich freuen, wenn da mal jemand mit etwas Wissen helfen könnte... Danke, JD

Dank dir. Ja, dieses GitHub-Repo hatte ich bei meinen Recherchen auch bereits entdeckt. Aber aufgrund des nicht signierten Treibers und dem Testsigning ist das für mich eher keine Option. Und gemäß eines Issues in dem Repo ist ein Signing auch nicht zu erwarten. Und daran kranken anscheinend irgendwie alle Win-Clients, die ich noch so finden konnte. Wobei in diesem Repo ja noch auf das Repo von czesanne(?) verwiesen wird, der soll angeblich signiert sein. Wird aber wohl schon länger nicht mehr gepflegt, daher kann ich nicht so richtig einschätzen, ob das der Weisheit letzter Schluss ist…

Hallo zusammen, seit ca. zwei Wochen bin ich dabei, meine Syno gegen ein Unraid-System abzulösen. Über die meisten Anforderungen hatte ich mir vorher Gedanken gemacht, aber eine Sache fällt mir anscheinend auf die Füße, was ich so nicht ansatzweise erwartet hätte 😔: Ich habe auf der Syno das kostenpflichtige Tool virtualhere verwendet, um ein USB-Device im Netzwerk (u. a. für zwei Windows Rechner) bereitzustellen. Die Syno war dabei der USB-Server, dafür gab es ein dediziertes Paket vom Hersteller. Für Unraid hat er leider kein Paket und ich habe nur diesen alten Thread dazu gefunden, wo auch der Hersteller selbst was geschrieben hatte. Ein dediziertes Plugin für Unraid gibt es wohl bis dato nicht. Aber der Hersteller schreibt, dass man den Server auf jedem Linux installieren könnte. Aber das kann ich ja vermutlich nicht einfach mal so irgendwo auf dem Unraid installieren?! Oder kennt ihr noch Alternativen? Es gibt ja noch ein USB-Manager Plugin, was anscheinend auch USBoverIP bietet, aber mir scheint da das passende Gegenstück, also ein Windows Client, ein Problem zu sein. Falls ihr dazu noch Meinungen, Tipps oder gar Lösungen habt, wäre ich sehr dankbar. Ansonsten bin ich bisher recht angetan von Unraid. Gruß, JD