WebUI hängt, root pwd geht nicht, waaahhh!

[Ford Prefect]

....sorry für den Betreff, aber *das* hatte ich bislang noch nicht.

 

• Heute Abend festgestellt, dass das WebUI nicht mehr "hochkommt"...jeder Browser das gleiche Bild, von unterschiedlichen PCs...es kommt nur die "headline" und nur die ersten Hauptmenues "links", Dashboard, Main, Shares" (die aber nicht anklickbar sind).
• Tastatur/Monitor (via KVM) ohne Funktion
• Netzwerk geht noch, alle Docker mit WebUI laufen, VMS auch.....ping usw. unauffällig
• Aber ssh/telnet verweigert das root passwort (das in einem PWD-Safe gespeichert ist)...root ohne pwd geht auch nicht.

 

• Server notgedrungen hart ausgemacht.
• Stick geprüft....i.O.
• auf dem Stick ist die ./config/shadow bei root *ohne* pwd. 🤐 wtf 🤔
  ...auch in der smbpasswd steht bei root "NO passwd#####".

 

-> jemand eine Ahnung, was da los war?

 

-> wie kann ich das root pwd *sicher* neu erstellen? Ich habe zu viele User drauf um das neu aufzusetzen....

 

....natürlich habe ich keinen Log...gerade erstmal aktiviert...

[alturismo]

7 hours ago, Ford Prefect said:

-> jemand eine Ahnung, was da los war?

ich kenn dieses Verhalten nur wenn der syslog vollläuft durch Fehler, in der Art und Form hatte ich das auch bereits wo wir anfangs mit gvt-g (Intel) gespielt haben ...

 

Dockers liefen noch, Shares waren da, aber keinerlei Zugang mehr, weder webui noch ssh noch am Monitor ... sogar die Desktop VM (Nvidia) lief noch ...

 

was aber nicht passiert war, root passwd ex ... das kenne ich nicht

 

sprich, die qemu, libvirt engine hängt sich komplett auf und dann blieb auch nur hard reboot.

 

"komische" Fehler hatte ich mit meinem aktuellen Board auch je nach PCIe Einbindung, hat sich jedoch mit Flash remount dann erledigt, sprich, das Board hat beim Boot kurz den USB Controller "ausgehangen" wo unraid drauf läuft wenn der onboard WIFI/BT Controller aktiviert wurde, sprich, boot, kurz vor Ende dann "Flash gone ...", webui murks, ...  aber das ist ein anderes Fehlerbild in Summe, hat nur ne Weile gedauert bis ich dahinter kam da natürlich keine Fehler kamen ... außer "wahrscheinlich Flash corrupt "

[vakilando]

Moin, dieses Verhalten kenne ich auch nur in Verbindung mit einem vollgelaufenen sysslog (was meiner Meinung nach nicht passieren darf...) nachdem eine Cache SSD gestorben ist (btrfs RAID 1).
Dass die Root Passwörter fehlen finde ich sehr suspekt.
Ansonsten sind die Dateien mit den fehlenden Root Passwörtern unberührt?
Welches Änderungs- / Erstelldatum haben sie?

[Ford Prefect]

@alturismo, @vakilando...danke für das Feedback.

 

- habe 2x 1TB Corsair Force-MP600 als Cache-Pool....BTRFS scrub und SMART ohne Probleme.

- das i915 Plugin und den Treiber habe ich nicht aktiv/installiert (das war vorher ein Problem, ab 6.9.2)

- da sonst noch alles lief, hätte ich gerne mal mit nem htop oder so draufgeschaut, aber ging halt nicht.

 

- das root-pw Thema ist evtl. hausgemacht. Alle Files usw. sind unaufällig.
Ich vermute, ich habe das root PW nicht über das User-Management eingetragen, sondern über die Linux Shell (und /etc/shadow nicht nach /boot/config kopiert)

 

...habe den syslog jetzt mal für den Stick aktiviert....mal sehen wie weit die 12-14GB reichen, bevor er aussteigt.

 

Meine Vermutung ist, dass das Docker img aussteigt....evtl. von der influxdb (da fehlen ein paar Daten am 17:35Uhr).

Ich würde gerne wechseln auf direktes Verzeichnis, aber ich habe einige Docker, die ich ohne viel Aufwand nicht updaten kann.

Bei der Migration würde die :latest version gezogen und ich kenne die aktuell installierte (das "echte" tag) nicht.

 

HW defekt schliesse ich erstmal aus....wenn das Problem anhält, muss ich mir was anderes überlegen. 🤔

[hawihoney]

26 minutes ago, Ford Prefect said:

ich kenne die aktuell installierte (das "echte" tag) nicht

 

Gib mal auf der Konsole "docker images" ein. Guck in Spalte TAG.

 

[Ford Prefect]

@hawihoney ja, wenn es sooo einfach wäre, wäre es schön...leider eben, ausser dort wo ich es explizit eh schon fixiert hatte, immer nur "latest".

Was man aber wissen muss, ist welches tag zum Zeitpunkt der (lokalen) Installation "latest" war um das wieder herzustellen (wenn es den Dpcker dann noch gibt, mit dem tag).

Siehe hier: https://ryandaniels.ca/blog/find-version-tag-latest-docker-image/

Das "Problem" treibt auch Andere um....leider auch nicht erfolgreich für meine Docker....

 

Alternative, aus dem IMG rausholen ?🙄

Man könnte ja ein Docker image au dem unraid-IMG exportieren und wieder in den neuen Pfad importieren...🤔

Edit: ....got it: https://appfleet.com/blog/how-to-transfer-move-a-docker-image-to-another-system/ ....Plan-B

 

Edited March 8, 2022 by Ford Prefect

[DataCollector]

Hallo @Ford Prefect

 

1 hour ago, Ford Prefect said:

...habe den syslog jetzt mal für den Stick aktiviert....mal sehen wie weit die 12-14GB reichen, bevor er aussteigt.

 

Soweit ich @mgutt verstanden hatte, wird Syslog nie so groß.

 

Edited March 8, 2022 by DataCollector

[alturismo]

1 hour ago, Ford Prefect said:

- das i915 Plugin und den Treiber habe ich nicht aktiv/installiert (das war vorher ein Problem, ab 6.9.2)

das habe ich bisher weder ernsthaft gehört noch bei den 4 von mir betriebenen Servern erlebt (glücklicherweise) ...  daher würde ich das generell ausschließen.

 

BTRFS ... das haben wir ja mehr oder weniger täglich das entweder das Docker Image aussteigt oder auch cache pools beschädigt sind, nicht mehr richtig laufen, manchmal nach Neustart wieder alles ok, manchmal erst nach "Format c:"

 

da würde ich ansetzen wenn du cache pools (btrfs) nutzt und dein docker image ja auch in btrfs liegt ... da habe ich (leider) auch böse Erfahrungen machen müssen und auch einmalig alles neu machen müssen da ich mal mein Backup gelöscht hatte (wöchentliche ...) da ich aufräumen wollte und genau da btrfs mir alles zerschossen hat, anderes Thema

Daher ist btrfs für mich komplett ex wo ich kann (libvirt.img geht leider nicht anders ...)

 

1 hour ago, Ford Prefect said:

...habe den syslog jetzt mal für den Stick aktiviert....mal sehen wie weit die 12-14GB reichen, bevor er aussteigt.

 

wie @DataCollector erwähnte, bei 128mb ist Ende da dann das syslog aussteigt (und auch nichts mehr auf den Stick schreibt) und wenn ein ernster Fehler passiert ist das (leider) nach ein paar Sekunden bereits erledigt ...

 

37 minutes ago, Ford Prefect said:

der (lokalen) Installation "latest" war um das wieder herzustellen (wenn es den Dpcker dann noch gibt, mit dem tag).

lasst du keine updates laufen ? oder zumindest mal den update check ... da siehst du ja was Stand ist ob es "aktuell" ist oder "update ..." oder "not available" ... die genutzten tags sind ja auf deinem USB hinterlegt (user templates).

[Ford Prefect]

1 hour ago, alturismo said:

das habe ich bisher weder ernsthaft gehört noch bei den 4 von mir betriebenen Servern erlebt (glücklicherweise) ...  daher würde ich das generell ausschließen.

....doch, leider...siehe auch (und dort verlinkter thread...konnte ich nachvollziehen): 

1 hour ago, alturismo said:

BTRFS ... das haben wir ja mehr oder weniger täglich das entweder das Docker Image aussteigt oder auch cache pools beschädigt sind, nicht mehr richtig laufen, manchmal nach Neustart wieder alles ok, manchmal erst nach "Format c:"

 

da würde ich ansetzen wenn du cache pools (btrfs) nutzt und dein docker image ja auch in btrfs liegt ... da habe ich (leider) auch böse Erfahrungen machen müssen und auch einmalig alles neu machen müssen da ich mal mein Backup gelöscht hatte (wöchentliche ...) da ich aufräumen wollte und genau da btrfs mir alles zerschossen hat, anderes Thema

Daher ist btrfs für mich komplett ex wo ich kann (libvirt.img geht leider nicht anders ...)

...was ist die Alternative, wenn man einen raid1-pool als cache will?

 

1 hour ago, alturismo said:

lasst du keine updates laufen ? oder zumindest mal den update check ... da siehst du ja was Stand ist ob es "aktuell" ist oder "update ..." oder "not available" ... die genutzten tags sind ja auf deinem USB hinterlegt (user templates).

Jein, das Problem ist das eigentlich ja alle Docker im template mit "latest" gezogen werden. Ein update also eben ein update macht.

ich habe aber einige Docker, die nach einem Update eher etwas kaputtmachen würden....also muss ich die *nicht* updaten, damit sie auf dem Stand bleiben.

Der Stand heisst aber auch lokal nur "latest"....also, welchen "echten" tag hat diese Instanz, wenn ich ich genu diese wieder herstellen muss?

 

[hawihoney]

5 hours ago, Ford Prefect said:

was ist die Alternative, wenn man einen raid1-pool als cache will?

 

Pest oder Cholera? BTRFS oder selbst gestrickter Mirror zwischen zwei XFS Devices?

 

Ich bin letzteren Weg gegangen. Allerdings kann ich damit leben, wenn der Mirror mal hinterher hinkt. Andererseits hatte ich seit der Umstellung auf XFS Docker Folder, und dem gnadenlosen Eliminieren von BTRFS wo auch immer möglich, nie wieder Probleme. Vor der Umstellung musste ich durch die ganze Bandbreite der BTRFS Hölle (Device fällt aus - Unraid merkt es nicht, Device fällt aus - RAID-1 bleibt mit Fehlern stehen, dem dämlichen Balance Zwang beim Ausfall eines RAID-1 Devices, ...). Nee, ich mag nicht mehr den Tester für BTRFS spielen.

 

Meine Lösung, natürlich nur für meine nicht ganz so paranoiden Anforderungen: Zwei unabhängige XFS Pools auf zwei M.2 NVMe Riegeln. Einer ist aktiv, der zweite spielt den Mirror. Alle Container werden einzeln runter und wieder rauf gefahren. Dazwischen wird auf den Mirror gespiegelt. Ist das erfolgt wird vom Mirror zusätzlich ins Array gespiegelt. Alles durch User Skripte gesteuert.

 

Da BTRFS RAID-1 bei mir nie Hochverfügbarkeit gezeigt hat, und beim kleinsten Problem ohnehin ausfiel, ist mein Vertrauen dahin. Da nehme ich solange meine Lösung und warte auf eine Alternative (XFS RAID-1?) oder Unraid Array als Pool Option.

 

Edited March 8, 2022 by hawihoney

[Ford Prefect]

...dann gehe ich lieber auf proxmox und hoste unraid VM für shares only.

Gesendet von meinem SM-G780G mit Tapatalk

[alturismo]

51 minutes ago, Ford Prefect said:

...was ist die Alternative, wenn man einen raid1-pool als cache will?

 

keine ...  wie @hawihoney auch sagt ... seit Umstellung hier auch nie wieder Issues ... ich nutze nur getrennte single drive caches (docker appdata, VM) und mache backups, das reicht mir bequem aus, nur seither nie wieder gebraucht ...

 

15 minutes ago, hawihoney said:

Da BTRFS RAID-1 bei mir nie Hochverfügbarkeit gezeigt hat, und beim kleinsten Problem ohnehin ausfiel, ist mein Vertrauen dahin. Da nehme ich solange meine Lösung und warte auf eine Alternative (XFS RAID-1?) oder Unraid Array als Pool Option.

exakt ...

 

58 minutes ago, Ford Prefect said:

....doch, leider...siehe auch (und dort verlinkter thread...konnte ich nachvollziehen): 

ich nicht und auch noch nie in diesem Zusammenhang, das einzige was bei mir immer crahes verursacht ist mein Ausflug zu dem corerfeq plugin ...

[mgutt]

8 hours ago, Ford Prefect said:

was ist die Alternative, wenn man einen raid1-pool als cache will?

Warten bis unRAID ZFS einführt ^^

 

Hat eigentlich schon mal jemand probiert unterhalb eines bestehenden Cache Pools einen ZFS Pool zu mounten? Also /mnt/cache/zfspool? Linux erlaubt es ja sogar mounts über mounts zu legen. Was passiert, wenn man /mnt/cache/appdata mit einem ZFS Pool verlinkt?!