6.11.5 HBA Settings Änderung führte zu UNMOUNTABLE: UNSUPPORTED PARTITION LAYOUT UPDATE: HDD zu Unassigns Daten wieder da ?????WTF

[Sumeragy]

Habe im Bios die Settings Einstellungen von meiner adaptec asr-71605 Raids angepasst um die Cache der einzelnen Drives zu aktivieren. Nach weiteren Bios Einstellung Änderungen für die C States der CPU. Startete das Array mit der oben Beschriebenen Fehlermeldung.

Habe im Maintainance Mode einen Check laufen lassen und sieht alles ok aus : 

[1/7] checking root items

[2/7] checking extents

[3/7] checking free space tree

[4/7] checking fs roots

[5/7] checking only csums items (without verifying data)

[6/7] checking root refs

[7/7] checking quota groups skipped (not enabled on this FS) Opening filesystem to check... Checking filesystem on /dev/md1 UUID: fff55d9f-2a32-4b34-aced-d9bca1038c4b found 15915788001280 bytes used, no error found total csum bytes: 15524704168 total tree bytes: 18490933248 total fs tree bytes: 38305792 total extent tree bytes: 101531648 btree space waste bytes: 2641708931 file data blocks allocated: 15897305317376 referenced 15897268891648

 

Wäre in Panic verfallen aber da ich weiß das Parity vorher lief und dort keine Fehlermeldung steht und Unraid sagt das Parity OK ist bin ich nur leicht angespannt. Bin am Googeln des Problems und vlt weiß einer was ich bereits machen soll ? 

 

tower-diagnostics-20230716-1524.zip

Edited July 17, 2023 by Sumeragy
Update

[Sumeragy]

2 Platten sind bei mir auf XfS und die haben das hier ausgespuckt 

 

Phase 1 - find and verify superblock...
bad primary superblock - bad magic number !!!

attempting to find secondary superblock...
.found candidate secondary superblock...
verified secondary superblock...
writing modified primary superblock
sb root inode value 18446744073709551615 (NULLFSINO) inconsistent with calculated value 128
resetting superblock root inode pointer to 128
sb realtime bitmap inode value 18446744073709551615 (NULLFSINO) inconsistent with calculated value 129
resetting superblock realtime bitmap inode pointer to 129
sb realtime summary inode value 18446744073709551615 (NULLFSINO) inconsistent with calculated value 130
resetting superblock realtime summary inode pointer to 130
Phase 2 - using internal log
        - zero log...
        - scan filesystem freespace and inode maps...
Metadata CRC error detected at 0x43d440, xfs_agf block 0x1/0x200
agf has bad CRC for ag 0
Metadata CRC error detected at 0x468740, xfs_agi block 0x2/0x200
agi has bad CRC for ag 0
bad magic # 0x0 for agf 0
bad version # 0 for agf 0
bad length 0 for agf 0, should be 268435455
bad uuid 00000000-0000-0000-0000-000000000000 for agf 0
bad magic # 0x0 for agi 0
bad version # 0 for agi 0
bad length # 0 for agi 0, should be 268435455
bad uuid 00000000-0000-0000-0000-000000000000 for agi 0
reset bad agf for ag 0
reset bad agi for ag 0
bad levels 0 for btbno root, agno 0
bad agbno 0 for btbno root, agno 0
bad levels 0 for btbcnt root, agno 0
bad agbno 0 for btbcnt root, agno 0
bad levels 0 for refcountbt root, agno 0
bad agbno 0 for refcntbt root, agno 0
bad levels 0 for inobt root, agno 0
bad agbno 0 for inobt root, agno 0
bad levels 0 for finobt root, agno 0
bad agbno 0 for finobt root, agno 0
agi unlinked bucket 0 is 0 in ag 0 (inode=0)
agi unlinked bucket 1 is 0 in ag 0 (inode=0)
agi unlinked bucket 2 is 0 in ag 0 (inode=0)
agi unlinked bucket 3 is 0 in ag 0 (inode=0)
agi unlinked bucket 4 is 0 in ag 0 (inode=0)
agi unlinked bucket 5 is 0 in ag 0 (inode=0)
agi unlinked bucket 6 is 0 in ag 0 (inode=0)
agi unlinked bucket 7 is 0 in ag 0 (inode=0)
agi unlinked bucket 8 is 0 in ag 0 (inode=0)
agi unlinked bucket 9 is 0 in ag 0 (inode=0)
agi unlinked bucket 10 is 0 in ag 0 (inode=0)
agi unlinked bucket 11 is 0 in ag 0 (inode=0)
agi unlinked bucket 12 is 0 in ag 0 (inode=0)
agi unlinked bucket 13 is 0 in ag 0 (inode=0)
agi unlinked bucket 14 is 0 in ag 0 (inode=0)
agi unlinked bucket 15 is 0 in ag 0 (inode=0)
agi unlinked bucket 16 is 0 in ag 0 (inode=0)
agi unlinked bucket 17 is 0 in ag 0 (inode=0)
agi unlinked bucket 18 is 0 in ag 0 (inode=0)
agi unlinked bucket 19 is 0 in ag 0 (inode=0)
agi unlinked bucket 20 is 0 in ag 0 (inode=0)
agi unlinked bucket 21 is 0 in ag 0 (inode=0)
agi unlinked bucket 22 is 0 in ag 0 (inode=0)
agi unlinked bucket 23 is 0 in ag 0 (inode=0)
agi unlinked bucket 24 is 0 in ag 0 (inode=0)
agi unlinked bucket 25 is 0 in ag 0 (inode=0)
agi unlinked bucket 26 is 0 in ag 0 (inode=0)
agi unlinked bucket 27 is 0 in ag 0 (inode=0)
agi unlinked bucket 28 is 0 in ag 0 (inode=0)
agi unlinked bucket 29 is 0 in ag 0 (inode=0)
agi unlinked bucket 30 is 0 in ag 0 (inode=0)
agi unlinked bucket 31 is 0 in ag 0 (inode=0)
agi unlinked bucket 32 is 0 in ag 0 (inode=0)
agi unlinked bucket 33 is 0 in ag 0 (inode=0)
agi unlinked bucket 34 is 0 in ag 0 (inode=0)
agi unlinked bucket 35 is 0 in ag 0 (inode=0)
agi unlinked bucket 36 is 0 in ag 0 (inode=0)
agi unlinked bucket 37 is 0 in ag 0 (inode=0)
agi unlinked bucket 38 is 0 in ag 0 (inode=0)
agi unlinked bucket 39 is 0 in ag 0 (inode=0)
agi unlinked bucket 40 is 0 in ag 0 (inode=0)
agi unlinked bucket 41 is 0 in ag 0 (inode=0)
agi unlinked bucket 42 is 0 in ag 0 (inode=0)
agi unlinked bucket 43 is 0 in ag 0 (inode=0)
agi unlinked bucket 44 is 0 in ag 0 (inode=0)
agi unlinked bucket 45 is 0 in ag 0 (inode=0)
agi unlinked bucket 46 is 0 in ag 0 (inode=0)
agi unlinked bucket 47 is 0 in ag 0 (inode=0)
agi unlinked bucket 48 is 0 in ag 0 (inode=0)
agi unlinked bucket 49 is 0 in ag 0 (inode=0)
agi unlinked bucket 50 is 0 in ag 0 (inode=0)
agi unlinked bucket 51 is 0 in ag 0 (inode=0)
agi unlinked bucket 52 is 0 in ag 0 (inode=0)
agi unlinked bucket 53 is 0 in ag 0 (inode=0)
agi unlinked bucket 54 is 0 in ag 0 (inode=0)
agi unlinked bucket 55 is 0 in ag 0 (inode=0)
agi unlinked bucket 56 is 0 in ag 0 (inode=0)
agi unlinked bucket 57 is 0 in ag 0 (inode=0)
agi unlinked bucket 58 is 0 in ag 0 (inode=0)
agi unlinked bucket 59 is 0 in ag 0 (inode=0)
agi unlinked bucket 60 is 0 in ag 0 (inode=0)
agi unlinked bucket 61 is 0 in ag 0 (inode=0)
agi unlinked bucket 62 is 0 in ag 0 (inode=0)
agi unlinked bucket 63 is 0 in ag 0 (inode=0)
sb_fdblocks 1952984857, counted 1684549408
root inode chunk not found
Phase 3 - for each AG...
        - scan and clear agi unlinked lists...
        - process known inodes and perform inode discovery...
        - agno = 0
        - agno = 1
        - agno = 2
        - agno = 3
        - agno = 4
        - agno = 5
        - agno = 6
        - agno = 7
        - process newly discovered inodes...
Phase 4 - check for duplicate blocks...
        - setting up duplicate extent list...
        - check for inodes claiming duplicate blocks...
        - agno = 0
        - agno = 2
        - agno = 1
        - agno = 5
        - agno = 7
        - agno = 4
        - agno = 6
        - agno = 3
Phase 5 - rebuild AG headers and trees...
        - reset superblock...
Phase 6 - check inode connectivity...
        - resetting contents of realtime bitmap and summary inodes
        - traversing filesystem ...
        - traversal finished ...
        - moving disconnected inodes to lost+found ...
Phase 7 - verify and correct link counts...
Note - stripe unit (0) and width (0) were copied from a backup superblock.
Please reset with mount -o sunit=,swidth= if necessary
done

Die Platten waren größteils leer da waren auch keine wichtigen daten drauf hab also mal es ohne -n laufen lassen. 

[Sumeragy]

So nach einer suche ist die beste Lösung von der Sache Rebuild! 

Joa hab mich selber gef**** das kann ne weile nun dauern. Die 8tb von mir scheint 12 hours, 45 minutes zu brauchen (Die war fast leer) 

Für die Wenigen die jetzt das Selbe Problem hatten und nicht wissen was man genau machen muss: 

1. Array Stopen wenn es gestartet ist. 
2. Eine Platte entfernen "No Device"
3. Unten bei Start den hacken setzten das man das Array Startet mit einer fehlenden Platte 
4. Array Stoppen 
5. Gleiche Platte wieder einfügen
6. Array Starten, diesmal sollte drinstehen das der Rebuild läuft. 

7. Wiederholen für jede platte. 

Kann mir einer eine HBA empfehlen um 36 Platten zu versorgen der dieses Problem in Zukunft verhindert ?? 

[Ford Prefect]

3 hours ago, Sumeragy said:

Habe im Bios die Settings Einstellungen von meiner adaptec asr-71605 Raids angepasst um die Cache der einzelnen Drives zu aktivieren.

Raid-Controller und *kein* HBA, wie es scheint..das kann nicht gutgehen.

 

3 hours ago, Sumeragy said:

Kann mir einer eine HBA empfehlen um 36 Platten zu versorgen der dieses Problem in Zukunft verhindert ?? 

...einen echter HBA, also SAS Controller mit IT-Firmware.

Dein Adaptec hat aber auch keine 36 Disks direkt versorgt, oder? Hat Du einen Expander extra oder einen in der Backplane des Gehäuses..oder willst Du nur zukünftig erweitern können?

Ich kenne aus dem EffEff aktuell nur einen  SAS Controller mit 24 direkten, internen Ports, also ohne Expander....für 36 drekte Ports, ohne Expander gibt es nix.

[DataCollector]

9 minutes ago, Ford Prefect said:

Raid-Controller und *kein* HBA, wie es scheint..das kann nicht gutgehen.

Die Adaptec Serie 7 Raidkontroller sind umschaltbar auf reinen HBA Modus.

Ich betreibe ja auch einen. Geht gut.

Nur den Disk Cache muss ich ab und zu mal per Befehl auf die Beine helfen.

[Sumeragy]

1 hour ago, Ford Prefect said:

Raid-Controller und *kein* HBA, wie es scheint..das kann nicht gutgehen.

Hast Recht ! 

1 hour ago, Ford Prefect said:

...einen echter HBA, also SAS Controller mit IT-Firmware.

Dein Adaptec hat aber auch keine 36 Disks direkt versorgt, oder? Hat Du einen Expander extra oder einen in der Backplane des Gehäuses..oder willst Du nur zukünftig erweitern können?

Ich kenne aus dem EffEff aktuell nur einen  SAS Controller mit 24 direkten, internen Ports, also ohne Expander....für 36 drekte Ports, ohne Expander gibt es nix.

Geplant waren 2x Karten um auf die 36 zu kommen. Meine rechnung ging so das ich 2x 16port karten benutze =32 Platten + 4 sata ports vom mainbaord direkt. 
Diese werden an ein Backpannel geführt die wiederum die platten versorgen. 

49 minutes ago, DataCollector said:

Die Adaptec Serie 7 Raidkontroller sind umschaltbar auf reinen HBA Modus.

Ich betreibe ja auch einen. Geht gut.

Solange man die Settings nicht ändert Ps: Hab nen mini lüfter drangemacht um die hitze besser abzuführen die teile werden relativ warm !! 

49 minutes ago, DataCollector said:

Nur den Disk Cache muss ich ab und zu mal per Befehl auf die Beine helfen.

Genau das wollte ich beheben! Hab im forum folgendes gefunden was die Cache permanent aktiviert.  

 

smartctl -s wcache-sct,on,p /dev/sdX

Ich hab halt im Bios die Settings von der Karte den write to Cache auf alle enabled gestellt. 
 

[Ford Prefect]

54 minutes ago, DataCollector said:

Nur den Disk Cache muss ich ab und zu mal per Befehl auf die Beine helfen.

Ah, ok...wieder was gelernt....Disk Cache fürn HBA ist aber eher ungewöhnlich...wird der im HBA-Mode nicht abgeschalte, oder was meinst Du mit der "blumigen" Aussage?

[Ford Prefect]

4 minutes ago, Sumeragy said:

Geplant waren 2x Karten um auf die 36 zu kommen. Meine rechnung ging so das ich 2x 16port karten benutze =32 Platten + 4 sata ports vom mainbaord direkt. 

Also SAS HBAs mit 16 internen Ports gibt es genug....ich würde generell zu denen mit LSI/Broadcom Chips raten.

 

Edited July 16, 2023 by Ford Prefect

[Sumeragy]

36 minutes ago, Ford Prefect said:

Ah, ok...wieder was gelernt....Disk Cache fürn HBA ist aber eher ungewöhnlich...wird der im HBA-Mode nicht abgeschalte, oder was meinst Du mit der "blumigen" Aussage?

Wenn man die Cache per Command Line aktiviert tut sie sich wieder abschalten. Das Problem hatte ich auch immer wieder. Nach einen Reboot waren die wieder deaktiviert. Ich denke das meint er ?

33 minutes ago, Ford Prefect said:

Also SAS HBAs mit 16 internen Ports gibt es genug....ich würde generell zu denen mit LSI/Broadcom Chips raten.

 

Der damalige Grund für diese Karte war der preis. Die kann man heute auch noch für 80€ bekommen. Wenn ich dich grad da habe was ist den der Unterschied zu den hier  China und den von dir ?

Edited July 16, 2023 by Sumeragy
Falscher link...sry

[Ford Prefect]

14 minutes ago, Sumeragy said:

Die kann man heute auch noch für 80€ bekommen.

....sind aber meist PCIe v2.0, nicht 3.0...brauchen mehr Strom.

14 minutes ago, Sumeragy said:

Wenn ich dich grad da habe was ist den der Unterschied zu den hier  China und den von dir ?

Die von mir verlinkte war eine mit 24Ports  .. und noch der "altere 9300er Chip...Deine hat den 9400er Chip (ist der nicht sogar PCIe-v4.0???)

Generell gilt eigentlich, dass neue, aus China oft Fakes sind...in der guten alten Zeit kamen auch die LSI 9211-8i PCIe-2.0 aus gebrauchten Servern.

Meine Meinung ist, dass sich die Situation nicht geändert hat. Wenn Du was echtes willst, dann hole eine gebrauchte/refurbished von einem renommierten Verwerter.

Da ist i.d. Regel auch 1 Jahr Garantie dabei...Manko ist oft, dass man sich die grösse des Slotblechs nicht immer aussuchen kann.

Hier noch ein Beispiel: https://www.ebay.de/itm/134141912239?epid=15024796441&hash=item1f3b7b24af:g:UosAAOSwpxJkHBLQ

 

[Sumeragy]

Ja sry hatte den falschen link drin. Aber am ende haste meine Frage beantwortet. 

Was würdest du in meiner Situation machen? Zurzeit hab ich dieses Setup. Werde definitiv mehr platten brauchen deswegen dieses Case geholt. Bin aber am überlegen komplett neu anzufangen. Backplate entfernen und per PCI zu Sata direkt die platten zu verbinden um den verbauch zu senken. 

Das einzige was ich weiß das ich ein Backup brauche damit sowas wie hier mein Server nicht lahmlegt

Edited July 16, 2023 by Sumeragy

[DataCollector]

5 hours ago, Ford Prefect said:

Ah, ok...wieder was gelernt....Disk Cache fürn HBA ist aber eher ungewöhnlich...wird der im HBA-Mode nicht abgeschalte, oder was meinst Du mit der "blumigen" Aussage?

Nachdem ich die Cacheprobleme hatte mit meinem Adaptec Serie 7, wies mich mgutt auf folgenden Beitrag hin, weshalb ich mit

     smartctl -s wcache-sct,on,p /dev/sdX

das Problem behebe.

 

 

Edited July 16, 2023 by DataCollector

[DataCollector]

5 hours ago, Sumeragy said:

Geplant waren 2x Karten um auf die 36 zu kommen. Meine rechnung ging so das ich 2x 16port karten benutze =32 Platten + 4 sata ports vom mainbaord direkt.

Wenn Du sowieso den hohen Stromverbrauch von 2 SAS Kontrollern akzeptiert, kannst Du auch mit nur einem Kontroller leben und einen SAS Expander nachschalten.

 

Und nur so nebenbei: selbst ein 8 Port SAS 6GBIt/s Expander reicht problemlos aus um etwas mehr als 16 heutige Festplatten (mit je real unter 300MByte/s) vollkommen anzusprechen.

Ich nutze in meinen Windows Builds mit Megaraid LSI-9361 je einen 4Port SAS Anschluß um damit per RES2CV360 oder auch RES3CV360 rund 24 Festplatten anzusprechen (an einigen Stellen sogar 27). In der Praxis funktioniert das recht gut (sind aber auch nicht alle angeschlossenen Festplatten in einem Raid drin, so verteilen sich die Zugriffe besser).

[DataCollector]

5 hours ago, Sumeragy said:

Wenn man die Cache per Command Line aktiviert tut sie sich wieder abschalten. Das Problem hatte ich auch immer wieder. Nach einen Reboot waren die wieder deaktiviert. Ich denke das meint er ?

Nicht immer und nicht alle Festplatten schalten sich ab, aber ab und zu Einige.

Deshalb lasse ich direkt im Go File das Problem vorsorglich angehen und habe seitdem keine Warnung mehr bekommen, daß die Caches abgeschaltet wären.

Edited July 17, 2023 by DataCollector

[Sumeragy]

24 minutes ago, DataCollector said:

Wenn Du sowieso den hohen Stromverbrauch von 2 SAS Kontrollern akzeptiert, kannst Du auch mit nur einem Kontroller leben und einen SAS Expander nachschalten.

Der Gedanke war das ich durch neuere Karten PCI3.0 usw besseren verbrauch habe. Zudem das diese nicht wie mein Jetzige bessere C states erlauben. Bei mir max c3. 

24 minutes ago, DataCollector said:

Und nur so nebenbei: selbst ein 8 Port SAS 6GBIt/s Expander reicht problemlos aus um etwas mehr als 16 heutige Festplatten (mit je real unter 300MByte/s) vollkommen anzusprechen.

Ich nutze in meinen Windows Builds mit Megaraid LSI-9361 je einen 4Port SAS Anschluß um damit per RES2CV360 oder auch RES3CV360 rund 24 Festplatten anzusprechen (an einigen Stellen sogar 27). In der Praxis funktioniert das recht gut (sind aber auch nicht alle angeschlossenen Festplatten in einem Raid drin, so verteilen sich die Zugriffe besser).

Da stellen sich bei mir so viele Fragen...
- Hat das einen Vorteil gegenüber von 2 x HBA karten ?
- Muss man da was beachten ? Kann ich das einfach so einstecken und unraid erkennt das ?
- Hat das preislich einen Vorteil ? 

Da ich keine SSD in den Arrays haben werde. Wäre ich mit max 200mb/s mehr als zufrieden da meine beste HDD nur 220mb/s schaft und das auch nur wenn es nicht komplett voll ist. Was würdest du an meiner stelle machen welche kombi ? 2x HBA  oder 1x HBA+ Expander ?

 

Edit: eh nur so mal ne frage kann es sein das 1 PORT das 4 Platten versorgen kann JEDE Platte mit 6gbs verbunden ist oder insgesamt alle 4 ports zusammen 6gbs haben ??????? Das würde vieles erklären !!

Edited July 17, 2023 by Sumeragy

[DataCollector]

1 hour ago, Sumeragy said:

Da stellen sich bei mir so viele Fragen...
- Hat das einen Vorteil gegenüber von 2 x HBA karten ?
- Muss man da was beachten ? Kann ich das einfach so einstecken und unraid erkennt das ?
- Hat das preislich einen Vorteil ? 

Da ich keine SSD in den Arrays haben werde. Wäre ich mit max 200mb/s mehr als zufrieden da meine beste HDD nur 220mb/s schaft und das auch nur wenn es nicht komplett voll ist. Was würdest du an meiner stelle machen welche kombi ? 2x HBA  oder 1x HBA+ Expander ?

 

Edit: eh nur so mal ne frage kann es sein das 1 PORT das 4 Platten versorgen kann JEDE Platte mit 6gbs verbunden ist oder insgesamt alle 4 ports zusammen 6gbs haben ??????? Das würde vieles erklären !!

Vor-/Nachteile SAS Expander/2HBA:

2 HBA Karten benötigen 2 (wertvolle) PCIe Slots. SAS Expander brauchen die nicht wirklich (es gibt Ausnahmen, die sich den Strom nur darüber holen - HP hat da eien billoge und veraltete Karte, die man auch zu tTestzwecken für unter 30 Euro beschaffen und mal ausprobieren könnte.

https://www.ebay.de/itm/155669408049

Ist zwar SAS 6GBIt/s und nur SATA 3GBit/s aber erstens sind Festplatten sowieso nicht schnelle rund zum reinen Testen ob es Deinen Wünschen entspricht kann man das Geld ja mal investieren. Kabel brauchst Du aber auch.)

 

Die SAS Kontroller mit (sehr) vielen Ports verwenden in der Regel Chips, die auch leistungshungriger sind (Ich glaube LSI hatte sogar einen älteren Kontroller, der 2 baugleiche Chips drauf hatte und deswegen die vielen Port mit fast doppeltem Stromverbrauch befeuerte).

SAS-Expander können auch weit hörere Portzahlen erreichen.

Ich habe mit einem Megaraid 8i Kontroller 2 Stück RES2CV360 an je einem SFF 4er Anschluß angeschlossen, was somit 2x32 = 64 SATA/SAS Datenträger ermöglicht.

Die Anzahl der möglichen Devices gibt der Kontroller vor. Irgendwo macht die Firmware eben Schluß.

 

Ich nutze SAS Expander bisher nicht unter unraid, weil es keinen Sinn macht mehr als 28+2 Festplatten in eine Array zu packen. Sobald Multiarray möglich wird, sieht das dann schon anders aus.

Deshalb ist mein 'dickeres' unraidsystem 'UR-Tessa' aktuell auf max. 30 Festplatten im Array 4 SATA SSD im Pool und ein paar NVMe SSD in Pools ausgelegt.

Aber da ein SAS Expander die Ports nur verteilt und der SAS Kontroller die als HBA nativ durchreicht sollte unraid die alle erkennen.

Preislicher Vorteil: ich kaufte weitgehend gebraucht (ebay). Da hängt es eben immer vom Angebot ab ob es sich preislich rechnet.

Aber da ich für meine WIndowssystem mit >50 bzw 70 Festplatten keine ausreichende Menge an Kontroller einbauen konnte, blieb es eben nur SAS Expander zu nutzen.

 

Ich sehe den Stromverbrauch 1 SAS Kontroller + 1 SAS Expander ähnlich hoch an, wie den Stromverbrauch von 2 SAS Kontrollern (+/- 5W).

Aber wenn man nur einen einsetzt, hat man die Möglichkeit mit weniger PCIe Ports auszukommen oder in den dann frei bleibenden PCIe Ports NVMe SSD oder anderes interessantes Zeugs zu betreiben.

 

Zu den Powerstates: PCIe 3.0 Kontroller schlucken oft mehr Strom als PCIe 2.0 Kontroller. Aber sobald Du so anschruchsvolle Kontroller/Steckkarten einsetzt   wirst Du bei den C-Sates sowieso nicht wirklich niedriger kommen. Die beanspruchen eben die PCIe Lanes auch idle ziemlich viel. Das Mainboard wird damit vermutlich nicht niedriger kommen.

 

Zu Deiner Portfrage:  Ein SFF 8087 (oder moderner) Anschluß eines solchen Kontrollers enthält 4 SAS Ports (es gibt sogar Exoten mit 8 Lanes in einem mechanischen Steckverbinder). Mit welcher Geschwindigkeit jeder Port betrieben wird hängt davon ab welche Generation der Kontroller hat und welches Device angeschlossen wird.

Bei einem 6GBit/s SAS Kontrolle rmit 2 SFF 8087 (oder neueren) Steckplätzen sind in jedem dieser Steckplätze 4 SAS Lanes enthalten und jede Lane für sich kann 6GBit/s einzeln mit dem Device auf der Gegenstelle aushandeln. Du hast also 4x 6GBIT/s maximal an einem SFF 8087 (oder neueren) Steckplatz zur Verfügung.

 

Rechenbeispiel:

- Ein SAS 6GBit/s Kontroller mit 8 Lanes in 2 SFF Steckverbindern könnte an jeder seiner 8 internen Lanes (verteilt auf eben 2 SFF-8087 oder neuere Steckanschlüsse) eine Festplatte/Device mit maximal 6GBIt/s direkt ansprechen.

Wenn jede Festplatte aber nicht einmal 250MByte/s schafft, hat man mehr als 50% der möglichen Maximalgeschwindigkeit verschenkt.

 

- Wenn man aber an den Kontroller einen 6GBit/s SAS Expander dazwischen schaltet spricht der mit maximaler 6GBit/s Gecshwindigkeit pro SAS Port (Lane)  mit dem Kontroller und der Expander gleicht seine Ausgangsports in Richtung Festplatten an diese an.

Somit kann man mit einem Kontroller mit 6GBit/s pro Port über ein 6GBit/s Expander pro Kontrollerport etwas mehr als 2 solche Festplatten gleichzeitig ansteuern.

Also hat ein 8 Port Kontroller mit 6GBit/s: 8x 6GBit/s = 48GBit/s. Wenn man das durch 250MByte/s pro Festplatte teilt sind gleichzeitig 19,2 Festplatten voll nutzbar (durch die internen Puffer und zeitlich minimale Verschiebungen weil jede Komponente eben da minimal verzoegert bei den Zugriffen) sind etwas mehr als 20 Festplatten ohne erwähnenswerten Geschwindigkeitverlust gleichzeitig ansprechbar (wenn dieser Kontroller auch ausreichend stark/leistungsfähig per PCIe am PC angebunden ist und das Mainboard das auch transportieren kann).

 

- Da Du auf PCIe 3.0 Kontroller abgezielt hast: die haben gerne schon 12GBit/s SAS Lanes, was dann die Sache bei einem 12GBit/s SAS Expander noch weiter aufbohrt (auch hier ist die Anbindung an das Mainboard zu beachten).

 

Aber man muß eben im Auge behalten: so viele Ports und Festplatten sind nicht mehr wirklich stromsparend, selbst wenn die Festplatten oft schlafen.

 

Und nein, ich werde Dir zu keiner Konstellation raten. Hinterher bin ich verantwortlich, wenn Du doch nicht zufrieden bist. Am sparsamsten sind eben immer noch SATA Kontroller, wobei die sich auch bei der gewünschten Portanzahl irgendwann soweit summieren, daß es keinen Unterschied mehr macht (vor allem, wenn man ggf. mit PCIe Switchkarten hantieren muß um 32 Ports für performante gleichzeitige Nutzung zusammen zu bekommen).

 

Ich für mich habe (wegen der 28+2 Array Limitierung) bisher in dem Unraidsystem bei eben einem SAS-Kontroller mit 24 Ports Schluss gemacht und den Rest von Mainboard geholt (Konfig, siehe Signatur '1st Tessa').

Sobald Multi Array kommt, komme ich vielleicht aber auch die Idee die eine oder andere meiner Windowsmaschinen mit >50 Festplattensteckplätzen auf unraid umzurüsten. Die Megaraidkontroller (reine Raidkontroller ohne HBA Funktion) muss ich dann zwar austauschen, aber den Rest (SAS Expander, etc... kann ich dann ja beibehalten).

Edited July 17, 2023 by DataCollector
Typos, Umformulierungen und kleine Ergänzungen

[Sumeragy]

Danke dir für die vielen Infos. 

 

25 minutes ago, DataCollector said:

 

Und nein, ich werde Dir zu keiner Konstellation raten. Hinterher bin ich verantwortlich, wenn Du doch nicht zufrieden bist. Am sparsamsten sind eben immer noch SATA Kontroller, wobei die sich auch bei der gewünschten Portanzahl irgendwann soweit summieren, daß es keinen Unterschied mehr macht (vor allem, wenn man ggf. mit PCIe Switchkarten hantieren muß um 32 Ports für pperformante gleichzeitige Nutzung zusammen zu bekommen.

 

Mir ist oft aufgefallen das viele Leute das sagen das man verantwortlich ist. Du hast dein bestes gegeben und das zählt vor allem die vielen infos noch dazu für free. Aber das hat mir auch schon viel gebracht. 

 

Mir geht es nur darum das Problem so günstig wie möglich zu lösen. Das ich jetzt keine 9500-16i karte kaufe für 800€ ist klar. Werde mir jetzt eine 9300-8i karte kaufen und noch ein expander fertig. Zusammen noch günstiger als die 9500

[Sumeragy]

Update: 

Nachdem ich eine Platte rebuilden lassen habe. War diese mit Wrong or no Filesystem versehen ein repair des Filesystem im Maintainance hat es wieder mounten lassen. 
Wollte nun die Nächste platte mit mehr Daten drauf rebuilden. Platte raus array starten und wait wwhat

 

Ich kann sogar da rein ? Alles ist da ? Warum mounted der die dann nicht. Kurzer test filme sind wieder abspielbar usw.... wtf ?? 

 

Kann es sein das der Fehler bei Unraid liegt ? Hab ja auch viele änderungen am Mainboard gemacht Hypertreating aktiviert deaktiviert usw ?

[Ford Prefect]

12 hours ago, Sumeragy said:

Ja sry hatte den falschen link drin. Aber am ende haste meine Frage beantwortet. 

Was würdest du in meiner Situation machen? Zurzeit hab ich dieses Setup. Werde definitiv mehr platten brauchen deswegen dieses Case geholt. Bin aber am überlegen komplett neu anzufangen. Backplate entfernen und per PCI zu Sata direkt die platten zu verbinden um den verbauch zu senken. 

Das einzige was ich weiß das ich ein Backup brauche damit sowas wie hier mein Server nicht lahmlegt

Das Gehäuse hat doch schon eine Backplane mit Expander, wenn ich das richtig sehe (3x SFF für 3x12=36 Disks)   Ohne Doku ist es schwer zu entscheiden ob sogar nur ein SFF Anschluss (dann -8i Controller) reichen würde....meist sind die weiteren SFF für Redundanz...evtl ist aber einer der drei für die Slots auf der Rückseite?

 

Aber ganz ehrlich...wenn Du das Ding vollmachen willst und hinten, innen mit kleinen Lüftern und so...ich würde mal in ein Balkonkraftwerk investieren.

Eines mit 2x400W Solar-Modulen und einem Micro-Wechselrichter liefert dir in DE etwa 650-900kWh p.a. ... kostet um die 750EUR....das sind Deine 80W, zumindest bilanziell auf kWh-Ebene...um die 80W auch in die Nacht zu verschieben gibt es inzwischen auch für kleine BKW Speicherlösungen (dann wird es aber teurer)...oder eine echte PV aufs Dach/die Garage...

[Ford Prefect]

1 hour ago, Sumeragy said:

Kann es sein das der Fehler bei Unraid liegt ? Hab ja auch viele änderungen am Mainboard gemacht Hypertreating aktiviert deaktiviert usw ?

..staggered spin-up zu langsam eingestellt im Controller-Bios? Was anderes fällt mir nicht ein.

ich hatte bis vor kurzem in  einem Intertech/Norco mit 24 Bays einen LSI 9211-8i mit INtel RES240CV Expander...und kleinen Disks...lief Jahrelang einwandfrei (nachts / wenn nicht benötgt im sleep).

 

P.S.: die Disks habe ich nun gegen wenige 20TB Disks getauscht und das MOnster-Ding ganz abgeschaltet... die neuen Disks sind jetzt ein Pool  im "kleineren" 24x7 unraid und eben die meiste Zeit im spindown. Da ich ne grosse PV und Speicher habe, kümmern mich die 15W auch nicht mehr.

Edited July 17, 2023 by Ford Prefect

[DataCollector]

2 hours ago, Ford Prefect said:

Das Gehäuse hat doch schon eine Backplane mit Expander, wenn ich das richtig sehe (3x SFF für 3x12=36 Disks)

Sehe ich nicht so.

Jede Backplane für 12 Festplatten hat 3 SFF Anschlüsse. Und von diesen Backplanes sind 3 Stueck verbaut (=in Summe 9 SFF 8087 Buchsen).

Aktive Elemente (Expander) sehe ich da nicht.

[Ford Prefect]

13 minutes ago, DataCollector said:

Jede Backplane für 12 Festplatten hat 3 SFF Anschlüsse. Und von diesen Backplanes sind 3 Stueck verbaut (=in Summe 9 SFF 8087 Buchsen).

Ahhh...danke! Dann hatte ich das komplett missverstanden, dachte es wäre nur eine einzige Backplane, zB so wie in den grossen SuperMicro...da gibt es welche mit Expander drauf.

 

[DataCollector]

32 minutes ago, Ford Prefect said:

Ahhh...danke! Dann hatte ich das komplett missverstanden, dachte es wäre nur eine einzige Backplane, zB so wie in den grossen SuperMicro...da gibt es welche mit Expander drauf.

 

Bei den Supermicro gibt es beide Varianten.

Einmal eine Frontbackplane mt Expander und eine Heckbackplane mit einem extra Expander

und dann kann man aber auch je eine passive Front- und Heckbackplane bekommen.

 

Wobei bei der Menge der SATA/SAS-Ports ein Expander schon Sinn macht, auch wenn er extra Strom schluckt.

(Aber gleich 2 Expander müssen bei 'nur' 36 SATA Ports wirklich nicht sein).

 

Ich hatte mich da etwas schlauer gemacht, weil ich da eben an einen extra Expander (RES2CV360 oder RES3CV360 (=RES3TV360) gedacht hatte (=32 SATA/SAS Ports für Festplatten). Den Rest (4 Ports) kann man mit Mainboard SATA Ports abfangen.

 

Edited July 17, 2023 by DataCollector

[Sumeragy]

Hab gestern einen RES2CV360 für 60€ bekommen können. Sollte vorerst eine der Günstigsten Lösungen sein was ich bekommen konnte. 

 

Die idee war Balkoonkraft + Kleinen Speicher nur für den Server laufen zu lassen aber da dies von meinen Vermiter nicht erlaubt wird und ich selber keinen Balkoon habe wird das nur Theory bleiben. 

 

@Topic 
Wie schalte ich das Rebuild aus ? Dadurch das ich die Daten auf den Platten einsehen kann. Würde ich lieber so die fast leeren Platten die Daten auf eine andere Verschieben und alle leeren Platten einmal formatieren und das gleichzeitig. Würde schneller gehen als wie jetzt der rebuild auf der 8 tb die 17std gebraucht hatte. Aber bestimmt verfällt da die Parity richtig ?