Festplatte trotz preclear nicht im Array möglich

[eFrame]

Nach dem Hinzufügen der Parity das Ergebnis

[MAM59]

ja, ist doch korrekt. wenn Du nun das Array startest, gibt er Dir die Option die Platte zu formatieren.

Alles gut

 

[eFrame]

Das muss man esrtmal finden.
Dachte diese Meldung steht dann im Array neben dem Drive 9.
wieder was gelernt.
Menno was würde ich ohne Dich machen???
DANKE

[eFrame]

Jetzt hab ich ja was Zeit 🙂
 

[MAM59]

Ja, ist etwas gewöhnungsbedürftig, da mussten wir alle mal durch 🙂

Dummerweise erscheint die Option für Format nur DANN, deshalb kann man leider keine Screenshots machen

 

[MAM59]

oops ?!?!?! 6 Tage? 33 MB/s Ist da noch ne alte IDE Platte mit drin?

Für 18TB braucht er hier

[eFrame]

Just now, MAM59 said:

oops ?!?!?! 6 Tage? 33 MB/s Ist da noch ne alte IDE Platte mit drin?

Für 18TB braucht er hier

Nein.
Alle Platten sind relativ neu.
Größer > 2022.
Vielleicht liegt es an meinem LSI Controller ich weiß nicht.

[MAM59]

also normal ist das nicht... Oder kopierst Du da gerade noch wild rum???

 

[eFrame]

Wenn ich aus dem Array raus kopiere zum PC komme ich auf ca. 180 MB/s

[eFrame]

Just now, MAM59 said:

also normal ist das nicht... Oder kopierst Du da gerade noch wild rum???

 

Nein, ich lasse momentan nur die Parität laufen sonst nichts

[MAM59]

hmmm, stoppe mal die paritätserstellung ("anhalten"), warte ein paar Sekunden und lass sie weiterlaufen.

Oder warte eben 6 Tage :-)))

 

Ich geh nun ins Bett... NACHT 😇

Edited November 9, 2023 by MAM59

[eFrame]

Ich werds mal probieren.
Geb Dir dann gleich Bescheid

[eFrame]

Hab ich gemacht.
Trotzdem ändert sich dort nicht viel.
Also wie ich deine Aussage deute ist das nicht normal?

 

[MAM59]

7 hours ago, eFrame said:

Also wie ich deine Aussage deute ist das nicht normal?

Nein, irgendwas "klemmt" da gewaltig. Beobachte mal das Fehlerprotokoll, vielleicht gibts da "merkwürdige" Einträge, die in die Richtung deuten könnten.

Deine 180MB/s stammten ja von EINER Festplatte, die Paritätsberechnung bedient aber ALLE auf einmal.

Manche SATA Controller haben Portmultiplexer (also eigentlich nur 2 Ports, daraus werden durch die Umschalter dann 4,6,8 oder mehr), die produzieren solch ein Schnarchen, da sie bei jedem Zugriff abwarten müssen, bis der Bus frei ist und erst dann umschalten können. Aber Du sagtest was von LSI? damit sollte sowas nicht passieren.

Lass einfach laufen und schick mal die Diagnostics.

 

[eFrame]

Hier ist mein Diagnostic File.

 

eframeserver-diagnostics-20231110-0854.zip

[eFrame]

Ich kann mir vorstellen das es am SATA Controller liegt.
Vielleicht bringt dieser nicht die Transferraten.
Hier kurz die technische Beschreibung für den Controller.

 

Renkforce-rf-2748532-10-port-sata-controller-pcie-x4

10 Port 6 Gbit/s AHCI SATA III Hostadapter

 Interner 6 Gbit/s SATA III 10 Port PCIe Gen2 2 Lane Hostadapter

 Unterstützt PCIe 1.0 und PCIe 2.0 Mainboards

 Kompatibel mit 10 Gbit/s x2 PCI Express 2.0  Erfüllt vollständig die Serial-ATA-Spezifikationen 3.0

 Unterstützt eine SATA III Übertragungsrate von 6,0 Gbit/s, 3,0 Gbit/s oder 1,5 Gbit/s

 Unterstützt HDD, SSD, Optische und Blu-Ray-Laufwerke mit SATA I, SATA II und SATA III  Unterstützt ATA- und ATAPI-Befehle

 Unterstützt Native Command Queuing (NCQ)

 Unterstützt KEINEN SATA-Port-Multiplier  Low-Profile PCIe-Formfaktor

 SATA Hot-Plug-Fähigkeit  Stiftleisten auf der Platine für den Anschluss einer HDD-LED

 Integrierte AHCI-Treiberunterstützung für 64-Bit / 32-Bit Windows 8, Win7, Vista, 2008, 2012, Linux und Mac 10.x OS, kein zusätzlicher Treiber benötigt

 

Wäre ein
LSI Broadcom SATA/SAS HBA 9201-8i 6g 8port intern IT-Mode

oder

LSI 9211-8i HBA bulk, intern SAS 6Gb/s, PCIe 2.0 x8 (LSI00194)

die bessere Alternative?

Edited November 10, 2023 by eFrame

[DataCollector]

3 hours ago, eFrame said:

Ich kann mir vorstellen das es am SATA Controller liegt.
Vielleicht bringt dieser nicht die Transferraten.
Hier kurz die technische Beschreibung für den Controller.

 

Renkforce-rf-2748532-10-port-sata-controller-pcie-x4
10 Port 6 Gbit/s AHCI SATA III Hostadapter

 Interner 6 Gbit/s SATA III 10 Port PCIe Gen2 2 Lane Hostadapter

 Unterstützt eine SATA III Übertragungsrate von 6,0 Gbit/s, 3,0 Gbit/s oder 1,5 Gbit/s

 Unterstützt KEINEN SATA-Port-Multiplier

 

Also diese hier:

https://www.conrad.de/de/p/renkforce-rf-2748532-10-port-sata-controller-pcie-x4-passend-fuer-ssd-sata-ssd-inkl-low-profile-slotblech-1374266.html

 

Die ist ziemlich baugleich der von mir schon vor Jahren analysierten DELOCK 89384 10Port-SATA3

https://forums.unraid.net/topic/142208-wie-groß-muss-das-netzteil-bei-einem-unraid-server-sein/?do=findComment&comment=1285045

 

Oh Gott. Solchen 10Port-Schrott: Finger weg, wenn man auf Performance achtet.

Ich hoffe, Du hast nicht wirklich die aufegrufenen ca. 100 Euro dafür ausgegegebn.

 

Grob gesagt:

An einem verbauten ASM1062 (das ist der Kontrollerchip auf der Karte) selber kann man sehr performant 2 SSDs oder heutige Festplatten betreiben. Diese Karte benutzt aber nachgeschaltete Portmultiplier um jeden der beiden Ports auf 5 Anschlüsse zu verteilen. Leider bremsen diese beiden Portmultiplier zusätzlich. Und Dein Mainboard (und Deine mutmaßliche PCIe Slotbelegung) bremsen dann nochmal auf ca. 50% herunter.

 

Etwas mehr im Detail/Grundlegend:

Die x4 Schnitttselle zum Mainboard ist nur Fassade. Der verbaute ASM1062 Kontroller auf dem Board ist nur mit x2 und sogar nur mit PCIe 2.0 angebunden = 2x 500MByte/s für ALLE 10 Port bei gleichzeitiger Nutzung (= Paritybuild/-check).

Also 1GByte/s Geschwindigkeit durch (bis zu) 10 SATA Ports = maximal 100MByte/s pro Festplatte (in der Theorie).

Leider ist die Steckkarte aber nicht einmal in der Lage das zu liefern, da hinter dem ASM1062 2 Portmultiplier (Verteiler) angeschlossen sind. Und diese können nicht alle daran angeschlossenen (bis zu) 5 SATA Ports/Festplatten gleichzeitig ansprechen, sondern nur der Reihe nach reihum.

Gerade wenn eine Funktion wie Paritybuild oder -check aber die Informationen von allen Festplatten gleichzeitig haben will, ist es sinnvoll, auch alle Festplatten gleichzeitig abfragen zu können.

Also müssen alle der bis zu 5 am Portmultipliert angeschlossenen Festplatten auf eine jeweils andere Festplatte warten, die gerade die Verbinddung zum ASM1062 benutzt.

Somit sind in der Realität nicht einmal die rechnerischen 100MByte/s pro Port drin, weil die Festplatten jeweils diverse Millisekunden auf die jeweils anderen Festplatten warten. In der Realität sind da so 40-60 MByte/s bei gleichzeitiger Nutzung drin. Aber da spielt Dein Mainboard nicht mit (siehe unten)

 

Ich habe mir mal ein paar Dateien Deiner Diagnostic angesehen und sehe einen weiteren Flaschenhals.

Du nutzt anscheinend das Mainboard https://geizhals.de/gigabyte-ga-ax370-gaming-3-a1765916.html

GIGABYTE GA-AX370-Gaming 3

  1x PCIe 3.0 x16
  2x PCIe 2.0 x16 (1x x4, 1x x1)
  2x PCIe 2.0 x1
  1x M.2/M-Key (PCIe 3.0 x4/SATA, 22110/2280/2260/2242)

 

Ich befürchte, daß die GeForce im ersten Slot steckt.

Wenn ich es recht seh eich im M.2 eine NVMe drin.

Somit hast Du auf dem Mainboard nur noch die 3 langsamen PCIe Slots mit PCIe 2.0 zur Verfügung.

Einer davon kann elektrisch maximal x4 (2GByte/s),  die anderen beiden maximal x1 (500MByte/s) liefern.

Denkbar schlecht/langsam, wenn man daran ein Festplattenarray betreiben will.

Du hast eine Mellanox Connect X3 eingebaut. Wenn diese den x4 Slot belegt wird diese etwas ausgebremst aber sollte noch mit etwas unter 10GBLan nutzbar sein. Wenn es eine 2 Port Variante ist, schafft die die maximale Peformance auf beidem Ports nie.

 

Also steckt der SATA 10Fach Kontroller in dem letzten PCIe (mechanisch x16) Slot, der selber aber nur 1x angebunden ist.

Somit werden die 10 SATA Ports der Steckkarte nicht einmal mit den vorgesehene 1GByte/s versorgt, sondern nur mit 500MByte/s. Also nu rnoch 50% dessen, was diese 10-Port-Schrottkarten selber könnten.

 

Und nun die ganz schlechte Information:

Selbst die beiden erheblich leistungsfähigeren und stromschluckenderen SAS-Kontrolelrkarten von LSI können auf dem Mainboard in dem Slot nicht zaubern.

Wenn Du allen dort angeschlossenen SATA Festplatten in Summe gleichzeitig nur 500MByte/s (PCIe 2.0 x1) ermöglichst (weil dieses Mainboard mehr nicht hergibt, wenn Du Grafikkarte und Connect x3 gleichzeitig darauf betreiben willst), dann sind die daran Angeschlossenen festplatten bei gleichzeitiger Nutzung (Paritybuild/-check) auch dort so elendig langsam.

 

Deine einzige Chance wäre, die Festplatten auf mehrere SATA Kontroller zu verteilen.

OnBoard hast Du ja schon mal 4 Ports.

Für Erweiterungen bietet sich der M.2 Slot an, den Du aber schon mit einer NVMe SSD belegt zu haben scheinst.

Dann bleiben nur die 3 elektrisch angebundenen PCIe 2.0 x1 Slots gleichzeitig zu verwenden.

Wenn Du an jeden dieser Slots 2 maximal 3 Festplatten anschließt (also auch 3 Stück 4Port Kontroller einbaust und diese nur mit eben je 2-3 Festplatten betreibst), dann wirst Du etwas mehr Geschwindigkeit erreichen.

...oder hast Du noch weitere PCIe Steckkarten verbaut, die ich aktuell übersehen habe?

 

Grob gesagt: Du hast ein denkbar schlechtes Mainboard für die Kombination gewähnlt.

 

Ich habe mal die PCIe Fähigkeiten des Mainboards mal farbig dazu geschrieben und hier in beil. Bild angehängt.

 

Und hier ein paar SATA-Kontroller Grundlagen, sofern Du Dich weiter einlesen willst:

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v12-stand-08052023/

 

Falls Du wirklich auf dem Mainboard die 3 PCIe 2.0 Slots für SATA verwenden willst, hier Bezugsquellen für ASM1166 Steckkarten, die Du aber in den Slots mit maximal 2-3 Festplatten beschalten soltest:

 

PCIe 3.0 x1  6SATA ASM1166 Karten:

Wenn an Lieferzeit aus China akzeptiert: 22,72 Euro/Stück (bei mehr wirds billiger)
https://www.ebay.de/itm/185971504010

(Andere Anbieter aus China mit minimal höherem Preis sind da auch zu finden.
Ebay Suchbeghriff: "sata 6 pcie"    und dann da darauf achten, daß der ASM1166 Chip verbaut ist)

 

Anderer Anbieter mit deutschem Versandstandort (= schnellere Lieferung):
27,95 Euro/Stück
https://www.ebay.de/itm/166410078464

 

Wenn ich die Diagnostics richtig interpretiere hast Du auch eine SATA SSD in Betrieb? Diese sollte bevorzugt am OnBoardkontroller des Mainboards platziert werden. Der ist (mehr oder minder) der einzige SATA Anschluß auf dem Mainboard, der die Geschwindigkeit auch bieten kann.

Edited November 10, 2023 by DataCollector
Typos, Bild hinzugefügt, ASM1166 benannt

[eFrame]

@DataCollector Wow.
Das war mal ausführlich und sehr gut beschrieben.
War zwar alles was deprimierend aber hat schon sehr viel Licht in das Problem gebracht.

Ich habe noch ein Asus Board übrig. Wäre dieses besser dafür geeignet?
https://rog.asus.com/de/motherboards/rog-strix/rog-strix-b450-f-gaming-model/helpdesk_bios/

Wäre es sinnvoll und überhaupt machbar die GTX Karte ganz wegzulassen? Also Unraid Headless zu betreiben.
Ich meine gelesen zu das dies sehr problematisch wäre.

Ich sehe das ich um einen Wechsel des Mainboards wohl nicht rumkomme.
Nur bei der Wahl sehe ich den Wald vor lauter Bäumen nicht 😞

Jedoch würde ich gerne meine CPU und den Ram weiterverwenden.

[eFrame]

1 hour ago, DataCollector said:

Wenn ich die Diagnostics richtig interpretiere hast Du auch eine SATA SSD in Betrieb?

Ja.
Die habe ich auch an einem der internen SATA angeschlossen.

Genauso die Parity Platte.

Edited November 10, 2023 by eFrame

[DataCollector]

2 hours ago, eFrame said:

Das war mal ausführlich und sehr gut beschrieben.

Ich habe noch ein Asus Board übrig. Wäre dieses besser dafür geeignet?
https://rog.asus.com/de/motherboards/rog-strix/rog-strix-b450-f-gaming-model/helpdesk_bios/

Wäre es sinnvoll und überhaupt machbar die GTX Karte ganz wegzulassen? Also Unraid Headless zu betreiben.
Ich meine gelesen zu das dies sehr problematisch wäre.

 

Zu dem GIGABYTE GA-AX370-Gaming 3 und Grafikarte:

Ich habe nicht mehr im Kopf, was Du alles mit dem System machst, aber das Mainboard selber hat auch Grafikkartenanschlüsse. Wenn die CPU eine iGPU hat, kann man zumindest unraid damit betreiben.

Aber ich glaube Du verwendest eine AMD Ryzen 7 1700X. Die hat anscheinend keine iGPU

https://geizhals.de/amd-ryzen-7-1700x-yd170xbcaewof-a1582190.html

 

Somit braucht Du (im Regelfall) eine Grafikkarte (auch wenn Deine NVIDIA Corporation GM206 [GeForce GTX 960] jetzt nicht wirklich stromsparend ist).

 

Falls Du die Grafikarte aber leistungsmäßig nicht sehr belastest, sondern nur brauchst, damit sie "da" ist und unraid 'glücklich' ist, würde die sich auch in einem der anderen PCIe x16 Slots nutzen lassen, bei denen sie dann aber nur mit PCIe 2.0 x4 oder gar x1 angeschlossen ist (und somit vielleicht etwas langsam angebunden ist). Aber für eine simple Bildausgabe von unraid reicht das allemal.

! Das sollte man aber ausprobieren, bevor man weiter plant, denn es gibt einige (wenige) Mainboards, die eine Grafikkarte wirklich zwingen in dem dafür gedachten 1.PCIe Slot haben wollen !

 

Wenn das klappt könntest Du den oberen PCIe 3.0 x16 Slot für einen SATA oder sogar Deine LSI Kontroller verwenden und diese daran 'voll ausfahren' (Die von Dir benanten LSI können zwar auch nur elektrisch PCIe 2.0 x8, aber der Slot ist abwärtskompatibel). Aber die beiden LSI schlucken gegenüber einem SATA kontroller etwas mehr Strom.

Ich habe nicht im Blick, wieviele SATA Festplatten und SATA SSD Du an/in dem PC betreibst, aber 4 OnBoard-Ports und ein PCIe3.0 x2 angebundener ASM1166 Kontroller (für 6 Ports) würden Dir 10 SATA Devices mit guter Performance ermöglichen.

 

Wenn es also max. 10 SATA Devices (und überwiegend festplatten) sind würde ich dann zu sowas greifen und im obersten PCIe Slot einbauen:

PCIe 3.0 x4 (elektrisch x2)  6SATA ASM1166 Karten:

30,23 Euro/Stück

https://www.ebay.de/itm/225391076707

Bei der teilen sich dann die bis zu 2GByte/s an PCIe, auf die 6 SATA Ports und somit hat man bei gleichzeitiger Nutzung mehr als 300MByte/s pro Port.

 

Wenn es billiger sein darf kommt wieder China mit langen Versandzeiten ins Spiel:

https://www.ebay.de/itm/166209715733

25,57 Euro/Stück

 

 

Zu dem ROG STRIX B450-F GAMING:
https://geizhals.de/asus-rog-strix-b450-f-gaming-90mb0ys0-m0eay0-a1843402.html
  2x PCIe 3.0 x16 (1x x16, 1x x4)
  1x PCIe 2.0 x16 (x4)
  3x PCIe 2.0 x1
  1x M.2/M-Key (PCIe 3.0 x4, 22110/2280/2260/2242)
  1x M.2/M-Key (PCIe 3.0 x4/SATA, 2280/2260/2242)

 

Rein von den PCIe Angaben her ist dieses Mainboard erheblich besser geeignet.
Leider hängt es hier stark von der CPU ab, da ältere CPUs (und dazu gehört die X1700 leider ja) nicht alles bieten.
Einige ältere CPUs binden nicht alle PCIe Slots an. Da sollte man also vorher nachlesen/ausprobieren, bevor man alle Ports verplant).
Deine CPU wird darauf zwar auch keine iGPU haben, aber Du hast mehr PCIe Slots, die besser angebunden sind.
Ist Deine Mellanox X3 10GBLan eine x4 oder eine x8 Karte?

[MAM59]

13 minutes ago, DataCollector said:

Rein von den PCIe Angaben her ist dieses Mainboard erheblich besser geeignet.

Wow, kaum schläft Man|m etwas länger, schon entstehen hier Gardinenpredigten :-)))

 

Ja, das derzeitige Board findet sich wohl besser im Elektroschrott wieder, das B450 ist deutlich besser geeignet, aber hat auch böse Schwächen (read the fucking manual).

Der untere 16x slot funktioniert nur, wenn man auf die beiden 1x Slots darüber verzichtet (oder umgekehrt, "teilt sich die Bandbreite" definiert nicht, bei welchem die Lichter ausgehen).

Du verwendest nur eine Ryzen Gen 1 CPU, damit halbiert sich nochmal gleich alles bzgl. PCIe um 50% !

Insgesamt eine eher traurige Kombination und dazu noch recht stromgierig.

 

Vielleicht doch mal darüber nachdenken, ob eine modernere CPU / Board Kombi nicht deutlich billiger wird im längerfristigen Betrieb...

 

Zumindest sind Deine 33Mb/s nun erklärt, war meine Befürchtung ja nicht sooo falsch.

 

[eFrame]

Ich danke ganz herzlich @MAM59 und @DataCollector für diese tolle Hilfe.

Habe jetzt erstmal 3 HDD vom SATA Controller (Renkforce) entfernt.
Jetzt hängen noch 4 Platten dran. Das fällt aber nicht auf.
Sind jetzt gut 4 MB/s mehr.

Werde mir eine CPU mit Grafikeinheit und ein Mainboard mit wenns geht mit bis zu 8 SATA Anschlüssen holen.
 

Tendiere da wieder zu AMD hin, oder ist ein Intel System die bessere Wahl?
Hab heute schon soviel gelesen bezüglich dessen, jetzt bin ich ganz durcheinander.

 

 

[eFrame]

5 hours ago, DataCollector said:

Und hier ein paar SATA-Kontroller Grundlagen, sofern Du Dich weiter einlesen willst:

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v12-stand-08052023/

@DataCollector
Das habe ich mir mal durchgelesen.
Gut geschrieben, und schon wieder was dazu gelernt 🙂

[eFrame]

Habe jetzt eine Entscheidung getroffen.
Das aktuelle Mainbord hat 4 SATA.
Die 18 TB Parity HDD habe ich erstmal aus dem Array genommen.
Werde jetzt durch umkopieren mit Total Comander (über das Netzwerk vom Win-PC) inkl. Verifizieren auf meine erste 18 TB Festplatte die mit auf den internen Sata Anschlüssen liegt die Daten verlagern.
Dadurch kann ich dann die zwei 6 TB Festplatten nach dem kopieren rausnehmen und habe dann auf den internen SATA Anschlüssen noch Platz für die zweite 18 TB HDD.
Da kommt dann der Rest der momentan auf drei 8TB HDD im Array verteilt ist drauf.
Alle Anderen Dateien die auf weiteren HDD's aus dem ehemaligem Array liegen, werde ich erst nach dem Update von dem Mainboard und der CPU integrieren.
Ich gehe mal davon aus das ich die restlichen Datenträger ohne Probleme dann in das neue Array integriert bekomme.

[MAM59]

Klingt vernünftig.

Ich erklär Dir mal kurz meine eigene UNRAID Kiste hier, denn ich hatte Eingangs das selbe Problem und hab mir die neue Hardware zusammengestellt, um es loszuwerden. (nur mal so als Beispiel für Deine weitere Planung)

 

CPU: Ryzen 5700G (also MIT Grafikprozessor um den 16x Slot freizubekommen)

MoBo: ASUSTeK COMPUTER INC. TUF GAMING X570-PLUS (WI-FI)

LAN: Mellanox 3X SFP+ (PCIe 3.0 4x, es gibt ja auch ne Version mit PCIe 2.0 8x)

SATA Controller:

  * 4 onboard (main)

  * 4 onboard (sekundär, dafür muss man WiFi abschalten)

  * 2*ASM 10xx mit jeweils 4 Ports PCIe 3.0 1x

  * ASUS HyperCard 4*NVMe PCIe 4.0 mit jeweils 4x (in 16x Slot)

  * NVMe PCie 4.0 auf Mobo

  * NVMe PCie 3.0 auf Mobo

 

Liest sich locker, aber es hat lange gedauert um dahinzukommen.

Ausserdem gibt es ein paar Einschränkungen, die man kennen und hinnehmen muß:

* wie schon erwähnt muß man im BIOS umschalten von WiFi auf die zusätzlichen 4 SATA Ports

* Die GPU der CPU benutzt intern 4 Lanes, die kommen deshalb gar nicht aus dem Prozessor raus. Der 16X Slot hat deshalb nur 12 Lanes, leider beschaltet als 4x,-,4x,4x. Deshalb ist die zweite NMVe auf der Hyper Card nicht verwendbar!

 

Aber so gibt es eben 16 SATA Ports (Hotswap in entsprechendem 3U Gehäuse), die alle recht performant sind. Die 8 auf dem Mobo sind auch für SSDs tauglich. Ich hab aber keine, ich hab derzeit 4 NVMes mit 500Mb bis 2Tb. Ein Slot ist noch frei.

Auch bei SATA sind derzeit 11 Plätze frei, ich hab nur 18 und 20Tb Platten drin (oops, gelogen. Da ist noch ne alte 10Tb... aber die ist nicht Teil des Arrays und zu 99% der Zeit AUS).

 

 

Edited November 11, 2023 by MAM59