D3644-B1 - Wie erkennt ein PCIe Slot die Nutzung der Lanes (Bifurcation)?


Recommended Posts

Hallo in die Runde.

 

Ich gedenke mein Fujitsu D3644-B1 mit meinem I3-8100 wieder für unraid zu nutzen.

 

Dies beherrscht laut UEFI-Setup ja Bifurcation 8x4x4x im ersten (oberen) x16 Slot.
Für untere Frage beziffere ich diese Aufteilung mal:

   den ersten x4 bezeichne ich mal x4a und den zweiten mit x4b.


In den beiden PCIe 3.0 x1 Slots habe ich ASM1064 Kontroller drin (mit je 4 SATA Ports).
Nun habe ich im zweiten (unteren) X16 (elektrisch x4) Slot eine 10GBLanKarte drin (Mellanox SFP+) und vermute, der Slot wird durch x4b versorgt.

 

Mir stellt sich nun folgende Frage -

Wenn ich einen Bifurcation x16 zu x4x4x4x4 Adapter kaufe (Amazon/China für unter 40 Euro)

https://www.amazon.de/gp/product/B09QWDCTRP

und den in den ersten (oberen) PCIe x16 Slot stecke:
Kann ich dann in diesem Adapter zumindest 2 Stück M.2 NVMe SSD betreiben?
Einer würe (als x4) auf dem x8 Teil liegen, der zweite auf einem X4a Teil.


Schaltet so eine Karte aber den x4b des zweiten PCIe x16 Slots ab, weil sie eben nur stumpf im Slot steckt oder bleibt der zweite PCIe x16 Slot aktiv, weil ich den X4b Teil im ersten PCIe x16 Slot 1 ja nicht benutze und sich somit elektrisch kein Device dort meldet und die MellanoxKarte im unteren Slot weiter versorgt wird?

 

P.S.: Den vorhandenen M.2 wollte ich ebenfalls mit einer NVMe SSD bestücken, so daß im Endergebnis 3 flotte NVMe SSD im System sind und als Cache viel Puffern können.

 

P.P.S.: ich weiß, daß es eine sehr technische Fragestellung ist. Wenn es keiner weiß, werde ich wohl kaufen und selber testen müssen. Aber vielleicht hat jemand sowas ja schon mal ausprobiert.

 

Anbei zur Veranschaulichung ein kleines Bild des Board:

 

nachträglicher EDIT!!  Ich lag mit der Aufteilung der Lanes auf die beiden X16 Slots komplett falsch! Der untere PCIe x16 (elektrisch x4) Slot hängt gar nicht per Bifurcation am oberen PCIe x16 (elektrisch x16) Slot. Der untere Slot bleibt in Betrieb, auch wenn man im oberen Slot die hintersten 4 Lanes per Bifurcation nutzt!

 

 

 

D3644-B1-PCIe.jpg

Edited by DataCollector
Korrektur und Ergänzung aufgrund neuer Erkenntnisse
Link to comment

Hallo.

 

Da ich kein Reply hierzu lesen kann weiß es wohl keiner.

Somit habe ich einfach mal eine PCIe x16 4fach NVME/PCIe M.2 Slot Karte (Bifurcation) bestellt und in den obersten Slot eingebaut.

https://www.amazon.de/gp/product/B09QWDCTRP

Leider habe ich aktuell keine freie NVMe M.2 SSD zur Hand, aber meine Frage war ja, ob der untere PCIe x16 (elektrisch x4) Slot für meine Mellanox Netzwerkkarte weiter in Betrieb bleibt, wenn ich im oberen PCIE x16 Slot eine solche Bifurication Karte einbaue und das BIOS auf 8x4x4x umstelle, ohne den mutmaßlich nach unten abgezweiten X4 Bereich zu belegen.

 

Falls jemand diese Information gebrauchen kann:

Aktuell funktioniert die Netzwerkkarte, während oben die Karte (ohne Belegung der M.2 Ports) eingesteckt ist.

Also mutmaße ich hiermit, daß das alleinige Stecken einer PCIe Karte auf eine (bwz. hier 4) PCIe Lanes dem Slot nicht suggeriert, daß dieser Slot aktiv sein soll.

Es scheint wohl eher ein logisches Handshake notwe4ndig zu sein, damit erkannt wird, welcher Slot/M.2Port die Lanes zugeordnet bekommt.

Sobald ich ein paar M.2 NVMe SSD frei habe, werde ich mal testen ob meien Vermutung richtig ist, daß die beiden X16 Slots die Lanes wirklich sharen, indem ich beide mit einem Device bestücke und schaue was passiert.

 

Mal sehen ob ich bei ebay oder so billig eine oder mehrere kleine SSD für diesen Test schießen kann.

 

Software: Unraid server Trial, version 6.10.0-rc7

Zur Hardware:

LAN im unteren PCIe x16 (elektrisch x4): Mellanox ConnectX-3 CX311A

der Rest siehe Screenshot

 

Shipon-2022-05-10 19_25_21-102 Tessa Main (TESSA-MAIN1064) – VNC Viewer.png

Edited by DataCollector
Typos
Link to comment
1 hour ago, mgutt said:

Wenn du eh nur zwei M.2 nutzen willst, warum holst du dann nicht den Adapter?

https://www.supermicro.com/en/products/accessories/addon/AOC-SLG3-2M2.php

1. Weil die Karte teurer ist und

2. nur den x8 Teil vorne belegt.

Das wäre in dem Bifurication Slot des Boards also das Ergebnis, daß nur eine M.2 darin läuft.

 

 

1 hour ago, mgutt said:

Was ein Board bei Bifurcation macht, kann man denke ich vorher nie wissen.

Das hatte ich im UEFI gefunden:

Siehe Screenshot unten.

1 hour ago, mgutt said:

Genauso gut hätte bei x8x4x4 der zweite Slot deaktiviert werden können. Da geht tatsächlich nur Trial & Error.

Und das habe ich nun getan (siehe Foilgebeitrag).

UR-Shipon-BIfircation-UEFI#.jpg

Edited by DataCollector
Pic angehängt
Link to comment

So, ich habe gestern Nacht doch noch eine NVMe SSD gefunden und dann heute morgen mal durchgetestet.

Überraschung: der obere PCIe x16 im hinteren teil belegt sperrt nicht den unteren PCIe x16 (elektrisch x4). Die Slots hängen also nicht voneinander ab.

Das freut mich. 😁

Dadurch kann ich auf der Karte in dem oberen PCIe x16 Slot (PEG) mutmaßlich dann doch 3 Stück NVMe SSD gleichzeitig nutzen und im M.2 OnBoardSlot eine 4. NVMe SSD und wunschgemäß die Mellanox 10GBit SFP+ Karte.

 

Siehe beiliegende 4 Bildschirmkopien aus unraid, nachdem ich die NVMe SSD jeweils einen Port weiter eingesteckt habe:

 

UR-Shipon-BIfircation-P1-Mellanox.jpg

UR-Shipon-BIfircation-P2-Mellanox.jpg

UR-Shipon-BIfircation-P3-Mellanox.jpg

UR-Shipon-BIfircation-P4-Mellanox.jpg

Edited by DataCollector
Link to comment
25 minutes ago, DataCollector said:

nur den x8 Teil vorne belegt

Das stimmt nicht. Die Karte funktioniert nur, wenn das Board Bifurcation unterstützt. Dh sie nimmt den X8 (als X4) und den X4a Teil der Bifurcation.

 

24 minutes ago, DataCollector said:

Dadurch kann ich auf der Karte in dem oberen PCIe x16 Slot (PEG) mutmaßlich dann doch 3 Stück NVMe SSD gleichzeitig nutzen und im M.2 OnBoardSlot eine 4. NVMe SSD und wunschgemäß die Mellanox 10GBit SFP+ Karte.

Die 10G Karte im unteren PCIe Slot? Ja das geht, weil bei diesem Board der untere Slot vom Chipsatz bedient wird. Das erkennt man daran, weil er nur mit X4 ausgewiesen ist. Wäre er mit der CPU verbunden, wäre er mit X8 ausgewiesen (wie zb beim Gigabyte C246M).

 

Link to comment
1 hour ago, mgutt said:

Das stimmt nicht. Die Karte funktioniert nur, wenn das Board Bifurcation unterstützt. Dh sie nimmt den X8 (als X4) und den X4a Teil der Bifurcation.

Bifurication ist der Vorgang es aufzuteilen (Gabelung/Verteilung), sagt aber nichts dazu aus, wie Ver"gabelt" wird.

Wie der Slot mit seinen PCIe Lanes aufgeteilt wird/kann bestimmt die Boardarchitektur.

Diees Board (Fujitsu D3644-Bx) kann den oberen PCIe x16 (PEG) Slot 16x oder 8x8x oder maximal 8x x4 x4 aufteilen.

 

Somit kann man für übliche NVMe PCIe x4 SSDs eine SSD im vorderen Teil des X8 verwenden, der hintere Teil des x8 liegt dann mit seinen weiteren 4 Lanes brach.

 

Weitere NVMe x4 SSD können dann aber in den jeweils hinteren X4 Teilen des Plots per Riserkarte (siehe die von Amazon benannte Karte) nutzen.

 

EIne PCIe x16 Karte mit einer Bauartbedingten Konstruktion nach x4x4x4x4 Aufteilung kann in diesem Slot also erwartungsgemäß nur 1 * x4 SSD vorne (Port 1) und 2 * x4 SSDs hinten (Port 3 + 4) nutzen. Der hintere Teil der vorderen x8 Bereiches liegt leider unnutzbar brach.

(vgl. die Problematik der ASM1166 Kontroller mit x4 Steckkarten, bei denen leider auch 2 Lanes brach liegen).

 

Die von Dir benannte Supermicrokarte hat nur einen elektrisch beschalteten PCIe x8 Anschluß und keine PCIe Switchelektronik. Somit kann sie nur im Boards, die den vorderen x8 Bereich nach x4x4 "Gabeln" wirklich 2 dieser x4 SSDs anbinden. Das ist bei diesem Board nicht möglich. (Siehe auch Foto der UEFI Auswahlmöglichkeit weiter unten)

 

DIe bei Amazon gekaufte x4x4x4x4 Karte hat mir im Test gezeigt, daß ich dort erwartungsgemäß 3 NVMe Ports in diesem Slot getrennt ansprechen kann, das Board also genau so per Bifurcation den PEG Slot aufteilt, wie es im BIOS maximal möglich einstellbar ist 8x x4 x4.

 

Zur Konstruktion dieses Fujitsu Boards habe ich leidre keine Zugriff, somit habe ich eben keine Unterlagen, wie die Slots angebunden sind.

 

UR-Shipon-BIfircation-UEFI#-Auswahl.jpg

Link to comment
6 hours ago, Zonediver said:

 

Das erledigen die PCIe-Switches (normaler Weise)

Da ging ja die Frage hin: Woran erkennt ein Board (die Switche) ob ein Slot belegt ist oder nicht und welchen es aktiv schalten soll.

EInerseits eine eingesteckte NVME SSD x4x4x4x4 Karte in der an der fraglichen Stelle kein aktives Gerät (SSD) steckt, auf der anderen Seite eine LAN Karte.

 

Oder meinst Du wirklche aktive PCIe Switche, die beide Slots gleichzeitig anbinden? Nein, die sind nicht vorhanden.

Link to comment
On 5/7/2022 at 1:17 PM, DataCollector said:

Mir stellt sich nun folgende Frage

Sind deine Fragen hier schon beantwortet oder brauchst du noch etwas (ich hab mir wieder mal nicht alles genau druchgelesen...). :D

 

On 5/7/2022 at 1:17 PM, DataCollector said:

Schaltet so eine Karte aber den x4b des zweiten PCIe x16 Slots ab, weil sie eben nur stumpf im Slot steckt oder bleibt der zweite PCIe x16 Slot aktiv

So wie dein Board aufgebaut ist sieht es für mich so als wäre der obere x16 Slot an die CPU angebunden und der untere x16 Slot (elektrisch x4) an den Chipsatz und wird somit nicht abgeschaltet, um dies aber genau herauszufinden müsstest du schon beim Hersteller Fragen ob der dir vielleich die Information gibt oder möglicherweise sogar das Block Diagram <- das wäre natürlich der oberhammer. :)

 

15 hours ago, DataCollector said:

Woran erkennt ein Board (die Switche) ob ein Slot belegt ist oder nicht und welchen es aktiv schalten soll.

Meinst du jetzt die Verteilung der Lanes auf die Slots selbst oder meinst du Bifurcation, das sind für mich zwei Verschiedene sachen.

 

Erkennen ist immer so eine sache...

Darum hat man im BIOS auch immer eine Option das man die Lanes anders verteilen kann wenn wir jetzt von der Verteilung der Lanes auf die Slots reden.

Link to comment
On 5/11/2022 at 6:48 PM, DataCollector said:

Oder meinst Du wirklche aktive PCIe Switche, die beide Slots gleichzeitig anbinden? Nein, die sind nicht vorhanden.

 

Die Aussage von mir war nur eine allgemeine Feststellung.

Wie das im Detail funktioniert - ob da das BIOS oder die Switches selbst das steuern, kann ich leider auch nicht sagen.

Aber wenn in der Beschreibung des Boards nichts aufgeführt ist, dann wird dieses Feature nicht vorhanden sein...

Edited by Zonediver
Link to comment
5 hours ago, ich777 said:

So wie dein Board aufgebaut ist sieht es für mich so als wäre der obere x16 Slot an die CPU angebunden und der untere x16 Slot (elektrisch x4) an den Chipsatz

Diese Aufteilung (Blockschaltbild oder -diagramm)  hatte ich in den spärlichen Fujitsu Manuals nicht finden können.

Deshalb vermutete ich ursprünglich, daß die beiden X16 Slots per Bifurcation gekoppelt sein. Dem ist aber wohl wirklich nicht so.

Das freut mich, da ich dann ohne einen aktives PCIe Switch eine weitere M.2 NVMe als Cache einbauen und nutzen kann.

 

Interessieren würde mich dennoch generell: wenn eben 2 PCIe Ports (egal ob nun PCIe Slotbauform oder M.2) entsprechend aneinander gekoppelt sind, woran das Board erkennt, welchen Slot es aktiv nutzen und welchen ignorieren sollte.

 

5 hours ago, ich777 said:

Meinst du jetzt die Verteilung der Lanes auf die Slots selbst oder meinst du Bifurcation, das sind für mich zwei Verschiedene sachen.

Basierend auf der Bifurcation Annahme:

Wenn im oberen Slot eine solche passive Karte ohne aktives PCIe Gerät (SSD) auf den 4 Lanes steckt

und im unteren Slot eine aktive Karte steckt (hier LAN)

und beide Slots per Bifurcation aneinander gekoppelt sind (so daß eben nur einer der Slots diese doppelt belegten Lanes gleichzeitig nutzen kann).

Ist bei diesem Board nicht der Fall, aber es gibt boards, bei denen entweder M.2 PCIe oder PCIe x4 Slot benutzt werden dürfen. Woren erkennt die Technik, welchen Anschluß sie bevorzugen und welchen ignorieren soll?

Ich glaube mein W480 Vision W hat eine solche Doppelnutzung um 'unteren' Bereich.

 

 

5 hours ago, ich777 said:

Darum hat man im BIOS auch immer eine Option das man die Lanes anders verteilen kann wenn wir jetzt von der Verteilung der Lanes auf die Slots reden.

Im BIOS kann man zwar das Bifurcation in einigen Formen einstellen, doch das erkennt ja nicht automatisch ob es nun die Lanes auf einen so angebundenen anderen Slot umleiten oder für eine eingesteckte bifurcationfähige Steckkarte im oberen Slot diese bereitstellen soll (egal ob auf den Lanes dann ein aktives gerät auf der Karte lauscht oder nicht)?.

 

 

Link to comment
  • 6 months later...
2 hours ago, guybrush2012 said:

@DataCollector Ich habe diesen Fijitsu D3644 Board.

Ich auch (siehe mein 2nd System "Shipon" in Signatur).

2 hours ago, guybrush2012 said:

So wie ich es verstanden habe, könnte ich Problemlos so eine 4x m2 nvme Karte mit jedoch nur 3x m2 nvmes nutzen?

Ja. Siehe meinen Beitrag dazu:

Dort sind in Summe 3 NVMe SSD in dem oberen PCIe Slot eingebaut (in der 4fach Bifurcation Karte) und 1 NVME SSD in dem OnBoard M.2 Steckplatz.

 

2 hours ago, guybrush2012 said:

Könnte ich einfach auch eine 2x nvme Karte nutzen?

Regelfall: Eine 2fach Bifurcation Karte ist meist so aufgebaut, dass die ersten 8 Lanes des PCIe Slots benutzt werden. (Diese mag es mit einem PCIe x16 Anschluß geben, aber in der Regel werden da eben nur die ersten (vordersten) 8 Lanes benutzt). Diese kann das Mainboard aber nicht in 4x4x aufteilen.

Somit kannst Du bei so einer 2fach Bifurcation Karte nur eine NVMe SSD auf den ersten 4 Lanes betreiben, der Rest des Slots liegt dann brach. Das macht keinrn SInn, dann kannst Du dort auch einen simplen NVME SSD auf PCIex4 Adapter einbauen, Der ist billiger.

 

Sonderfall: Solltest Du wirklich einen (mir bisher unbekannten) 2fach Bifurcation Adapter finden, der die ersten 4 Lanes für die erste NVMe SSD belegt und die zweite NVMe dann nicht direkt dahinter auf die folgenden 4 Lanes, sondern noch dahinter auf die dann danach folgenden 4 Lanes legt, dann kann es klappen. Aber ich habe so einen Bifurcationadapter noch nie gesehen. Auch würde man damit in dem obersten PCIe x16 Slot auf dem Board immer noch 8 Lanes verschwenden. Und diesr Sonderfall wäre vermutlich teurer zu kaufen als ein 4fach NVMe SSD Adapter, wie ich ich einsetze.

 

Nimmt man hingegen eine 4fach Bifurcation NVMe Karte (Siehe meinen Beitrag zu meinem 2nd Server "Shipon") , kann man zumindest 12 der 16 Lanes für insgesamt 3 NVMe SSD benutzen. Wenn man nur 2 solche SSD dort einsetzen will, kann man das ja machen und hat noch Reserve um im 4.frei bleibenden M.2 Anschluß noch irgendetws zu betreiben. Vielleicht einem weiteren M.2 SATA Adapter mit JMB585 oder gar ASM1166 Kontroller für dann zusätzliche 5 respektive 6 weitere SATA Ports?

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.