Netzwerkkarte Kaufberatung|Schweiz: OTO/Provider|SR-IOV ...


54 posts in this topic Last Reply

Recommended Posts

Hi, ihr Lieben¬†ūüĖźÔłŹ

 

Ich m√∂chte mich bzgl. Networking auch auf den SR-IOV Pfad begeben, gleichzeitig zu 10G/25G via SFP+ aufr√ľsten und muss aber damit leben, erstmal nur einen PCIe 3.0 x1 Lane √ľbrig zu haben, aber einen vollen x16 Slot physisch. Am Liebsten h√§tte ich eine Karte, die schon PCIe 4 kann und die mich daher die n√§chsten 10 Jahre ohne Probleme begleiten wird selbst wenn drumherum immer mal neue Plattformen einziehen. Ideal w√§re es sicherlich, wenn die Karte physisch mit PCIe x4 auskommt, weil man das oft genug auf Consumerboards findet.

 

Entsprechend wichtig ist mir auch der Softwaresupport f√ľr m√∂glichst viele OS. Ideal w√§re es Support f√ľr eine Hackintosh-VM¬†zu haben, sowie f√ľr Windows 10 bzw. 11 als Guest mit Virtual Functions.¬†Thermisch/Stromverbrauch w√§re es wichtig, dass die Karte sehr sparsam agiert, um die Kosten m√∂glichst niedrig zu haben. Der Rechner ist vollgestopft mit Karten etc. und eine weitere Hitzequelle macht es nicht besser. Wenn sich die Karte dabei noch darumk√ľmmert der CPU die Arbeit der Berechnung des virtuellen Netzwerks abzunehmen: Umso besser.

 

Ach so und wenn das alles noch f√ľr 20‚ā¨ ginge ... Studentenbudget xD. Gerne kaufe ich daf√ľr auch irgendwas vom OEM und flashe es um oder was auch immer man tun muss.

 

Wie man sieht: Alles zusammen wird vermutlich nichts werden. Aber im Zweifelsfall gebe ich lieber ein *bisschen* mehr aus und habe etwas Vern√ľnftiges. Ich w√ľrde meine Priorit√§tenliste so setzen:

 

  1. SR-IOV (f√ľr bessere Performance/Stabilit√§t - habe manchmal mit den virtuellen NICs Schwierigkeiten wenn CPU Auslastung hoch ist)
  2. Stabilität, Stabilität, Stabilität (sollte viele VMs bzw. Docker versorgen können)
  3. 10/25G Networking (f√ľr Zukunftssicherheit und ja in der Schweiz gibt es schon so starke Internetanschl√ľsse; gibt es irgendeine Chance irgendwann den Server direkt via SFP an das OTO Outlet anzuschlie√üen?)
  4. Stromverbrauch (weil nicht nur Geld, sondern auch Rechner aufheizt)
  5. Geld
  6. Rest

 

ich w√ľrde mich sehr √ľber eure Vorschl√§ge freuen, weil ihr schon viel Erfahrung auf dem Gebiet habt und ich nicht jeden Fehler wiederholen will. Insbesondere @ich777¬†erw√§hnte, dass (noch) niemand mit Mellanox (und Windows-Guest) gl√ľcklich geworden sei und jemand anders sagte, dass diese Karten Stromfresser seien. Im Entwicklerpodcast hie√ü es jedoch, dass Mellanox OOB funktionieren w√ľrde und besser als Intel sei ... nunja, was denn nun :D

 

Ich habe beim Googlen auch gefunden, dass es anscheinend einen Bug gab bei den Mellanox-Karten und Windows-Guest, der aber mit neuer Software behoben wurde ... oder hatte man das hier im Forum schon probiert?

 

Freue mich auf euer Wissen :D

 

PS: Die restliche Hardware habe ich in meinem Profil hinterlegt :). Ich nutze AM4 wegen der Option auf 16 vollwertige Kerne; ich schleife jetzt schon immer am CPU Limit, aber bei den Preisen f√ľr Chips will ich noch ein bisschen mit dem R3600 auskommen.¬†

Edited by hwvrg
Link to post
  • Replies 53
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Nein. ^^

Was, wo, wie? Ich hab selbst Mellanox Karten jedoch laufen die nativ und nicht mit SRIOV.   Wenn du mit 10Gbit/s auskommst eine ConnectX3.   Da hast du dann eher pech, ver

Das ist mir klar jedoch bedenke wenn du eine Firewall auf unRAID eine Firewall oder whatever virtualisierst das dir unter Umständen hier ins Knie schießen könntest da viele Plugins beim booten auf Upd

Posted Images

15 minutes ago, hwvrg said:

Insbesondere @ich777¬†erw√§hnte, dass (noch) niemand mit Mellanox (und Windows-Guest) gl√ľcklich geworden sei

Was, wo, wie?

Ich hab selbst Mellanox Karten jedoch laufen die nativ und nicht mit SRIOV.

 

16 minutes ago, hwvrg said:

wenn die Karte physisch mit PCIe x4

Wenn du mit 10Gbit/s auskommst eine ConnectX3.

 

17 minutes ago, hwvrg said:

Thermisch/Stromverbrauch

Da hast du dann eher pech, vergiss nicht das sind Server Karten und selbst 10Gbit/s Consumer karten auch relativ warm werden, bei solchen musst du dir entweder einen L√ľfter raufschrauben oder du hast ordentlich Luftstrom dr√ľber (ich rede hier von keinem Standard PC Geh√§use leichte Briese sondern wirklich Luftstrom so wie in einem Server).

 

19 minutes ago, hwvrg said:

SR-IOV (f√ľr bessere Performance/Stabilit√§t - habe manchmal mit den virtuellen NICs Schwierigkeiten wenn CPU Auslastung hoch ist)

Mit meiner Mellanox hätte ich noch nichts dergleichen bemerkt aber ich nehm meine VM auch nur zum Container bauen, evtl kann dir jemand anders hier helfen.

 

20 minutes ago, hwvrg said:

10/25G Networking (f√ľr Zukunftssicherheit und ja in der Schweiz gibt es schon so starke Internetanschl√ľsse; gibt es irgendeine Chance irgendwann den Server direkt via SFP an das OTO Outlet anzuschlie√üen?)

Warum den server? Willst du nicht lieber eine Firewall vorschalten, den server direkt so wie er is ins Internet zu stellen ist eine wirklich sehr, sehr, sehr, sehr,... schlechte idee.

 

21 minutes ago, hwvrg said:

Stromverbrauch (weil nicht nur Geld, sondern auch Rechner aufheizt)

10Gbit/s braucht nun mal ein paar watt mehr als 1Gbit/s, ist auch der 10Fache durchsatz, evtl. kann dir hier @mgutt weiterhelfen.

Wobei ich ehrlich gestehen muss das meine ConnectX3 nicht wirklich ein stromfresser ist, m√ľsste so zwischen 4 und 9 Watt brauchen (ist aber wirklich nur gesch√§tzt).

 

SRIOV kann evtl. @Ford Prefect was dazu sagen, bin mir gar nicht sicher das es einwandfrei auf unRAID funktioniert, aber wie gesagt hab mich noch nie mit dem Thema beschhäftigt.

Link to post

Hey. Danke f√ľr deine Antwort. Klar w√§re es eine sehr sehr dumme Idee den Server nackt ins Internet zu bringen.

 

Aber daf√ľr haben wir doch Software based networking und VMs. Dann w√ľrde ich pfSense und piHole verwenden, das Board hat eine Wifi-Karte und ich habe meinen onboard-NIC, wo ich dann meinen Laptop anschlie√üen kann. Insofern, ... wir beide sehen das gleich, ich meine nur, dass die Aufgabe, die jetzt der Router erledigt auch in eine VM wandern kann. So habe ich das mit allen anderen Servern, die ich so habe/hatte, gemacht und spare jetzt einiges an Strom/Hardware ein, weil ich nur noch einen Rechner betreibe, der alles macht und dank Docker mit weniger Leistung auskommt.¬†Da ich (wie alle anderen hier, vermute ich) Selfhosting betreibe und meine eigene Nextcloud/Webseite betreibe, habe ich im Moment einen Reverse proxy am laufen. Das k√∂nnte man besser machen, wenn der Router als VM vorliegt.

Andererseits is mir im Moment nur klar, dass man es realisieren kann. Wieviel Aufwand das dann ist, w√ľrde man sehen. Denke aber, dass es dank Provider ohnehin nahezu unm√∂glich ist.¬†

Link to post
9 minutes ago, hwvrg said:

Aber daf√ľr haben wir doch Software based networking und VMs. Dann w√ľrde ich pfSense und piHole verwenden, das Board hat eine Wifi-Karte und ich habe meinen onboard-NIC, wo ich dann meinen Laptop anschlie√üen kann.

Das ist mir klar jedoch bedenke wenn du eine Firewall auf unRAID eine Firewall oder whatever virtualisierst das dir unter Umständen hier ins Knie schießen könntest da viele Plugins beim booten auf Updates Checken (Nvidia Driver, rclone DVB Driver,...) und wenn die beim booten keine aktive Internetverbindung haben schlägt das fehl, noch schlimmer bei einem Upgrade von unRAID selbst können die neuen Treiber/Versionen nicht heruntergeladen werden und die Plugin installation schlägt fehl.

Das konzept von den Treibern Plugins hat sich jetzt geändert seit release von 6.9.0

 

14 minutes ago, hwvrg said:

Das könnte man besser machen, wenn der Router als VM vorliegt.

Wie schon oben geschrieben, schlechte Idee außerdem solltest du mal einen HW defekt am Server haben hast du kein Internet.

 

Ich rate immer davon ab die/den Firewall/Router auf unRAID zu betreiben, selbst ich hab eine dedizierte Firewall die 5W im schnitt braucht f√ľr mein FTTH.

Link to post

Hmm. Vermutlich hast du Recht. 

 

Wenn ich jetzt noch w√ľsste, dass die ConnectX3 mit Windows VM und SR-IOV zuverl√§ssig (!) funktioniert, w√§re das schon ein Favorit.

Link to post
48 minutes ago, ich777 said:

SRIOV kann evtl. @Ford Prefect was dazu sagen, bin mir gar nicht sicher das es einwandfrei auf unRAID funktioniert, aber wie gesagt hab mich noch nie mit dem Thema beschhäftigt.

@hwvrgSR-IOV in unraid geht, man muss es aber manuell aktivieren...siehe: 

 

 

Ich habe meine mellanox ConnectX3 damit aber noch nicht versucht, bzw. geschaut, ob sie es √ľberhaupt kann....und sie ist f√ľr nen andere Sache gerade ausgebaut¬†ūüėÖ

@ich777 kannst Du bei Deiner Mellanox mal ein: "lspci -vvv <venderID> | grep -A 9 SR-IOV" machen? Die "VenderID" ist die ID in der IOMMU-group,

Siehe Post #2 in der o.a. Anleitung: Does my NIC support it? If not, what should I buy? 

Link to post
4 minutes ago, hwvrg said:

Hmm. Vermutlich hast du Recht. 

Meine bedenken sind immer die das wenn du die Firewall direkt auf unRAID betreibst und dort wirklich alles drauf l√§uft und du hast wirklich einen Hardware-/Softwaredefekt kannst du nicht mal richtig Troubleshooten weil du kein Internet hast, ich meine du w√ľrdest schon das Internet vom Handy haben aber ist einfach nicht das gleiche wie am lokalen PC, ganz abgesehen von den anderen Themen die ich bereits oben erw√§hnt hab.

 

Ein AiO Gerät  ist schon super aber bringt auch manchmal Probleme mit sich...

Link to post

Darf nichts kosten, maximal leisten und keinen Strom verbrauchen... hat gerade jemand eine eierlegende Wollmilchsau √ľbrig ūüėÖ

 

Ich denke ein guter Startpunkt ist Geizhals mit deren Filterfunktion:

https://geizhals.de/?cat=nwpcie&xf=14066_PCIe-Karte

 

Dort sehen wir dann zB, dass es bei PCIe 4.0 etwas mau aussieht bzw es gibt keine x4 Karte:

image.png.32bb5fc54093ed23f88572fb1d05fe6c.png

 

Ich empfehle auch nicht auf den PCIe 4.0 Knopf zu dr√ľcken, denn dann wird's sehr teuer ūüôą

 

Das liegt aber auch daran, dass PCIe 4.0 nur in Kombination mit dem "neueren" SFP28 angeboten wird, also 25G f√§higes SFP+, was es "erst" seit ~2015 gibt. Dass der Hersteller dann gleich auf x8 oder x16 setzt, d√ľrfte daran liegen, dass die Karte auch bei PCIe 3.0 die volle Leistung bringen k√∂nnen soll. Du wirst also keine Karte finden, die 10G √ľber PCIe 4.0 x1 liefert, auch wenn das von der Bandbreite her ausreichen w√ľrde. Der Hersteller hat einfach Angst die Karte dann nicht so gut verkaufen zu k√∂nnen.

 

Zum Stromverbrauch k√∂nnen wir ja mal die g√ľnstigste PCIe 4.0 Karte nehmen. Die Intel E810-XXVDA2:

https://cdrdv2.intel.com/v1/dl/getContent/641674

 

Mit einer Direktverbindung, der sparsamsten Variante bei SFP, immer noch 8 bis 10 W je nach Auslastung:

image.png.842a8efe9c448556bc18862f10f1fe8e.png

 

Dazu kommt dann noch der Overhead vom PCIe Slot von 2 bis 3W. Sparsam ist anders.

 

Wobei aber eh die Frage ist ob man Dual 25G benötigt. Reicht nicht Dual 10G oder Single 10G?

 

 

Zu SR-IOV findet man ansonsten die meisten Informationen hier:

https://forums.unraid.net/topic/103323-how-to-using-sr-iov-in-unraid-with-1gb10gb40gb-network-interface-cards-nics/

 

 

 

Link to post
Posted (edited)

Danke f√ľr die vielen detaillierten Antworten :)

 

Ich denke an 25 Gbit, weil man es jezt schon bekommen kann und es mich √ľber Fiber keinen Cent mehr kostet:

 

https://www.init7.net/en/internet/fiber7/¬†(Tats√§chlich w√ľrde ich eher bei Salt kaufen und ich habe ja auch nur eine PCIe 3.0 x1 Lane, die noch nichtmal volle 10 Gbit hinbekommt). Das sind Geschwindigkeiten wie man sie bisher nur aus dem Rechenzentrum kennt. Ich m√∂chte also alles, was mein digitales Leben angeht, auf diesen Server umziehen. Dabei achte ich auf Backups, betreibe einen kleinen SBC mit Festplatte an einer vollkommen anderen geografischen Location.

 

Daher jetzt im Zusammenspiel mit den anderen Faktoren die Frage welche Karte man sich kaufen sollte, um nicht abgeh√§ngt zu werden :). Wirklich brauchen/geschweige denn nutzen kann ich 25 Gbit jetzt noch nicht. M√∂chte mir nur nicht dann irgendwann wieder Gedanken machen m√ľssen, sondern w√§re ganz froh, wenn das Thema dann f√ľr die n√§chsten 10 Jahre vom Tisch ist und die Karte einfach immer mitumziehen kann (Hatte beim Wechsel auf Gigabit damals sehr gute erfahrungen mit diesem Vorgehen gemacht und habe dann fr√ľhzeitig den kauf von 100Mbit Hardware eingestellt).

Vielleicht ist das aber auch nicht der schlauste Weg - was meint ihr? Wie geht es mit Vernetzung weiter?

Edited by hwvrg
Link to post
18 minutes ago, Ford Prefect said:

"lspci -vvv <venderID> | grep -A 9 SR-IOV"

Du hast glaub ich -d vergessen... wenn ich das pr√ľfe kommt nichts, kann aber auch daran liegen das ich das BIOS der Karte "weggeflashed/deaktiviert" hab.

 

Hier mal der vollständige output:

lspci -vvv -d 15b3:1003
01:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]
	Subsystem: Mellanox Technologies MT27500 Family [ConnectX-3]
	Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
	Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
	Latency: 0, Cache Line Size: 64 bytes
	Interrupt: pin A routed to IRQ 16
	IOMMU group: 1
	Region 0: Memory at b6600000 (64-bit, non-prefetchable) [size=1M]
	Region 2: Memory at 4000000000 (64-bit, prefetchable) [size=8M]
	Capabilities: [40] Power Management version 3
		Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
		Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
	Capabilities: [48] Vital Product Data
		Product Name: CX311A - ConnectX-3 SFP+
		Read-only fields:
			[PN] Part number: MCX311A-XCAT         
			[EC] Engineering changes: A5
			[SN] Serial number: MT1320X01586            
			[V0] Vendor specific: PCIe Gen3 x4
			[RV] Reserved: checksum good, 0 byte(s) reserved
		Read/write fields:
			[V1] Vendor specific: N/A   
			[YA] Asset tag: N/A                     
			[RW] Read-write area: 109 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 252 byte(s) free
		End
	Capabilities: [9c] MSI-X: Enable+ Count=128 Masked-
		Vector table: BAR=0 offset=0007c000
		PBA: BAR=0 offset=0007d000
	Capabilities: [60] Express (v2) Endpoint, MSI 00
		DevCap:	MaxPayload 512 bytes, PhantFunc 0, Latency L0s <64ns, L1 unlimited
			ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 116.000W
		DevCtl:	CorrErr- NonFatalErr- FatalErr- UnsupReq-
			RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-
			MaxPayload 256 bytes, MaxReadReq 512 bytes
		DevSta:	CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
		LnkCap:	Port #8, Speed 8GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
			ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
		LnkCtl:	ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
			ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
		LnkSta:	Speed 8GT/s (ok), Width x4 (ok)
			TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
		DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR-
			 10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
			 EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
			 FRS- TPHComp- ExtTPHComp-
			 AtomicOpsCap: 32bit- 64bit- 128bitCAS-
		DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled,
			 AtomicOpsCtl: ReqEn-
		LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
		LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
			 Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
			 Compliance De-emphasis: -6dB
		LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+
			 EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
			 Retimer- 2Retimers- CrosslinkRes: unsupported
	Capabilities: [c0] Vendor Specific Information: Len=18 <?>
	Capabilities: [100 v1] Alternative Routing-ID Interpretation (ARI)
		ARICap:	MFVC- ACS-, Next Function: 0
		ARICtl:	MFVC- ACS-, Function Group: 0
	Capabilities: [148 v1] Device Serial Number *REMOVED*
	Capabilities: [154 v2] Advanced Error Reporting
		UESta:	DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
		UEMsk:	DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
		UESvrt:	DLP+ SDES- TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
		CESta:	RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
		CEMsk:	RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
		AERCap:	First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
			MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
		HeaderLog: 00000000 00000000 00000000 00000000
	Capabilities: [18c v1] Secondary PCI Express
		LnkCtl3: LnkEquIntrruptEn- PerformEqu-
		LaneErrStat: 0
	Kernel driver in use: mlx4_core
	Kernel modules: mlx4_core

 

Link to post

Ich habe noch was gefunden:

 

https://www.init7.net/de/support/routerinfos/

 

Hier steht explizit SFP bzw. SFP28. Ich selbst habe hier noch kein Glasfaser, werde aber dann welche bekommen oder umziehen. W√§re das dann die M√∂glichkeit das Ding direkt zu verbinden (welche ich aber nicht wahrnehmen sollte, weil siehe oben). Und wie w√ľrdet ihr sowas organisieren? Ich bin noch ganz geflasht, dass es √ľberhaupt die M√∂glichkeit heutzutage dazu gibt.

Link to post
9 minutes ago, ich777 said:

Du hast glaub ich -d vergessen... wenn ich das pr√ľfe kommt nichts, kann aber auch daran liegen das ich das BIOS der Karte "weggeflashed/deaktiviert" hab.

Es denke es liegt am BIOS...mit meiner i350-T4 geht es mit dem Befehl.

SR-IOV ist ja eine Software-Funktion, also ist da BIOS des Controllers wohl Pflicht, f√ľrchte ich.

Wenn man es anwendet bekommt man halt "echte, virtuelle" NICs im Host, also /dev/ethX - die kann man dann "normal" verwenden, auch f√ľr VMs.

 

Link to post
11 minutes ago, hwvrg said:

Ich habe noch was gefunden:

 

https://www.init7.net/de/support/routerinfos/

 

Hier steht explizit SFP bzw. SFP28. Ich selbst habe hier noch kein Glasfaser, werde aber dann welche bekommen oder umziehen. W√§re das dann die M√∂glichkeit das Ding direkt zu verbinden (welche ich aber nicht wahrnehmen sollte, weil siehe oben). Und wie w√ľrdet ihr sowas organisieren? Ich bin noch ganz geflasht, dass es √ľberhaupt die M√∂glichkeit heutzutage dazu gibt.

ich w√ľrde einen dedizierten Router f√ľr sowas hinstellen, zB einen Mikrotik CCR2004¬†https://mikrotik.com/product/ccr2004_1g_12s_2xs¬†

Link to post

@Ford Prefect Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder? Ich merke, ich schwanke, ob ichs nicht doch mit AiO versuchen soll. Weil ich brauche de facto nur noch einen Netzwerkport. Im Heimnetzwerk befinden sich sonst nur noch Funkgeräte und Laptops. Alles Dinge, die ich mit Gigabit/2.5 Gigabit ohne Probleme regeln könnte. Zumal ja auch nicht jeder ein SSD Raid im System betreibt, oder so. xD

 

Hmm. um das zu Saturieren m√ľsste ich dann vermutlich tats√§chlich auf PCIe 4 M.2 SSD setzen. Einfach Wahnsinn - was f√ľr eine Bandbreite. Da ist das Internet schneller als der PC verarbeiten kann xD. W√ľrde das die CPU √ľberhaupt schaffen? Was m√ľsste man sonst beachten?

Link to post
22 minutes ago, hwvrg said:

Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder?

Du bist hier im 25Gbit bereich, was erwartest du dir?

 

Eine ConnectX 5 beispielsweise verbraucht im idle ca 21W, soweit ich weiß braucht die Intel ein paar watt mehr.

 

Wegen der Lautst√§rke, sei dir bewusst das du so eine 25Gbit karte auch K√ľhlen musst ein leichter Luftstrom wie oben schon geschrieben reicht dort nicht.

 

22 minutes ago, hwvrg said:

Hmm. um das zu Saturieren m√ľsste ich dann vermutlich tats√§chlich auf PCIe 4 M.2 SSD setzen. Einfach Wahnsinn - was f√ľr eine Bandbreite.

Warum PCIe4.0? Ist doch mit 3.0 auch leicht zu erreichen.

 

Ich w√ľrde das Problem eher dort sehen wie du die Bandbreite ausnutzen willst...

Ich glaube kein Dienst den du Online nutzen kannst wird dir diese Geschwidnigkeit liefern können und wenn dann nur einer oder 2.

 

22 minutes ago, hwvrg said:

Da ist das Internet schneller als der PC verarbeiten kann xD. W√ľrde das die CPU √ľberhaupt schaffen? Was m√ľsste man sonst beachten?

Wichtige details fehlen, welche CPU. :D

 

...und auch was du vor hast, warum sollte das die CPU nicht schaffen? ūüėé

 

22 minutes ago, hwvrg said:

Was m√ľsste man sonst beachten?

Kommt drauf an was du machen willst, wie gesagt wichtige details wie deine CPU und Hardware fehlt hier in den Angaben, steht dein PC neben dir weil dir lautstärke so wichtig ist?

Was machst du mit den VMs.

 

Link to post
Posted (edited)

Sry. hatte das bei mir ins Profil geschrieben, weil ich geh√∂rt hatte, das sei hier so √ľblich.¬†

 

Also schreibe ich mal ein bisschen was dazu:

 

Hardware (as of 07/20/2021):

 

Ryzen 3600 6-Core Processor (non OC)

ASUS B550-F with WIFI (B550 Chipset)

128 GB DDR4-ECC RAM @3200/3600 Mhz (got it cheap)

RTX 3070 FE (works, most of the time, very nice GPU, highly appreciated)

TBS DVB Card (PCIe x1)

Creative Xtreme Music (PCIe x1)

Delock ASM1061 Card (PCIe x1)

Corsair SF450 ITX Platinum power Adapter (good one)

Many, many Noctua Fans for Airflow and (CPU) Cooling

Corsair 220T Airflow Case (with Noctua Fans // w/o RGB)

 

Use Cases:

 

Desktop Replacement (mit Grafikkarten Passthrough)

Webhosting (SWAG, Wordpress, mariaDB, in Docker)

zwei Nextcloud (mit mariaDB in Docker, f√ľr mich und einen Freund)

test-VM (linux, meistens Python-ServerApps)

DVB-Fernseh-Server (läuft noch nicht perfekt (hängt vllt. auch an der CPU), aber DVB-S2-Karte habe ich schon)

Minio Server (mehr zum Spielen)

 

Future Use Cases:

 

Wenn ich mal einen besseren Chip h√§tte, idealerweise einen Ryzen 5950 oder sowas, dann k√∂nnte ich/w√ľrde ich:

 

Gameserver hosten

Audio/Videochat hosten (keine Ahnung welche Software gut wäre)

Auch mit gro√üen Dateien √ľbers Internet via SMB und VPN arbeiten (Nextcloud w√§re da vermutlich zu langsam)

F√ľr jeden, den ich kenne und der an Nextcloud interessiert ist, eine "Box" hosten

Nicht nur Bilder, sondern auch Videos zum Download oder sogar vllt. Streaming anbieten, das kommt zum Beispiel gerade im Studium super bei den anderen an (via Nextcloud Share, aufgenommene Vorlesungen, Tutorien), aber ist ein bisschen schwierig wegen dem begrenzten Upload.

usw.

 

im Moment h√§lt mich zur√ľck, dass der Ryzen 3600 nur 6 Kerne hat. 4 sind auf Windows gepinnt und 2 sind f√ľr den ganzen rest. Und die sehe ich oft am Anschlag. das macht sich dann auch in der VM bemerkbar, weil Sound dann Fehler bekommt usw. - aber will jetzt auch nicht zuviel OT labern. Mir ist klar, was ich da tun muss, aber ich hoffe einfach, dass die AM4 Chips mit Alder Lake noch ein bisschen billiger werden.

 

Ich lebe im Moment in einem Flatshare mit 6/7 Leuten und wir teilen uns einen DSL Anschluss. Darauf basierend wollte ich mal einen richtigen Anschluss raussuchen und bin dann auf Empfehlung bei init7 gelandet. Alle anderen sind aber "normal" und benutzen nur das WLAN, ich habe als einziger √ľberhaupt eine LAN-Verbindung. Schnell habe ich dann gesehen, dass Glasfaser sehr g√ľnstig geworden ist und dass es egal ist mit Glasfaser, ob man 1Gbit nimmt oder 25 Gbit. Viele empfehlen mir init7 von der Qualit√§t her, k√∂nnte mir aber auch vorstellen 10Gbit bei Salt zu buchen, das is mit 40 Franken auch recht g√ľnstig.

M√∂chte mir aber jetzt etwas kaufen, was dann wieder ein bisschen h√§lt. Habe ich bei den 128GB RAM auch nicht bereut. Das ist sehr befreiend da nicht rechnen zu m√ľssen, sondern einfach immer genug zu haben.

 

 

 

Edited by hwvrg
Link to post
55 minutes ago, hwvrg said:

@Ford Prefect Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder?

...die Bauform hat damit erstmal nix zu tun¬†ūü§£

Aber wir schon angef√ľhrt wurde....die Technik ist inzwischen in Preisregionen angekommen, die es auch Otto-SoHo-Nutzer erlauben das einfach hinzustellen. Alleridngs ist die Energieeffizienz, besonders bei Kupferleitungen eben nicht mit einen normalen 1Gbps Ethernet zu vergleichen.

Aber auch 25GBit Internet m√ľssen erstmal durch eine Firewall, also eine CPU durch.

Ich bezweifle, das Du das mit einer Normalo-CPU und Allround-OS Deines AiO schaffst....auch nicht mit einer Pfsense.

Die L√ľfter sind i.a. geregelt, also nicht dauerlaut.

Vpm P/L kommst Du mit einer AiO nicht an den MT ran....Marktpreis ist bei kanpp 450EUR...das m√ľsstest Du im AiO allein f√ľr die CPU als Minimum ausgeben um zwischen 2-4 Interfaces 25-40Gbps zu routen, mit einer Pfsense oder auch MT-RouterOS.

 

55 minutes ago, hwvrg said:

Ich merke, ich schwanke, ob ichs nicht doch mit AiO versuchen soll. Weil ich brauche de facto nur noch einen Netzwerkport. Im Heimnetzwerk befinden sich sonst nur noch Funkgeräte und Laptops. Alles Dinge, die ich mit Gigabit/2.5 Gigabit ohne Probleme regeln könnte. Zumal ja auch nicht jeder ein SSD Raid im System betreibt, oder so. xD

das stimmt ja nicht, denn DU m√ľsstest Minimum 1xWAN und 1XLAN¬†bereitstellen.

Link to post
Posted (edited)

@Ford PrefectDu gehst davon aus, dass die 25 Gbit nochmal irgendwo sonst ankommen sollen, aber das ist nicht bei mir so. Mein Desktop und mein Server sind dank Unraid eins. Wenn ich SR-IOV benutze, dann macht die Netzwerkkarte die Virtualisierung und der Linux Kernel muss dann da auch nicht mehr routen, richtig?

 

Es ist schade, dass Unraid an sich kein WLAN unterst√ľtzt, aber am Ende haben wir es jetzt auch einfach mit einem Accesspoint gemacht. Dann werden die Accesspoints √ľber den onboardNic verbunden und es ist fertig. Die haben eine Konfigurationsoberfl√§che, wo man alles einstellen kann. Also ich wei√ü nicht, ich habe das noch nicht gemacht.

 

Am meisten schreckt mich eigtl. das beschriebene Szenario, dass das "komplette Internet" weg ist, wenn Unraid nicht läuft. Aber so wie ich das sehe, wäre das in diesem speziellen Fall kosteneffizient, weil die Bandbreite nirgendwo sonst als bei diesem einen Rechner gebraucht wird. So oder so läuft mein Unraid-Server schon jetzt 24/7, damit man drauf zugreifen kann.

 

 

 

Netzwerkdiagramm (1).png

 

Den eingezeichneten Switch kann ich einfach an meinen onboard NIC dranhängen (I225-V), sollte mehr als ausreichen. Zumal wie wir alle wissen, WLAN eh so langsam ist in der Praxis, dass es egal ist.

Edited by hwvrg
Link to post



@Ford PrefectDu gehst davon aus, dass die 25 Gbit nochmal irgendwo sonst ankommen sollen, aber das ist nicht bei mir so. Mein Desktop und mein Server sind dank Unraid eins. Wenn ich SR-IOV benutze, dann macht die Netzwerkkarte die Virtualisierung und der Linux Kernel muss dann da auch nicht mehr routen, richtig?


Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.
Der linux Kernel muss immer dann routen, wenn Du mehr als ein IP- Netz hast...mindestens zum Gateway (default) in Richtung I-Net. Nicht L2 und L3 traffic verwechseln.
In Deinem Diagramm macht das zuerst unraid (VMs/Docker) zur pfsense und dann die pfsense selbst.
 
Es ist schade, dass Unraid an sich kein WLAN unterst√ľtzt, aber am Ende haben wir es jetzt auch einfach mit einem Accesspoint gemacht. Dann werden die Accesspoints √ľber den onboardNic verbunden und es ist fertig. Die haben eine Konfigurationsoberfl√§che, wo man alles einstellen kann. Also ich wei√ü nicht, ich habe das noch nicht gemacht.


Das ist wieder das gleiche Thema. Ein WLAN AP ist nur ne Br√ľcke zwischen Kabel- und Luft-"Ethernet". Vorteil des am Kabel abgesetzten AP ist, dass man ihn zwecks Ausleuchtung besser positionieren kann...vor allem, wenn der POE versorgt wird.
 
Am meisten schreckt mich eigtl. das beschriebene Szenario, dass das "komplette Internet" weg ist, wenn Unraid nicht läuft. Aber so wie ich das sehe, wäre das in diesem speziellen Fall kosteneffizient, weil die Bandbreite nirgendwo sonst als bei diesem einen Rechner gebraucht wird. So oder so läuft mein Unraid-Server schon jetzt 24/7, damit man drauf zugreifen kann.
ja, siehe oben.
Ist der Server aus ist nix mit Treiber aus dem Inet holen ...gibt schneller ein Henne-Ei-Problem als Du denkst.
 
Sr-IOV spart ein paar Ressourcen, da sonst die CPU Switch, Bridge und Router ist, wenn Du alles in virtuellen Software- Devices machst.

Das ist auch i.O. so, aber die Gesamtarchitektur ist fraglich. Eine 25G Karte kann 25G, egal auf wie viele virtuelle Interfaces aufgeteilt. Ein virtio schafft immer CPU Bus- Bandbreite, also heute eher mehr als das doppelte. Man muss sich entscheiden.
Bei Themen der Infrastruktur ist meine Erfahrung , auf robuste Konzepte zu setzen und nicht das letzte auszureizen.
Router, APs und Switch(e) extern Apps/VMs intern, solange sie im gleichen IP- Netz liegen. Alles andere √ľber den Router mit zentraler Firewall. Virtualisierung f√ľr den Router, ja aber nicht f√ľr den Router, der WAN macht sondern als Firewall zwischen Apps.



Gesendet von meinem SM-G960F mit Tapatalk

Link to post
54 minutes ago, Ford Prefect said:

Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.
Der linux Kernel muss immer dann routen, wenn Du mehr als ein IP- Netz hast...mindestens zum Gateway (default) in Richtung I-Net. Nicht L2 und L3 traffic verwechseln.
In Deinem Diagramm macht das zuerst unraid (VMs/Docker) zur pfsense und dann die pfsense selbst.

 

DAS ... muss ich mal googeln. Davon verstehe ich vermutlich weniger als die Hälfte.

 

Deinen Ratschlag habe ich vernommen. Ich vermute auch, dass er sehr vern√ľnftig ist, kostet aber vermutlich einige 100 Franken extra initial und dann weiterhin noch Strom etc., daf√ľr dass man am Ende gar keinen "Mehrwert" sieht. Wiegesagt, ich googel mal ne Runde und schreibe nochmal.

Link to post
1 hour ago, Ford Prefect said:

Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.

Das kann ich aber mal sowas von unterschreiben. Ich bekomme ja schon Stress, wenn Plex ruckelt, weil ich gerade Dateien verschiebe ^^

Link to post

Ok, habe jetzt mal ein bisschen gegoogelt: WAF steht ja f√ľr Web Application Firewall, also Firewall. Ich dachte, das ist die Funktion, die pfSense unter anderem zur Verf√ľgung stellt? Ich k√∂nnte auch die ufw nehmen, mit der habe ich schonmal gearbeitet. Port Forwarding usw. kann ich bzw. habe ich jetzt auch schon hingebastelt. Werde ich also vermutlich wieder schaffen.¬†

 

Oder verstehe ich euch falsch? Was hat die Firewall mit Plex zu tun? xD

 

Bin mir nicht sicher, dass ich das richtige gegoogelt habe.

Link to post

Danke f√ľr diese Belehrung. Jetzt verstehe ich, was das meint xD. Kannte den Begriff nicht, bin vielleicht noch zu jung. Hoffentlich werde ich immer zu jung sein, aber das ist wohl arg OT. Wenn ich da jetzt mal den Transfer mitgehe: Ja, ihr habt recht.

 

Aber was ist besser zu verkaufen: Eine gro√üe Box kaufen f√ľr einige Hundert Stutz, die Strom frisst oder mal nachts das Inet weg, weil ich irgendwas rumbastel. Ich finde, das ist eine an sich schwere Entscheidung, die aber der Geldbeutel sehr viel leichter macht. Trotzdem vermute ich selbst, dass ich nach ein paar Monaten zerknirscht sowas kaufen w√ľrde, aber ich hoffe einfach nicht. xD

 

Zu der Netzwerkkarte und den Diensten. Ich habe jetzt mal auf geizhals rumgesucht:

 

https://geizhals.de/?cat=nwpcie&xf=14066_PCIe-Karte~14078_SR-IOV~15050_funfzwonzg

 

Welche davon w√ľrdet ihr nehmen? √úberlege mir zu diesen Netzwerkkarten OEM Modelle oder so rauszusuchen ...

 

PS: Ich habe euch zu oft gelikt. Ich darf nicht mehr laut Forum. xD

 

PPS: Der Provider hat geantwortet. Er meint, dass alles mit SFP funktioniert, wenn es richtig konfiguriert ist und ich den richtigen Transceiver an jedem Ende habe. Keine Limits.

Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.