Netzwerkkarte Kaufberatung|Schweiz: OTO/Provider|SR-IOV ...


hwvrg

Recommended Posts

Hi, ihr Lieben 🖐️

 

Ich möchte mich bzgl. Networking auch auf den SR-IOV Pfad begeben, gleichzeitig zu 10G/25G via SFP+ aufrüsten und muss aber damit leben, erstmal nur einen PCIe 3.0 x1 Lane übrig zu haben, aber einen vollen x16 Slot physisch. Am Liebsten hätte ich eine Karte, die schon PCIe 4 kann und die mich daher die nächsten 10 Jahre ohne Probleme begleiten wird selbst wenn drumherum immer mal neue Plattformen einziehen. Ideal wäre es sicherlich, wenn die Karte physisch mit PCIe x4 auskommt, weil man das oft genug auf Consumerboards findet.

 

Entsprechend wichtig ist mir auch der Softwaresupport für möglichst viele OS. Ideal wäre es Support für eine Hackintosh-VM zu haben, sowie für Windows 10 bzw. 11 als Guest mit Virtual Functions. Thermisch/Stromverbrauch wäre es wichtig, dass die Karte sehr sparsam agiert, um die Kosten möglichst niedrig zu haben. Der Rechner ist vollgestopft mit Karten etc. und eine weitere Hitzequelle macht es nicht besser. Wenn sich die Karte dabei noch darumkümmert der CPU die Arbeit der Berechnung des virtuellen Netzwerks abzunehmen: Umso besser.

 

Ach so und wenn das alles noch für 20€ ginge ... Studentenbudget xD. Gerne kaufe ich dafür auch irgendwas vom OEM und flashe es um oder was auch immer man tun muss.

 

Wie man sieht: Alles zusammen wird vermutlich nichts werden. Aber im Zweifelsfall gebe ich lieber ein *bisschen* mehr aus und habe etwas Vernünftiges. Ich würde meine Prioritätenliste so setzen:

 

  1. SR-IOV (für bessere Performance/Stabilität - habe manchmal mit den virtuellen NICs Schwierigkeiten wenn CPU Auslastung hoch ist)
  2. Stabilität, Stabilität, Stabilität (sollte viele VMs bzw. Docker versorgen können)
  3. 10/25G Networking (für Zukunftssicherheit und ja in der Schweiz gibt es schon so starke Internetanschlüsse; gibt es irgendeine Chance irgendwann den Server direkt via SFP an das OTO Outlet anzuschließen?)
  4. Stromverbrauch (weil nicht nur Geld, sondern auch Rechner aufheizt)
  5. Geld
  6. Rest

 

ich würde mich sehr über eure Vorschläge freuen, weil ihr schon viel Erfahrung auf dem Gebiet habt und ich nicht jeden Fehler wiederholen will. Insbesondere @ich777 erwähnte, dass (noch) niemand mit Mellanox (und Windows-Guest) glücklich geworden sei und jemand anders sagte, dass diese Karten Stromfresser seien. Im Entwicklerpodcast hieß es jedoch, dass Mellanox OOB funktionieren würde und besser als Intel sei ... nunja, was denn nun :D

 

Ich habe beim Googlen auch gefunden, dass es anscheinend einen Bug gab bei den Mellanox-Karten und Windows-Guest, der aber mit neuer Software behoben wurde ... oder hatte man das hier im Forum schon probiert?

 

Freue mich auf euer Wissen :D

 

PS: Die restliche Hardware habe ich in meinem Profil hinterlegt :). Ich nutze AM4 wegen der Option auf 16 vollwertige Kerne; ich schleife jetzt schon immer am CPU Limit, aber bei den Preisen für Chips will ich noch ein bisschen mit dem R3600 auskommen. 

Edited by hwvrg
Link to comment
15 minutes ago, hwvrg said:

Insbesondere @ich777 erwähnte, dass (noch) niemand mit Mellanox (und Windows-Guest) glücklich geworden sei

Was, wo, wie?

Ich hab selbst Mellanox Karten jedoch laufen die nativ und nicht mit SRIOV.

 

16 minutes ago, hwvrg said:

wenn die Karte physisch mit PCIe x4

Wenn du mit 10Gbit/s auskommst eine ConnectX3.

 

17 minutes ago, hwvrg said:

Thermisch/Stromverbrauch

Da hast du dann eher pech, vergiss nicht das sind Server Karten und selbst 10Gbit/s Consumer karten auch relativ warm werden, bei solchen musst du dir entweder einen Lüfter raufschrauben oder du hast ordentlich Luftstrom drüber (ich rede hier von keinem Standard PC Gehäuse leichte Briese sondern wirklich Luftstrom so wie in einem Server).

 

19 minutes ago, hwvrg said:

SR-IOV (für bessere Performance/Stabilität - habe manchmal mit den virtuellen NICs Schwierigkeiten wenn CPU Auslastung hoch ist)

Mit meiner Mellanox hätte ich noch nichts dergleichen bemerkt aber ich nehm meine VM auch nur zum Container bauen, evtl kann dir jemand anders hier helfen.

 

20 minutes ago, hwvrg said:

10/25G Networking (für Zukunftssicherheit und ja in der Schweiz gibt es schon so starke Internetanschlüsse; gibt es irgendeine Chance irgendwann den Server direkt via SFP an das OTO Outlet anzuschließen?)

Warum den server? Willst du nicht lieber eine Firewall vorschalten, den server direkt so wie er is ins Internet zu stellen ist eine wirklich sehr, sehr, sehr, sehr,... schlechte idee.

 

21 minutes ago, hwvrg said:

Stromverbrauch (weil nicht nur Geld, sondern auch Rechner aufheizt)

10Gbit/s braucht nun mal ein paar watt mehr als 1Gbit/s, ist auch der 10Fache durchsatz, evtl. kann dir hier @mgutt weiterhelfen.

Wobei ich ehrlich gestehen muss das meine ConnectX3 nicht wirklich ein stromfresser ist, müsste so zwischen 4 und 9 Watt brauchen (ist aber wirklich nur geschätzt).

 

SRIOV kann evtl. @Ford Prefect was dazu sagen, bin mir gar nicht sicher das es einwandfrei auf unRAID funktioniert, aber wie gesagt hab mich noch nie mit dem Thema beschhäftigt.

  • Like 1
Link to comment

Hey. Danke für deine Antwort. Klar wäre es eine sehr sehr dumme Idee den Server nackt ins Internet zu bringen.

 

Aber dafür haben wir doch Software based networking und VMs. Dann würde ich pfSense und piHole verwenden, das Board hat eine Wifi-Karte und ich habe meinen onboard-NIC, wo ich dann meinen Laptop anschließen kann. Insofern, ... wir beide sehen das gleich, ich meine nur, dass die Aufgabe, die jetzt der Router erledigt auch in eine VM wandern kann. So habe ich das mit allen anderen Servern, die ich so habe/hatte, gemacht und spare jetzt einiges an Strom/Hardware ein, weil ich nur noch einen Rechner betreibe, der alles macht und dank Docker mit weniger Leistung auskommt. Da ich (wie alle anderen hier, vermute ich) Selfhosting betreibe und meine eigene Nextcloud/Webseite betreibe, habe ich im Moment einen Reverse proxy am laufen. Das könnte man besser machen, wenn der Router als VM vorliegt.

Andererseits is mir im Moment nur klar, dass man es realisieren kann. Wieviel Aufwand das dann ist, würde man sehen. Denke aber, dass es dank Provider ohnehin nahezu unmöglich ist. 

Link to comment
9 minutes ago, hwvrg said:

Aber dafür haben wir doch Software based networking und VMs. Dann würde ich pfSense und piHole verwenden, das Board hat eine Wifi-Karte und ich habe meinen onboard-NIC, wo ich dann meinen Laptop anschließen kann.

Das ist mir klar jedoch bedenke wenn du eine Firewall auf unRAID eine Firewall oder whatever virtualisierst das dir unter Umständen hier ins Knie schießen könntest da viele Plugins beim booten auf Updates Checken (Nvidia Driver, rclone DVB Driver,...) und wenn die beim booten keine aktive Internetverbindung haben schlägt das fehl, noch schlimmer bei einem Upgrade von unRAID selbst können die neuen Treiber/Versionen nicht heruntergeladen werden und die Plugin installation schlägt fehl.

Das konzept von den Treibern Plugins hat sich jetzt geändert seit release von 6.9.0

 

14 minutes ago, hwvrg said:

Das könnte man besser machen, wenn der Router als VM vorliegt.

Wie schon oben geschrieben, schlechte Idee außerdem solltest du mal einen HW defekt am Server haben hast du kein Internet.

 

Ich rate immer davon ab die/den Firewall/Router auf unRAID zu betreiben, selbst ich hab eine dedizierte Firewall die 5W im schnitt braucht für mein FTTH.

  • Like 1
Link to comment
48 minutes ago, ich777 said:

SRIOV kann evtl. @Ford Prefect was dazu sagen, bin mir gar nicht sicher das es einwandfrei auf unRAID funktioniert, aber wie gesagt hab mich noch nie mit dem Thema beschhäftigt.

@hwvrgSR-IOV in unraid geht, man muss es aber manuell aktivieren...siehe: 

 

 

Ich habe meine mellanox ConnectX3 damit aber noch nicht versucht, bzw. geschaut, ob sie es überhaupt kann....und sie ist für nen andere Sache gerade ausgebaut 😅

@ich777 kannst Du bei Deiner Mellanox mal ein: "lspci -vvv <venderID> | grep -A 9 SR-IOV" machen? Die "VenderID" ist die ID in der IOMMU-group,

Siehe Post #2 in der o.a. Anleitung: Does my NIC support it? If not, what should I buy? 

  • Like 1
Link to comment
4 minutes ago, hwvrg said:

Hmm. Vermutlich hast du Recht. 

Meine bedenken sind immer die das wenn du die Firewall direkt auf unRAID betreibst und dort wirklich alles drauf läuft und du hast wirklich einen Hardware-/Softwaredefekt kannst du nicht mal richtig Troubleshooten weil du kein Internet hast, ich meine du würdest schon das Internet vom Handy haben aber ist einfach nicht das gleiche wie am lokalen PC, ganz abgesehen von den anderen Themen die ich bereits oben erwähnt hab.

 

Ein AiO Gerät  ist schon super aber bringt auch manchmal Probleme mit sich...

  • Like 1
Link to comment

Darf nichts kosten, maximal leisten und keinen Strom verbrauchen... hat gerade jemand eine eierlegende Wollmilchsau übrig 😅

 

Ich denke ein guter Startpunkt ist Geizhals mit deren Filterfunktion:

https://geizhals.de/?cat=nwpcie&xf=14066_PCIe-Karte

 

Dort sehen wir dann zB, dass es bei PCIe 4.0 etwas mau aussieht bzw es gibt keine x4 Karte:

image.png.32bb5fc54093ed23f88572fb1d05fe6c.png

 

Ich empfehle auch nicht auf den PCIe 4.0 Knopf zu drücken, denn dann wird's sehr teuer 🙈

 

Das liegt aber auch daran, dass PCIe 4.0 nur in Kombination mit dem "neueren" SFP28 angeboten wird, also 25G fähiges SFP+, was es "erst" seit ~2015 gibt. Dass der Hersteller dann gleich auf x8 oder x16 setzt, dürfte daran liegen, dass die Karte auch bei PCIe 3.0 die volle Leistung bringen können soll. Du wirst also keine Karte finden, die 10G über PCIe 4.0 x1 liefert, auch wenn das von der Bandbreite her ausreichen würde. Der Hersteller hat einfach Angst die Karte dann nicht so gut verkaufen zu können.

 

Zum Stromverbrauch können wir ja mal die günstigste PCIe 4.0 Karte nehmen. Die Intel E810-XXVDA2:

https://cdrdv2.intel.com/v1/dl/getContent/641674

 

Mit einer Direktverbindung, der sparsamsten Variante bei SFP, immer noch 8 bis 10 W je nach Auslastung:

image.png.842a8efe9c448556bc18862f10f1fe8e.png

 

Dazu kommt dann noch der Overhead vom PCIe Slot von 2 bis 3W. Sparsam ist anders.

 

Wobei aber eh die Frage ist ob man Dual 25G benötigt. Reicht nicht Dual 10G oder Single 10G?

 

 

Zu SR-IOV findet man ansonsten die meisten Informationen hier:

https://forums.unraid.net/topic/103323-how-to-using-sr-iov-in-unraid-with-1gb10gb40gb-network-interface-cards-nics/

 

 

 

  • Like 1
Link to comment

Danke für die vielen detaillierten Antworten :)

 

Ich denke an 25 Gbit, weil man es jezt schon bekommen kann und es mich über Fiber keinen Cent mehr kostet:

 

https://www.init7.net/en/internet/fiber7/ (Tatsächlich würde ich eher bei Salt kaufen und ich habe ja auch nur eine PCIe 3.0 x1 Lane, die noch nichtmal volle 10 Gbit hinbekommt). Das sind Geschwindigkeiten wie man sie bisher nur aus dem Rechenzentrum kennt. Ich möchte also alles, was mein digitales Leben angeht, auf diesen Server umziehen. Dabei achte ich auf Backups, betreibe einen kleinen SBC mit Festplatte an einer vollkommen anderen geografischen Location.

 

Daher jetzt im Zusammenspiel mit den anderen Faktoren die Frage welche Karte man sich kaufen sollte, um nicht abgehängt zu werden :). Wirklich brauchen/geschweige denn nutzen kann ich 25 Gbit jetzt noch nicht. Möchte mir nur nicht dann irgendwann wieder Gedanken machen müssen, sondern wäre ganz froh, wenn das Thema dann für die nächsten 10 Jahre vom Tisch ist und die Karte einfach immer mitumziehen kann (Hatte beim Wechsel auf Gigabit damals sehr gute erfahrungen mit diesem Vorgehen gemacht und habe dann frühzeitig den kauf von 100Mbit Hardware eingestellt).

Vielleicht ist das aber auch nicht der schlauste Weg - was meint ihr? Wie geht es mit Vernetzung weiter?

Edited by hwvrg
Link to comment
18 minutes ago, Ford Prefect said:

"lspci -vvv <venderID> | grep -A 9 SR-IOV"

Du hast glaub ich -d vergessen... wenn ich das prüfe kommt nichts, kann aber auch daran liegen das ich das BIOS der Karte "weggeflashed/deaktiviert" hab.

 

Hier mal der vollständige output:

lspci -vvv -d 15b3:1003
01:00.0 Ethernet controller: Mellanox Technologies MT27500 Family [ConnectX-3]
	Subsystem: Mellanox Technologies MT27500 Family [ConnectX-3]
	Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
	Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
	Latency: 0, Cache Line Size: 64 bytes
	Interrupt: pin A routed to IRQ 16
	IOMMU group: 1
	Region 0: Memory at b6600000 (64-bit, non-prefetchable) [size=1M]
	Region 2: Memory at 4000000000 (64-bit, prefetchable) [size=8M]
	Capabilities: [40] Power Management version 3
		Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
		Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
	Capabilities: [48] Vital Product Data
		Product Name: CX311A - ConnectX-3 SFP+
		Read-only fields:
			[PN] Part number: MCX311A-XCAT         
			[EC] Engineering changes: A5
			[SN] Serial number: MT1320X01586            
			[V0] Vendor specific: PCIe Gen3 x4
			[RV] Reserved: checksum good, 0 byte(s) reserved
		Read/write fields:
			[V1] Vendor specific: N/A   
			[YA] Asset tag: N/A                     
			[RW] Read-write area: 109 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 253 byte(s) free
			[RW] Read-write area: 252 byte(s) free
		End
	Capabilities: [9c] MSI-X: Enable+ Count=128 Masked-
		Vector table: BAR=0 offset=0007c000
		PBA: BAR=0 offset=0007d000
	Capabilities: [60] Express (v2) Endpoint, MSI 00
		DevCap:	MaxPayload 512 bytes, PhantFunc 0, Latency L0s <64ns, L1 unlimited
			ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 116.000W
		DevCtl:	CorrErr- NonFatalErr- FatalErr- UnsupReq-
			RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop-
			MaxPayload 256 bytes, MaxReadReq 512 bytes
		DevSta:	CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
		LnkCap:	Port #8, Speed 8GT/s, Width x4, ASPM L0s, Exit Latency L0s unlimited
			ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
		LnkCtl:	ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
			ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
		LnkSta:	Speed 8GT/s (ok), Width x4 (ok)
			TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
		DevCap2: Completion Timeout: Range ABCD, TimeoutDis+ NROPrPrP- LTR-
			 10BitTagComp- 10BitTagReq- OBFF Not Supported, ExtFmt- EETLPPrefix-
			 EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
			 FRS- TPHComp- ExtTPHComp-
			 AtomicOpsCap: 32bit- 64bit- 128bitCAS-
		DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis- LTR- OBFF Disabled,
			 AtomicOpsCtl: ReqEn-
		LnkCap2: Supported Link Speeds: 2.5-8GT/s, Crosslink- Retimer- 2Retimers- DRS-
		LnkCtl2: Target Link Speed: 8GT/s, EnterCompliance- SpeedDis-
			 Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
			 Compliance De-emphasis: -6dB
		LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete+ EqualizationPhase1+
			 EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
			 Retimer- 2Retimers- CrosslinkRes: unsupported
	Capabilities: [c0] Vendor Specific Information: Len=18 <?>
	Capabilities: [100 v1] Alternative Routing-ID Interpretation (ARI)
		ARICap:	MFVC- ACS-, Next Function: 0
		ARICtl:	MFVC- ACS-, Function Group: 0
	Capabilities: [148 v1] Device Serial Number *REMOVED*
	Capabilities: [154 v2] Advanced Error Reporting
		UESta:	DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
		UEMsk:	DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
		UESvrt:	DLP+ SDES- TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
		CESta:	RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
		CEMsk:	RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
		AERCap:	First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
			MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
		HeaderLog: 00000000 00000000 00000000 00000000
	Capabilities: [18c v1] Secondary PCI Express
		LnkCtl3: LnkEquIntrruptEn- PerformEqu-
		LaneErrStat: 0
	Kernel driver in use: mlx4_core
	Kernel modules: mlx4_core

 

  • Like 1
Link to comment

Ich habe noch was gefunden:

 

https://www.init7.net/de/support/routerinfos/

 

Hier steht explizit SFP bzw. SFP28. Ich selbst habe hier noch kein Glasfaser, werde aber dann welche bekommen oder umziehen. Wäre das dann die Möglichkeit das Ding direkt zu verbinden (welche ich aber nicht wahrnehmen sollte, weil siehe oben). Und wie würdet ihr sowas organisieren? Ich bin noch ganz geflasht, dass es überhaupt die Möglichkeit heutzutage dazu gibt.

Link to comment
9 minutes ago, ich777 said:

Du hast glaub ich -d vergessen... wenn ich das prüfe kommt nichts, kann aber auch daran liegen das ich das BIOS der Karte "weggeflashed/deaktiviert" hab.

Es denke es liegt am BIOS...mit meiner i350-T4 geht es mit dem Befehl.

SR-IOV ist ja eine Software-Funktion, also ist da BIOS des Controllers wohl Pflicht, fürchte ich.

Wenn man es anwendet bekommt man halt "echte, virtuelle" NICs im Host, also /dev/ethX - die kann man dann "normal" verwenden, auch für VMs.

 

  • Like 1
Link to comment
11 minutes ago, hwvrg said:

Ich habe noch was gefunden:

 

https://www.init7.net/de/support/routerinfos/

 

Hier steht explizit SFP bzw. SFP28. Ich selbst habe hier noch kein Glasfaser, werde aber dann welche bekommen oder umziehen. Wäre das dann die Möglichkeit das Ding direkt zu verbinden (welche ich aber nicht wahrnehmen sollte, weil siehe oben). Und wie würdet ihr sowas organisieren? Ich bin noch ganz geflasht, dass es überhaupt die Möglichkeit heutzutage dazu gibt.

ich würde einen dedizierten Router für sowas hinstellen, zB einen Mikrotik CCR2004 https://mikrotik.com/product/ccr2004_1g_12s_2xs 

Link to comment

@Ford Prefect Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder? Ich merke, ich schwanke, ob ichs nicht doch mit AiO versuchen soll. Weil ich brauche de facto nur noch einen Netzwerkport. Im Heimnetzwerk befinden sich sonst nur noch Funkgeräte und Laptops. Alles Dinge, die ich mit Gigabit/2.5 Gigabit ohne Probleme regeln könnte. Zumal ja auch nicht jeder ein SSD Raid im System betreibt, oder so. xD

 

Hmm. um das zu Saturieren müsste ich dann vermutlich tatsächlich auf PCIe 4 M.2 SSD setzen. Einfach Wahnsinn - was für eine Bandbreite. Da ist das Internet schneller als der PC verarbeiten kann xD. Würde das die CPU überhaupt schaffen? Was müsste man sonst beachten?

Link to comment
22 minutes ago, hwvrg said:

Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder?

Du bist hier im 25Gbit bereich, was erwartest du dir?

 

Eine ConnectX 5 beispielsweise verbraucht im idle ca 21W, soweit ich weiß braucht die Intel ein paar watt mehr.

 

Wegen der Lautstärke, sei dir bewusst das du so eine 25Gbit karte auch Kühlen musst ein leichter Luftstrom wie oben schon geschrieben reicht dort nicht.

 

22 minutes ago, hwvrg said:

Hmm. um das zu Saturieren müsste ich dann vermutlich tatsächlich auf PCIe 4 M.2 SSD setzen. Einfach Wahnsinn - was für eine Bandbreite.

Warum PCIe4.0? Ist doch mit 3.0 auch leicht zu erreichen.

 

Ich würde das Problem eher dort sehen wie du die Bandbreite ausnutzen willst...

Ich glaube kein Dienst den du Online nutzen kannst wird dir diese Geschwidnigkeit liefern können und wenn dann nur einer oder 2.

 

22 minutes ago, hwvrg said:

Da ist das Internet schneller als der PC verarbeiten kann xD. Würde das die CPU überhaupt schaffen? Was müsste man sonst beachten?

Wichtige details fehlen, welche CPU. :D

 

...und auch was du vor hast, warum sollte das die CPU nicht schaffen? 😎

 

22 minutes ago, hwvrg said:

Was müsste man sonst beachten?

Kommt drauf an was du machen willst, wie gesagt wichtige details wie deine CPU und Hardware fehlt hier in den Angaben, steht dein PC neben dir weil dir lautstärke so wichtig ist?

Was machst du mit den VMs.

 

  • Like 1
Link to comment

Sry. hatte das bei mir ins Profil geschrieben, weil ich gehört hatte, das sei hier so üblich. 

 

Also schreibe ich mal ein bisschen was dazu:

 

Hardware (as of 07/20/2021):

 

Ryzen 3600 6-Core Processor (non OC)

ASUS B550-F with WIFI (B550 Chipset)

128 GB DDR4-ECC RAM @3200/3600 Mhz (got it cheap)

RTX 3070 FE (works, most of the time, very nice GPU, highly appreciated)

TBS DVB Card (PCIe x1)

Creative Xtreme Music (PCIe x1)

Delock ASM1061 Card (PCIe x1)

Corsair SF450 ITX Platinum power Adapter (good one)

Many, many Noctua Fans for Airflow and (CPU) Cooling

Corsair 220T Airflow Case (with Noctua Fans // w/o RGB)

 

Use Cases:

 

Desktop Replacement (mit Grafikkarten Passthrough)

Webhosting (SWAG, Wordpress, mariaDB, in Docker)

zwei Nextcloud (mit mariaDB in Docker, für mich und einen Freund)

test-VM (linux, meistens Python-ServerApps)

DVB-Fernseh-Server (läuft noch nicht perfekt (hängt vllt. auch an der CPU), aber DVB-S2-Karte habe ich schon)

Minio Server (mehr zum Spielen)

 

Future Use Cases:

 

Wenn ich mal einen besseren Chip hätte, idealerweise einen Ryzen 5950 oder sowas, dann könnte ich/würde ich:

 

Gameserver hosten

Audio/Videochat hosten (keine Ahnung welche Software gut wäre)

Auch mit großen Dateien übers Internet via SMB und VPN arbeiten (Nextcloud wäre da vermutlich zu langsam)

Für jeden, den ich kenne und der an Nextcloud interessiert ist, eine "Box" hosten

Nicht nur Bilder, sondern auch Videos zum Download oder sogar vllt. Streaming anbieten, das kommt zum Beispiel gerade im Studium super bei den anderen an (via Nextcloud Share, aufgenommene Vorlesungen, Tutorien), aber ist ein bisschen schwierig wegen dem begrenzten Upload.

usw.

 

im Moment hält mich zurück, dass der Ryzen 3600 nur 6 Kerne hat. 4 sind auf Windows gepinnt und 2 sind für den ganzen rest. Und die sehe ich oft am Anschlag. das macht sich dann auch in der VM bemerkbar, weil Sound dann Fehler bekommt usw. - aber will jetzt auch nicht zuviel OT labern. Mir ist klar, was ich da tun muss, aber ich hoffe einfach, dass die AM4 Chips mit Alder Lake noch ein bisschen billiger werden.

 

Ich lebe im Moment in einem Flatshare mit 6/7 Leuten und wir teilen uns einen DSL Anschluss. Darauf basierend wollte ich mal einen richtigen Anschluss raussuchen und bin dann auf Empfehlung bei init7 gelandet. Alle anderen sind aber "normal" und benutzen nur das WLAN, ich habe als einziger überhaupt eine LAN-Verbindung. Schnell habe ich dann gesehen, dass Glasfaser sehr günstig geworden ist und dass es egal ist mit Glasfaser, ob man 1Gbit nimmt oder 25 Gbit. Viele empfehlen mir init7 von der Qualität her, könnte mir aber auch vorstellen 10Gbit bei Salt zu buchen, das is mit 40 Franken auch recht günstig.

Möchte mir aber jetzt etwas kaufen, was dann wieder ein bisschen hält. Habe ich bei den 128GB RAM auch nicht bereut. Das ist sehr befreiend da nicht rechnen zu müssen, sondern einfach immer genug zu haben.

 

 

 

Edited by hwvrg
Link to comment
55 minutes ago, hwvrg said:

@Ford Prefect Das Ding sieht wie ein Rackteil aus. Wahrscheinlich zieht das ordentlich Saft und ist höllisch laut, oder?

...die Bauform hat damit erstmal nix zu tun 🤣

Aber wir schon angeführt wurde....die Technik ist inzwischen in Preisregionen angekommen, die es auch Otto-SoHo-Nutzer erlauben das einfach hinzustellen. Alleridngs ist die Energieeffizienz, besonders bei Kupferleitungen eben nicht mit einen normalen 1Gbps Ethernet zu vergleichen.

Aber auch 25GBit Internet müssen erstmal durch eine Firewall, also eine CPU durch.

Ich bezweifle, das Du das mit einer Normalo-CPU und Allround-OS Deines AiO schaffst....auch nicht mit einer Pfsense.

Die Lüfter sind i.a. geregelt, also nicht dauerlaut.

Vpm P/L kommst Du mit einer AiO nicht an den MT ran....Marktpreis ist bei kanpp 450EUR...das müsstest Du im AiO allein für die CPU als Minimum ausgeben um zwischen 2-4 Interfaces 25-40Gbps zu routen, mit einer Pfsense oder auch MT-RouterOS.

 

55 minutes ago, hwvrg said:

Ich merke, ich schwanke, ob ichs nicht doch mit AiO versuchen soll. Weil ich brauche de facto nur noch einen Netzwerkport. Im Heimnetzwerk befinden sich sonst nur noch Funkgeräte und Laptops. Alles Dinge, die ich mit Gigabit/2.5 Gigabit ohne Probleme regeln könnte. Zumal ja auch nicht jeder ein SSD Raid im System betreibt, oder so. xD

das stimmt ja nicht, denn DU müsstest Minimum 1xWAN und 1XLAN bereitstellen.

  • Like 1
Link to comment

@Ford PrefectDu gehst davon aus, dass die 25 Gbit nochmal irgendwo sonst ankommen sollen, aber das ist nicht bei mir so. Mein Desktop und mein Server sind dank Unraid eins. Wenn ich SR-IOV benutze, dann macht die Netzwerkkarte die Virtualisierung und der Linux Kernel muss dann da auch nicht mehr routen, richtig?

 

Es ist schade, dass Unraid an sich kein WLAN unterstützt, aber am Ende haben wir es jetzt auch einfach mit einem Accesspoint gemacht. Dann werden die Accesspoints über den onboardNic verbunden und es ist fertig. Die haben eine Konfigurationsoberfläche, wo man alles einstellen kann. Also ich weiß nicht, ich habe das noch nicht gemacht.

 

Am meisten schreckt mich eigtl. das beschriebene Szenario, dass das "komplette Internet" weg ist, wenn Unraid nicht läuft. Aber so wie ich das sehe, wäre das in diesem speziellen Fall kosteneffizient, weil die Bandbreite nirgendwo sonst als bei diesem einen Rechner gebraucht wird. So oder so läuft mein Unraid-Server schon jetzt 24/7, damit man drauf zugreifen kann.

 

 

 

Netzwerkdiagramm (1).png

 

Den eingezeichneten Switch kann ich einfach an meinen onboard NIC dranhängen (I225-V), sollte mehr als ausreichen. Zumal wie wir alle wissen, WLAN eh so langsam ist in der Praxis, dass es egal ist.

Edited by hwvrg
Link to comment



@Ford PrefectDu gehst davon aus, dass die 25 Gbit nochmal irgendwo sonst ankommen sollen, aber das ist nicht bei mir so. Mein Desktop und mein Server sind dank Unraid eins. Wenn ich SR-IOV benutze, dann macht die Netzwerkkarte die Virtualisierung und der Linux Kernel muss dann da auch nicht mehr routen, richtig?


Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.
Der linux Kernel muss immer dann routen, wenn Du mehr als ein IP- Netz hast...mindestens zum Gateway (default) in Richtung I-Net. Nicht L2 und L3 traffic verwechseln.
In Deinem Diagramm macht das zuerst unraid (VMs/Docker) zur pfsense und dann die pfsense selbst.
 
Es ist schade, dass Unraid an sich kein WLAN unterstützt, aber am Ende haben wir es jetzt auch einfach mit einem Accesspoint gemacht. Dann werden die Accesspoints über den onboardNic verbunden und es ist fertig. Die haben eine Konfigurationsoberfläche, wo man alles einstellen kann. Also ich weiß nicht, ich habe das noch nicht gemacht.


Das ist wieder das gleiche Thema. Ein WLAN AP ist nur ne Brücke zwischen Kabel- und Luft-"Ethernet". Vorteil des am Kabel abgesetzten AP ist, dass man ihn zwecks Ausleuchtung besser positionieren kann...vor allem, wenn der POE versorgt wird.
 
Am meisten schreckt mich eigtl. das beschriebene Szenario, dass das "komplette Internet" weg ist, wenn Unraid nicht läuft. Aber so wie ich das sehe, wäre das in diesem speziellen Fall kosteneffizient, weil die Bandbreite nirgendwo sonst als bei diesem einen Rechner gebraucht wird. So oder so läuft mein Unraid-Server schon jetzt 24/7, damit man drauf zugreifen kann.
ja, siehe oben.
Ist der Server aus ist nix mit Treiber aus dem Inet holen ...gibt schneller ein Henne-Ei-Problem als Du denkst.
 
Sr-IOV spart ein paar Ressourcen, da sonst die CPU Switch, Bridge und Router ist, wenn Du alles in virtuellen Software- Devices machst.

Das ist auch i.O. so, aber die Gesamtarchitektur ist fraglich. Eine 25G Karte kann 25G, egal auf wie viele virtuelle Interfaces aufgeteilt. Ein virtio schafft immer CPU Bus- Bandbreite, also heute eher mehr als das doppelte. Man muss sich entscheiden.
Bei Themen der Infrastruktur ist meine Erfahrung , auf robuste Konzepte zu setzen und nicht das letzte auszureizen.
Router, APs und Switch(e) extern Apps/VMs intern, solange sie im gleichen IP- Netz liegen. Alles andere über den Router mit zentraler Firewall. Virtualisierung für den Router, ja aber nicht für den Router, der WAN macht sondern als Firewall zwischen Apps.



Gesendet von meinem SM-G960F mit Tapatalk

  • Like 1
Link to comment
54 minutes ago, Ford Prefect said:

Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.
Der linux Kernel muss immer dann routen, wenn Du mehr als ein IP- Netz hast...mindestens zum Gateway (default) in Richtung I-Net. Nicht L2 und L3 traffic verwechseln.
In Deinem Diagramm macht das zuerst unraid (VMs/Docker) zur pfsense und dann die pfsense selbst.

 

DAS ... muss ich mal googeln. Davon verstehe ich vermutlich weniger als die Hälfte.

 

Deinen Ratschlag habe ich vernommen. Ich vermute auch, dass er sehr vernünftig ist, kostet aber vermutlich einige 100 Franken extra initial und dann weiterhin noch Strom etc., dafür dass man am Ende gar keinen "Mehrwert" sieht. Wiegesagt, ich googel mal ne Runde und schreibe nochmal.

Link to comment
1 hour ago, Ford Prefect said:

Ahso...aber Du willst ja auch das I-Net da durchschleifen....eine blöde Idee, hat gar keinen WAF in Zeiten von homeoffice und corona.

Das kann ich aber mal sowas von unterschreiben. Ich bekomme ja schon Stress, wenn Plex ruckelt, weil ich gerade Dateien verschiebe ^^

  • Haha 1
Link to comment

Ok, habe jetzt mal ein bisschen gegoogelt: WAF steht ja für Web Application Firewall, also Firewall. Ich dachte, das ist die Funktion, die pfSense unter anderem zur Verfügung stellt? Ich könnte auch die ufw nehmen, mit der habe ich schonmal gearbeitet. Port Forwarding usw. kann ich bzw. habe ich jetzt auch schon hingebastelt. Werde ich also vermutlich wieder schaffen. 

 

Oder verstehe ich euch falsch? Was hat die Firewall mit Plex zu tun? xD

 

Bin mir nicht sicher, dass ich das richtige gegoogelt habe.

Link to comment

Danke für diese Belehrung. Jetzt verstehe ich, was das meint xD. Kannte den Begriff nicht, bin vielleicht noch zu jung. Hoffentlich werde ich immer zu jung sein, aber das ist wohl arg OT. Wenn ich da jetzt mal den Transfer mitgehe: Ja, ihr habt recht.

 

Aber was ist besser zu verkaufen: Eine große Box kaufen für einige Hundert Stutz, die Strom frisst oder mal nachts das Inet weg, weil ich irgendwas rumbastel. Ich finde, das ist eine an sich schwere Entscheidung, die aber der Geldbeutel sehr viel leichter macht. Trotzdem vermute ich selbst, dass ich nach ein paar Monaten zerknirscht sowas kaufen würde, aber ich hoffe einfach nicht. xD

 

Zu der Netzwerkkarte und den Diensten. Ich habe jetzt mal auf geizhals rumgesucht:

 

https://geizhals.de/?cat=nwpcie&xf=14066_PCIe-Karte~14078_SR-IOV~15050_funfzwonzg

 

Welche davon würdet ihr nehmen? Überlege mir zu diesen Netzwerkkarten OEM Modelle oder so rauszusuchen ...

 

PS: Ich habe euch zu oft gelikt. Ich darf nicht mehr laut Forum. xD

 

PPS: Der Provider hat geantwortet. Er meint, dass alles mit SFP funktioniert, wenn es richtig konfiguriert ist und ich den richtigen Transceiver an jedem Ende habe. Keine Limits.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.