Jump to content

Unraid als Ersatz für meine Anwendungen?


Recommended Posts

37 minutes ago, DataCollector said:

Kann es ein, daß Du nicht verstanden hast, daß der ASM1166 in M.2 Bauform in einem M.2 Slot ebenfalle mit maximal PCIe 3.0 x2 betrieben wird?

ja, erwischt ! :)

6 hours ago, DataCollector said:

P.S. Es könnte sein, wenn man viel Datenträger an einer SATA Zusatzkarte (ASM1166 an 2GByte/s Anbindung per PCIe 3.0 x2) betreibt, daß sogar die OnBoard SATA Ports da etwas leistungsfähiger/flotter sind.

nur zur Sicherheit, das gilt aber nicht für eine Sata SSD oder?

Link to comment
3 hours ago, Babavoss said:

nur zur Sicherheit, das gilt aber nicht für eine Sata SSD oder?

 

Doch gerade für SSDs mit SATA Schnittstelle.

Und erneut:

Grundlagen Zusatzkontroller SATA:

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v12-stand-08052023/

 

 

Aber extra für Dich nochmal im Detail, was ich hier meine:

Als M.2 SATA Zusatzkontroller kommt aktuell eigentlich in der Regel (nur) die ASM1166 basierte Version in Frage.

Die ASM1166 benutzt maximal PCIe 3.0 x2 = 2GByte/s und hat maximal 6 SATA Ports.

Wenn man alle 6 SATA Ports gleichzeitig maximal benutzten will müssen sich alle 6 angeschlossenen Geräte (egal ob SATA SSD oder SATA Festplatten) die Bandbreite von rund 2GByte/s teilen.

2000MByte/s : 6 = 333MByte/s

 

Das bedeutet, daß GUTE SATA SSD, welche alleine gerne langfristig auch 400 oder mehr MByte/s wegschreiben/lesen könnte in solch einer Extremsituation bei gleichmäßiger bestückung aller 6 SATA Ports je nur maximal rund 330 MByte/s bekommen.

(Bei Mischbestückung Festplatten und SATA SSD kann man es je nach Bestückung ggf. extra ausrechnen, das führt hier aber zu weit).

 

Gute 7200RPM Festplatten mit nur einem Kamm für Lese-/Schreibköpfe hingegen sind noch gar nicht in dieser Region angekommen. Wenn es gut läuft erreichen die im Außenbereich so um die 280MByte/s und im Innenbereich vieleicht so 150MByte/s.  Ich rechen gerne mit dem Wert 250MByte/s pro Festplatte.

 

Deshalb ist ein ASM1166 Zusatzkontroller mit PCIe 3.0 x2 Anbindung sehr gut geeignet bis zu 6 Festplatten gleichzeitig anzusprechen, weil damit jede Festplatte gleichzeitig voll ausgefahren werden kann und sich das somit für ein Array gut eignet, welches gerade beim Paritycheck eben alle Datenträger gleichzeitig anspricht.

 

Sonderfall, der bei Mainboards vorkommt, die nur wenige PCIe Lanes haben (beispielswise die für Wifi gedachten M.2 Key-E der ASRock N100 Desktopboards, welche man für SATA Zustazkontroller adaptieren kann, sber auch viele andere WiFi M.2 Slots):

Wenn man einen ASM1166 in einem Slot (egal ob PCIe Standardbauweise oder M.2 Bauweise) mit nur PCIE 3.0 x1 (adaptiert) einsetzt hat man nur rund 1 GByte/s welches sich auf die Ports verteilt und deshalb rechne ich in solchen Fällen mit maximal 4 SATA modernen Festplatten daran, welche gleichzeitig angesprochen werden sollten.

Ältere/kleinere Festplatten sind langsamer, davon dürfen es dann ggf. wieder mehr sein, bevor die sich dann bei gleichzeitigem Zugriff in die Quere kommen.

 

OnBoard SATA Ports sind meist direkt an CPU oder Chipsatz angebunden. Bei Intel mit 4 oder mehr SATA Ports an einem solchen Chip scheint Intel ebenfalls eine maximale Bandbreite von 2GByte/s eingepreist zu haben, so daß dies auch für diese SATA Ports des Mainboards gilt.

 

Selbst wenn der Prozessor N100 vielleicht weniger Bandbreite für die SATA Ports des Mainboards bietet ist davon auszugehen, daß beide vielleicht zusammen mit mindestens 1GByte/s versorgt werden, was somit pro Port bei gleichzeitiger Nutzung immer noch rund 500MByte/s pro Port bieten würde.

 

Verstehst Du nun, daß es sein kann: SATA OnBoards sind in solchen Maximalsituationen evtl. schnelle (und evtl. besser geeignet für GUTE/Performante SSD) als Ports am Zusatzkontroller?

 

Wie in so vielen Situationen: es kommt auf die Anwendung an!

- Anbindung an Mainboard (wieviele und welch Art von PCIe Lanes oder  gar Direktnutzung der CPU/Chipsatz?)

- Beschaltung der SATA-Ports (Wieviele Ports werden mit was beschaltet?)

- Verwendung (wieviele/welche werden ggf. gleichzeitig benutzt [Paritycheck/Reconstruct Write...]?).

 

Edited by DataCollector
Typos und etwas umformuliert
  • Thanks 1
Link to comment
49 minutes ago, DataCollector said:

verstehst Du nun, daß es sein kann: SATA OnBoards sind in solchen Maximalsituationen evtl. schnelle (und evtl. besser geeignet für GUTE/Performante SSD) als Ports am Zusatzkontroller?

Herzlichen Dank @DataCollector für diese sehr gute ausführliche Erklärung!! 

 

Ich könnte also theoretisch bei dem N100-ITX Board 

- an den beiden Sata Ports jeweils eine Sata SSD anschließen und 

- mittels ASM1166 M.2 SATA Zusatzkontroller 6 weitere HDD's anschließen

und alle Festplatten könnten ihr volles Potenzial ausschöpfen, ist das korrekt?

 

Da das Board aber max 4 Festplatten unterstützt wären, wenn ich es richtig verstanden habe, folgende Szenarien möglich:

 

1. 1x Nvme SSD M.2 + 2 HDD's

( was eigentlich weniger Sinn macht wegen der 2,5Gbit Lan "Beschränkung" )

 

2. 3x HDD mittels ASM1166 M.2 SATA Zusatzkontroller + Sata SSD am onBoard Sata Port

( würden 2x Sata SSD im Raid1 als Cache Pool als eine oder zwei Festplatten zählen? )

 

Ich hoffe ich liege jetzt richtig

 

 

Link to comment
12 hours ago, Babavoss said:

Herzlichen Dank @DataCollector für diese sehr gute ausführliche Erklärung!! 

 

Ich könnte also theoretisch bei dem N100-ITX Board 

- an den beiden Sata Ports jeweils eine Sata SSD anschließen und 

- mittels ASM1166 M.2 SATA Zusatzkontroller 6 weitere HDD's anschließen

und alle Festplatten könnten ihr volles Potenzial ausschöpfen, ist das korrekt?

 

Ich habe das ASRock N100-ITX nicht selber, aber:

In dem Mainboard ist der M.2 2280 Slot laut www.gh.de mit PCIe 3.0 x2 angebunden: ja, die bis zu 6 SATA Festplatten sind mit ausreichender Bandbreite angebunden und die CPU sollte in unraid auch weit mehr Rechenpower liefern, als für die NAS-funktionen benötigt werden.

 

Die SATA SSD (wenn sie performant sind) sollten an den 2 OnBoard SATA Ports ebenfalls ausreichend flott betrieben werden können.

(Im Gegensatz zu diversen China-Boards bei Amazon oder Ali mit ihren bis zu 6 SATA OnBoardsanschlüsse, die nur per JMB Portmuliplier dies erreichen.)

 

12 hours ago, Babavoss said:

Da das Board aber max 4 Festplatten unterstützt

 

Die Stromversorgung direkt über das Mainboard schafft bei leistungsfähigem 19V Netzteil (laut Handbuch und den Berichten hier) maximal 4 SATA 3,5inch Festplatten zu versorgen.

Wenn Du mehr soclhe Festplatten betrei8ben willst und sowieso die C-States mit einem Zusatzkontroller durcheinander bringen willst, wäre die Überlegung vielleicht interessant sich das 

ASRock N100M (90-MXBK80-A0UAYZ)

- 1x PCIe 3.0 x16 (x2)
- 1x PCIe 3.0 x1
- 1x M.2/M-Key (PCIe 3.0 x2, 2280/2260/2242)
mal anzusehen und das eben mit einer normalen ATX Stromversorgung für mehr als 4 SATA Festplatten zu betreiben.

 

Das ist zwar dann nicht mehr ganz so sparsam, aber dann kann man daran volumfänglich bis zu 8 SATA 3,5inmch Festplatten betreiben (egal ob Du nun eine ASM1166 im PCIe x2 Standardslot oder im M.2 2280 betreibst). Theoretisch könntest Du sogar in beiden je eine solche Karte betreiben und in Summe dann bis zu (6+6+2) 14 SATA-Festplatten ansteuern.

Oder nur einen ASM1166 und eine echte NVMe SSD... oder FSATA Festplatten und SATA SSD gemischt....

 

Eine zusätzliche 1GBLan oder 2,5GBLan Karte fühlt sich dort dann immer noch im PCIe 3.0 x1 Slot wohl.

 

Ich habe die Diskussion hie rnur mit 'halbem' Auge verfokgt und weiß dehalb nicht was Du im Endausbau anstrebst, da die anfängliche Diskussion ja nur um einen Minisforum und 2x 2,5" inch ging....

 

12 hours ago, Babavoss said:

1. 1x Nvme SSD M.2 + 2 HDD's

( was eigentlich weniger Sinn macht wegen der 2,5Gbit Lan "Beschränkung" )

+ 2,5GBLan in einem PCIe Slot (wenn ich es richtig verstanden habe).

Ja, das ist möglich und ein normales Szenario, wenn man eben nicht mehr will. bei der Schreibmenge von 10-30 GByte in einem Rutsch sollte das gut ausreichen, wenn dei NVMe SSD als Pool/Cache den Festplatten vorgeschaltet ist.

 

12 hours ago, Babavoss said:

2. 3x HDD mittels ASM1166 M.2 SATA Zusatzkontroller + Sata SSD am onBoard Sata Port

( würden 2x Sata SSD im Raid1 als Cache Pool als eine oder zwei Festplatten zählen? )

+ 2,5GBLan in einem PCIe Slot (wenn ich es richtig verstanden habe).

Ja, auch das ist möglich (wenn Du das Board mit einem ausreichenden 19V Netzteil betreibst)

Was die unraid Lizenz angeht wären 2 SSD Auch als raid) 2 Devices. Aber selbst die unraid Basic Lizenz erlaubt ja 6 Devices.

3 Festplatten + 2 (oder gar 3 SATA SSD) = 6 Stück. Passt.

 

Edited by DataCollector
Typos
  • Like 2
Link to comment
1 hour ago, DataCollector said:

Die Stromversorgung direkt über das Mainboard schafft bei leistungsfähigem 19V Netzteil (laut Handbuch und den Berichten hier) maximal 4 SATA 3,5inch Festplatten zu versorgen.

Habe das LEICKE 19V 4,74A 90W 

 

1 hour ago, DataCollector said:

Ich habe die Diskussion hie rnur mit 'halbem' Auge verfokgt und weiß dehalb nicht was Du im Endausbau anstrebst

Ich habe hier :

 - 2x Seagate IronWolf Pro 4TB ST4000NE001

 - 2x WD RED 3TB WD30EFRX

 - 1x Samsung SSD 970 EVO Plus 1TB

 

Wenn ich 2x Ironwolf und 1x WD RED + eine Sata SSD ( oder 2 ) einbaue sollte das dann eigentlich hinkommen, wenn ich mir die Datenblätter anschaue.

Dann würde ich auch wieder ein Betrieb mit Parität bevorzugen, 7TB + 1TB Cache reicht mir.

 

1 hour ago, DataCollector said:

wäre die Überlegung vielleicht interessant sich das 

ASRock N100M (90-MXBK80-A0UAYZ)

- 1x PCIe 3.0 x16 (x2)
- 1x PCIe 3.0 x1
- 1x M.2/M-Key (PCIe 3.0 x2, 2280/2260/2242)
mal anzusehen und das eben mit einer normalen ATX Stromversorgung für mehr als 4 SATA Festplatten zu betreiben.

Das scheidet für mich aus, auch wegen des Formfaktors. Ich möchte es so klein halten wie möglich.

Link to comment
On 1/11/2024 at 12:54 PM, hawihoney said:

Man kann aber das selbe Unraid Array in einem anderen Modus betreiben und dann ist die Performance wie gewohnt. Dann werden beim Schreiben wie bei einem traditionellen RAID aber auch alle Platten gleichzeitig benutzt:

Mein Server läuft jetzt endlich und ich hab schon wieder die ersten Fragen.

Wo genau kann man den Modus einstellen?

 

Wenn ich jetzt eine Datei ( 1GB ) im Explorer auf einen Share im Array kopiere, wach nach ein paar Sekunden immer die HDD auf, Schreibraten liegen bei 18MB/s - das ist doch viel zu wenig, auch für eine HDD.

 

Ich finde auch die Einstellung nicht wo ich konfigurieren kann das erstmal alles auf den Cache geschrieben werden soll.

Wäre super wenn mir mal eben jemand einen "schubs" in die richtige Richtung geben könnte

Link to comment
15 minutes ago, Babavoss said:

Mein Server läuft jetzt endlich und ich hab schon wieder die ersten Fragen.

Wo genau kann man den Modus einstellen?

 

Ich schätze Du suchst das hier:

https://forums.unraid.net/topic/50397-turbo-write/

"reconstruct write" oder auch "Turbo Write"

Beachte aber, das Du dabei die Ausfallsicherheit verlierst, weil nichts mehr gegengecheckt wird, sondern einfach nur die Parity überschrieben wird.

Und schneller als die jeweilige Einzeldisk wird es auch nicht.

 

Die Option findest Du unter Settings/ Disk Settings/Tunable (md_write_methode)  (siehe Screenshot 1 unten).

 

15 minutes ago, Babavoss said:

Wenn ich jetzt eine Datei ( 1GB ) im Explorer auf einen Share im Array kopiere, wach nach ein paar Sekunden immer die HDD auf, Schreibraten liegen bei 18MB/s - das ist doch viel zu wenig, auch für eine HDD.

 

Wenn Du mit "reconstruct write" sowieso die Ausfallsicherheit ....naja sagen wir .... 'torpedierst', dann kannst Du die Parity auch gleich aus dem Array werfen. Dann hast Du auch native Festplattengeschwindigkeit.

 

15 minutes ago, Babavoss said:

Ich finde auch die Einstellung nicht wo ich konfigurieren kann das erstmal alles auf den Cache geschrieben werden soll.

 

Die ist in dem jeweiligen Share einstellbar (siehe Screenshot 2 & 3 unten)

 

Screenshot 1:

turbo-Screenshot 2024-01-17 193633.png

 

Screenshot 2:

sharesScreenshot 2024-01-17 194116.png

 

Screenshot 3:

dataScreenshot 2024-01-17 194307.png

Edited by DataCollector
  • Like 1
Link to comment
11 minutes ago, DataCollector said:

dann kannst Du die Parity auch gleich aus dem Array werfen

ich habe gar keine Parity, nur ein Array aus 2 Festplatten.

Auch wenn ich auf den Cache kopiere wird es nicht schneller, irgendwas stimmt hier nicht weiß nur nicht wo ich suchen soll.

 

Gestern Abend hatte ich nochmal mit der Synology getestet, da wurde konstant mit 250MB/s kopiert, am gleichen Lan Kabel

Link to comment
  • 2 weeks later...
4 hours ago, Babavoss said:

Ich hab mal den Terminal Befehl aus diesem Tutorial abgesetzt,

den vm.drity_ratio ?

würde mich wundern wenn das jetzt der Bremsklotz war.

Und beim RAM Cache immer bedenken, USV ist da quasi zwingend erforderlich. Denn es werden ja wesentlich mehr Daten im RAM gehalten. Geht dann plötzlich der Strom aus, sind die Daten weg.

Link to comment
19 hours ago, jj1987 said:

den vm.drity_ratio ?

Genau. 

 

19 hours ago, jj1987 said:

USV ist da quasi zwingend erforderlich.

Das wäre in meinem Fall dann doch etwas zu viel des guten. 
ich werde wohl einfach immer kopieren anstatt verschieben dann dürfte ja nix passieren

Link to comment
38 minutes ago, Babavoss said:

Das wäre in meinem Fall dann doch etwas zu viel des guten. 
ich werde wohl einfach immer kopieren anstatt verschieben dann dürfte ja nix passieren

 

Dann hoffe ich, daß Du das dem RAM Cache auch irgendwie beibringen kannst.

Er nimmt entgegen und lagert es erst einmal, bevor er irgendwohin schreibt.

Stromausfall: Daten weg.

Mover, SMB Freigaben, eigentlich fast alles läuft irgendwann über den Ram.

Link to comment

ist das exklusiv bei Unraid so mit dem RAM?

Wenn ich was kopiere sehe ich auch keine Veränderung bei der RAM Auslastung, auf dem Cache Laufwerk werden mir Schreibvorgänge angezeigt und die Prozessorlast steigt.

Die Ram Auslastung ist im Prinzip die ganze Zeit bei ca 12%.

Link to comment
14 minutes ago, Babavoss said:

ist das exklusiv bei Unraid so mit dem RAM?

 

Nein

 

14 minutes ago, Babavoss said:

Die Ram Auslastung ist im Prinzip die ganze Zeit bei ca 12%.

vm dirty ist ein kurzer Prozess ... wenn du den writeout auch verzögern willst gehört noch etwas mehr dazu, einfach dazu einlesen ... ist allgemein Linux und nicht Unraid spezifisch ...

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...