mgutt

Ich will ja nicht sagen, dass ich es gesagt habe ^^ Allerdings tippe ich mal auf eine fehlerhafte Datendisk, so wie hier: https://forums.unraid.net/topic/83501-data-rebuild-with-errors/ Bitte poste deine Diagnose-ZIP. Was du jetzt nicht machen darfst: - neu starten - Daten auf die ersetzte Disk schreiben - Partitäts-Check mit Korrektur ausführen

In which of the diagnostic files can I find this information?

Das ist das Problem, wenn die englische Bezeichnung schon irreführend ist. Der "default" ist wenn überhaupt "never". Den "default" ändern ist gar nicht möglich, weil es ja nur einen Wert gibt. Alles wurde übersetzt, also auch Apps oder Tools? Ich weiß schon warum ich die englische Version nutze ^^

I would say you have so much activity on your drives that even a small write from Plex like to a log file, can produce an I/O wait, which boosts the docker containers load. If you like you could install "iotop" through the NerdPack Plugin and execute it: iotop It returns all processes with the most I/O actions. And you could install sysstat to execute iostat which returns activity per disk: watch -t -n 0.1 iostat -d -t -y 5 1 Finally you would need to find out which process is writing to the same disk, which is used by Plex. But I'm not sure if this effort is worth it. I mean what could you do to remove the io wait? Maybe direct disk access tweaking? Or a seperate disk for Plex alone?

Updated today, now "RUN IN BACKGROUND" button does not work anymore. Popup window opens, but stays white and script is not executed.

@Porkie Your CPU seems not to be supported: https://github.com/georgewhewell/undervolt/issues/72 Search in the Github issues if your CPU model has already a request and if not ask for support. The dev sometimes adds new CPUs. @Nuke Sorry, bug is fixed.

Noch ein bisschen recherchiert zu ZFS und Unraid. Mit dem Kommando bekommt man scheinbar bestehende Pools importiert: zpool import -f Poolname Von hier: https://forums.unraid.net/topic/57980-solved-zfs-import/?tab=comments#comment-568495 Wobei mir nicht klar ist woher der Pool dann weiß unter welchen Pfad er gemountet ist, aber evtl kannst du mir das dann ja sagen. Kann sein, dass du dafür erst dieses Plugin installieren musst: https://forums.unraid.net/topic/41333-zfs-plugin-for-unraid/page/5/

Are you sure? SRT files are loaded AFTER all clips haven been preloaded. And yes, it loads ALL SRT files into the RAM (as they are small and I'm too lazy to write a function that checks dependencies between clips and SRT files ^^).

Die 600K für den Load Cycle Count stehen im Datenblatt. Die 200K für den Start Stop Count hat er denke ich ausgerechnet. Keine Ahnung wo er den sonst her hat. Bei mir steht der noch auf 100. Erst wenn der auf 99 gefallen ist, kann man ja hochrechnen: Den Load Cycle Count kann ich jetzt grob hochrechnen: 100-98=2%=3557/2*100=178K Wobei das laut dem technischen Datenblatt ja eigentlich keinen Sinn macht, weil die DC HC520 hat auch 600K Load/Unload Cycles: https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-dc-hc500-series/data-sheet-ultrastar-dc-hc520.pdf Du musst den Punkt "Standard Datenträger Ruhezustandsverzögerung" auswählen. Interessante Übersetzung @ich777 ^^ Schreib lieber "Festplatte ausschalten nach" oder "HDD ausschalten nach". Analog zu Windows. Sorry, hab ich echt keine Ahnung von. Ich bin Profi im Hineinfuchsen ^^ Vielleicht neuen Thread aufmachen. Vielleicht lockt das Schlagwort ZFS noch andere Profis an

Nein braucht der Medienserver nicht. Die SSD ist Luxus um die ~50 MB/s Schreibgeschwindigkeit zu kaschieren und bei deinem bisher gemachten Erfahrungen wirst du diese "geringe" Geschwindigkeit immer noch gut finden. Die SSD im Unraid Server ist wie die SSD im Desktoprechner. Heute kann man nicht mehr ohne, wenn man sie mal hatte. Absolut notwendig ist sie aber eigentlich nicht. Klingt gut. Schau dir auch noch mal das Gigabyte C246M-WU4 an. 8x SATA, 2x M.2 und 2x LAN für 30-40 € Aufpreis sind verlockend. Hol dir bitte einen 16GB Einzelriegel, besser 32GB. Umso mehr RAM, umso größer kann dein Schreibcache sein und Dual Channel brauchst du nicht in einem NAS. Ich habe zB 64GB und schreibe auf die HDDs 20 bis 30 Gybte mit >1000MB/s (10G Netzwerk), bevor die Geschwindigkeit reduziert wird: Und das wohlgemerkt alles ohne SSD. Die habe ich auch, aber mit diesem Test wollte ich nur zeigen wie vorteilhaft auch ein großer RAM sein kann. Linux packt einfach alles in den RAM. Man kann übrigens mit zwei LAN Ports (Gigabyte ) und aktivem SMB Multichannel ohne Link Aggregation einstellen zu müssen, die doppelte Transferrate erreichen. Das setzt allerdings auch zwei LAN Ports und Kabel beim Client voraus (oder ein 2.5G Switch für 130 € und 2.5G Karte für 50 € im Client). Ob SSD ja oder nein, kann man dir nicht abnehmen. Ich würde sie aber installieren und selbst wenn es nur eine 30 € 250GB SSD ist um ein paar ständig laufende Docker Container von den HDDs wegzubekommen. Spart einfach Strom.

WD sagt 200k ist das Limit und Google sagt, dass ein Zusammenhang zwischen Ausfällen und Spin cycle nicht eindeutig ist: https://superuser.com/questions/197862/how-harmful-is-a-hard-disk-spin-cycle Da aber alle 10 Minuten keine 4 Jahre resultieren würde um 200k zu erreichen, hast du schon recht. Ich habe bei mir mal geschaut. Meine Platten stehen aktuell bei ~500 Start Stop Cycle und ~100 Power Cycle (ja viele Tests mit meinen Skripten ^^) und das nach 6 Monaten. Nur eine steht bei ~1700. Da liegen die User Shares drauf. Aber selbst das reicht für 50 Jahre. Ist also nicht so als würde Unraid hier Platten ausradieren Die Frage ist allerdings ob du überhaupt in den Einstellungen ausgewählt hast, dass sie schlafen gehen sollen. Ich vermute mal nicht. Kostenloses Bitcoin Mining bei dir zu Hause in 3, 2, 1 ^^

Really strange. Maybe the container CPU load includes I/O wait? Because your top results show permanent wait (1.4, 0.7, 0.5 and 1.0). This means something is reading / writing data from/to HDD/SSD and the volume answers not fast enough. Please repeat the test, but this time check all processes: top -c I'll bet its unraid's SHFS process ^^

v0.8 released: - Bug fix: In some situations video files were skipped instead of preloading them

Oh das ist schlecht für deine Energiebilanz. Du hast echt überall das stehen: "CHECK POWER MODE not implemented, ignoring -n option" Das bedeutet, dass Unraid nicht in Erfahrung bringen kann ob das Gerät schläft oder nicht. Es wird zwar vielleicht schlafen geschickt, aber alle ca 10 Minuten prüft Unraid ob die Platten noch schlafen und weckt sie damit vermutlich auf (weiß davon aber nichts, das Icon bleibt also grau). Kannst du das bestätigen? Also als du den Befehl ausgeführt hast, sind die Platten alle wieder aufgewacht? Port Multiplier sollten gehen, wenn der eSATA Port keinen separaten Controller nutzt: https://www.intel.com/Assets/PDF/prodbrief/x58-product-brief.pdf "In addition, support for Command Based Port Multipliers, and RAID levels 0, 1, 5 and 10 enable greater reliability for personal data, or maximum storage performance for intensive applications." EDIT: ne, das läuft über den Marvell 88SE6111. Mal suchen... EDIT2: OK, der kann das, aber es hatte schon mal jemand Probleme mit Unraid 🤔 https://forums.unraid.net/topic/72687-marvell-port-multiplier-support/

Ok you found a bug. I cut the list, before I check the size. This means if "video_min_size" is bigger than the first x video files, it preloads nothing. I will change that in the next version. Feel free to reduce "video_min_size" or do you want to skip all these episodes because of their size?

Da gibt es aber eine Einschränkung: Wenn das FANTEC QB-35US3-6G (2-4 HDD installiert) mit dem PC via eSATA verbunden ist, aber nicht alle Festplatten erkannt werden, prüfen Sie bitte, ober der eSATA Controller Port Multiplier unterstützt oder aktuallisieren Sie die Treiber Ihres eSATA Controllers. Prüf das erst mal. Und bedenke, dass Port Multiplier bei 4 HDDs lahm sind, da sie sich die ~500 MB/s Bandbreite teilen und ein sehr großer Overhead entstehen kann, da SATA ein serielles Protokoll ist. Ich nutze ebenfalls Port Multiplier, aber nie mehr als 2 HDDs pro Port. Eine HDD wird übrigens immer erkannt, auch wenn das Board keine Port Multiplier unterstützt. Du musst also mindestens 2 HDDs verbauen, damit du sicher gehen kannst, dass es geht. Mein C246 Board unterstützt zB keine Port Multiplier. Mein J5005 dagegen schon. Hängt immer vom Chipsatz ab. Nachrüstbare eSATA Karten haben das auch in den technischen Daten stehen.

I would do it. Your CPUs have a really low single thread rating: https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E7-+4850+%40+2.00GHz&id=2077&cpuCount=4 So even if this server would work, it won't make fun to use. And I don't want to know how much energy this hardware consumes. As this kernel error seems to be a general issue with old Dell Poweredge servers I would gave up. Sometimes new(er) hardware is the better option.

Das oder man macht es damit und lässt das Kabel zB hinten aus einem PCIe Slot kommen: https://www.amazon.de/Verlängerungskabel-Männlich-Weiblich-silmline-Verlängerung/dp/B07BMPQZMJ/ Denk dran, dass eSATA bei 3.5 Zoll nur geht, wenn du eSATAp 12V verwendest. Die Stecker/Buchsen haben an den Kanten noch zwei Kontakte für 12V. Ich werde eine Liste mit SATA USB Adaptern anfangen, die mit Unraid kompatibel sind. Ich denke das könnte auch für andere interessant sein. Du hast in jedem Fall einen inkompatiblen Adapter im Einsatz: Und ich vermute das ist der vom 4-Bay Gehäuse: Und danke für dein Ergebnis. Du hast echt viele USB Sachen am Laufen. Denk dran, dass USB mehr Strom verbrauch als direkt verbundene Komponenten. zB die USB Platten, aber auch der LAN Adapter. Es wäre nett, wenn du mal für alle deine USB Platten dieses Kommando ausführen würdest: /usr/sbin/smartctl -n standby -A /dev/sde Ich muss mal herausfinden, wie man das Kommando so ablaufen lassen kann, dass es auch direkt den entsprechenden Controller-Namen ausgibt.

Powertop [Support auf Deutsch] Powertop is an Intel tool (yes, works for AMD, too) to check power consumption states of sata, pcie, usb, etc devices. You can download powertop as follows, then restart your server and it will be automatically installed: mkdir /boot/extra cd /boot/extra wget https://github.com/mgutt/unraid-packages/raw/main/6.11.0/powertop-2.15-x86_64-1.txz Then open your terminal and execute: powertop Now press "TAB" until you reach "Idle Stats" and check your CPU Pkg (HW). Depending of the brand and model of your CPU you can reach different C-States. If your system isn't optimized, you will see this: If you press "TAB" you will see additional information about standby states of different hardware components of your system. In the tab "Tunables" you will see multiple devices which have the state "Bad", which means powertop found devices which do not allow standby/sleep states: Now you can execute the following command to optimize this: WARNING Many SATA controllers (JMB xxx or ASM xxxx) do not support link power management and your disks loose connection after reaching spindown! Read further before executing --auto-tune! powertop --auto-tune &>/dev/null By that all compents will return "Good": Now, your server should reach better C-States. Package C-States This table shows the dependency between CPU Core and CPU Package C-States: Several things are important to reach Package (Pkg) C-States C3, C7, C9 or even C10: Accurate power measurement - do some research how accurate your power meter is (UPS integrated power meters are usually bad) - close your Unraid WebGUI and wait 1 minute! (this closes many background jobs, which cost your energy, use your PC's terminal and "ssh root@tower" to monitor your C-States with powertop) - don't use Unraid in GUI mode (you should avoid this mode, if you want low power consumption) Powertop shows only C1, C2 and C3 Pgk-States This happens if powertop does not recognize your CPU (happens for most AMD CPUs and recent Intel CPUs). Your CPU could still reach C9 or even C10, but powertop is not able to obtain this and shows only C3. BIOS - only Gigabyte 8th or 9th Intel: enable CEC2019 - enable ASPM (Active-State Power Management) in the PCI settings - enable all C-States like C7/C9/C10 in the CPU settings ("auto" usually means "disabled", so select "enable") - disable Audio - disable RGB LED controller - disable Turbo in the CPU settings PCIe cards Some PCIe cards prevent states other than C0 or C3 (Intel). As an example my Qnap Aquantia 10G card allowed only C3 while all my Intel 10G cards allowed C7. Without any installed card I'm able to reach C10. iGPU Install the iGPU driver plugin through unRAID Apps if your CPU has an iGPU hpet Set hpet=disable as a Kernel setting if you have an 8th, 9th or 10th Intel CPU as there is a bug which can cause crashes (shouldn't be necessary anymore since unRAID 6.10) CPU governor Use the tips & tweaks Plugin to set the CPU governor to "powersave" or use the below commands in the Go file. 10G networking SFP+ DAC consumes less power than SFP+ SR/LR and both less than 10G RJ45. Depending on your internet connection the most efficient scenario is not to use a 10G switch. Instead directly connect your client with your server and use a second 1G cable to connect with your internet router. By that your 10G controller/card goes to sleep while your client is powered off. In comparison an active connection to a 10G switch never allows sleep states. MTU Surprisingly a user was not able to reach any C-State other than C1E after setting the MTU to 9000. SATA Controller Some mainboards or pcie cards provide SATA ports through an additional SATA controller. Sadly some of the most popular and usually well supported JMB xxx and ASM xxxx controllers have an incompatibility to "powertop --auto-tune" because it sets all SATA ports to "med_power_with_dipm". To bypass this problem, you should not use "powertop --auto-tune". Instead read the "Commands" paragraph to set the commands manually. Then you can remove the line with the "med_power_with_dipm" setting or you can set each hostX individually. Example: # Enable SATA link power management (this skips SATA host3 and host4) echo med_power_with_dipm | tee /sys/class/scsi_host/host1/link_power_management_policy echo med_power_with_dipm | tee /sys/class/scsi_host/host2/link_power_management_policy echo med_power_with_dipm | tee /sys/class/scsi_host/host5/link_power_management_policy echo med_power_with_dipm | tee /sys/class/scsi_host/host6/link_power_management_policy If you are using the ASM1166 you could even try to update the firmware. NVMe A user found out that a specific NVMe SSD allowed only C2, while with a Samsung Evo Plus the system reached C10. Power supply An unnecessary high-power and/or inefficient power supply can raise the power consumption by 5 to 15W. Choose wisely: - as low power (watt) as possible - as efficient as possible (like Titanium grade) - avoid dual power supply setups (server grade hardware is not build for efficiency) If you plan to build a setup with extremely low power consumption, consider these power supplies: - PicoPSU (up to 200 watts, but is limited to ~4 SSDs as it has low 5V output) - Corsair RM550x (2021) (this looses only 1 watt more than a PicoPSU at 10W to 20W load!) - BeQuiet Pure Power 11 FM 550W (similar to the Corsair, but 2 watts more than a PicoPSU, but cheaper than the Corsair) - Bequiet 12M only ~1W more than a PicoPSU Notes: - As of writing this post all other power supplies are much more inefficient. So don't think for example a Corsair SF450 is more efficient than the Corsair RM550x (2021) although the former is Platinum grade . It's not. I have both and the Platinum looses 4W more at 10W load. The reason is that some of the most recent power supplies include a new technology to reach the future ATX12VO standard, which has the requirement of being extremely efficient at low loads. For example Seasonic told me in 06/2022 that power supplies for ATX12VO are still in development. - An HDD can consume up to 30W if you switch on your server, but in this state the other server components do not reach their maximum load. So summarize wisely to obtain the correct power supply size. - Do not buy the Corsair / BeQuiet if you don't reach a power consumption under 30W: Above this, usual Platinum / Titanium power supplies are more efficient. Commands Instead of using "powertop --auto-tune" you could add the following power-saving commands to your /boot/config/go file (stop your array and execute them through your terminal to test them first) with the Config File Editor Plugin: # ------------------------------------------------- # Set power-efficient CPU governor # ------------------------------------------------- /etc/rc.d/rc.cpufreq powersave # ------------------------------------------------- # Disable CPU Turbo # ------------------------------------------------- [[ -f /sys/devices/system/cpu/intel_pstate/no_turbo ]] && echo "1" > /sys/devices/system/cpu/intel_pstate/no_turbo [[ -f /sys/devices/system/cpu/cpufreq/boost ]] && echo "0" > /sys/devices/system/cpu/cpufreq/boost # ------------------------------------------------- # Enable power-efficient ethernet # ------------------------------------------------- # enable IEEE 802.3az (Energy Efficient Ethernet): Could be incompatible to LACP bonds! for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done # Disable wake on lan for i in /sys/class/net/eth?; do ethtool -s $(basename $i) wol d; done # ------------------------------------------------- # powertop tweaks # ------------------------------------------------- # Enable SATA link power management echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy # Runtime PM for I2C Adapter (i915 gmbus dpb) echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control # Autosuspend for USB device echo auto | tee /sys/bus/usb/devices/*/power/control # Runtime PM for disk echo auto | tee /sys/block/sd*/device/power/control # Runtime PM for PCI devices echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control # Runtime PM for ATA devices echo auto | tee /sys/bus/pci/devices/????:??:??.?/ata*/power/control Note: EEE can cause problems with 2.5G Intel Ethernet. Config File Editor: Debugging Here are some helpful terminal commands. Spin down all disks (Unraid only) for dev in /dev/sd?; do /usr/local/sbin/emcmd cmdSpindown="$(grep -zoP "(?<=name=\")[a-z0-9]+(?=\"\ndevice=\"${dev: -3})" /var/local/emhttp/disks.ini | tr -d '\0')"; done Obtain ASPM status of all devices: lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' Watch CPU frequency: watch -n3 "cpufreq-info | grep 'current CPU'"

Good point. I will upgrade the script so it supports multiple and complete paths (not only a share name).

Die "sde' ist doch die, auf die er gerade schreibt oder nicht?! Ich tausche grundsätzlich alle HDDs aus, die auch nur einen defekten Sektor haben. Aber das kann natürlich jeder anders machen.

No. Most people suggest this only for heavily written HDDs as this data will fragmentate (spreaded across different positions in the plattern) over time. This causes higher latency for reads and writes = slower / wavering transfer rates. As I used multiple parallel transfers to fill my HDDs (not clever), some of them were heavily fragmentated. So I would say it's more like a one time job or should only be done once per year or after changing many files on the HDD. Sadly it's not possible to get the real fragmentation rate as really huge files must be fragmentated to 8GB blocks. Maybe I should integrate a notification when all HDDs were successfuly defragmentated. Or I add a temporary file which disables defragmentation for several months when it was successful.

In dem Gehäuse muss ja ein USB Hub sein (1 auf 4). Die Frage ist ob es überhaupt Hubs gibt, die das können. Meine 2 Bay Dockingstation kann das auch nicht. Kannst du bitte diesen Befehl ausführen und mitteilen welchen Controller der Hub verwendet: lsusb -v | grep -E ': ID |idVendor|idProduct' Ich würde dann mal mit einer Liste der kompatiblen Controller anfangen. Das wird ihm denke ich klar sein. Er spricht von dem Multi-Zone Error Rate Wert aus seinen Smart Daten. Reallocated Sector Count zeigt auch schon 6 defekte Sektoren.

Yes, I know both "bugs" (move to a different share does not move to correct disk and moving between share and disk can kill files). But moving will come much later. At first I will realize delete and maybe zip/tar.

I will test this by fragmentating a file and check the parity activity while defragmentation. Screenshots will follow. But I don't think it bypasses it, as I defrag since several weeks and no parity check ever corrected something.