unraid-tunables-tester.sh - A New Utility to Optimize unRAID md_* Tunables

Squid · August 23, 2016

If you know how to use PHP i would drop bash right away. You can still execute the mdcmd via shell_exec

Sent from my LG-D852 using Tapatalk

Pauven · August 24, 2016

If you know how to use PHP i would drop bash right away.

To be honest, I would have to say I don't know PHP well enough to switch over immediately. It has been many years since I've played with it, and off the top of my head I can't recall even one PHP command.

Not that I know bash all that well, but right now I'm stronger in bash than PHP. And the script is basically done, so there's that.

I took one CS course in college (learned a bubble sort on Pascal), and beyond that I have zero programming education. Not that I let that stop me. I've learned a handful of languages and scripts over the years, and I'm pretty quick to pick up or relearn languages as needed. And I always appreciate the kind help of the community.

If you have some sample PHP unRAID scripts I could review, that would be appreciated. I don't think I've ever even seen one. One look might be all it takes to make me a convert.

Maybe the right path is to go PHP when we convert to a plug-in. A lot of the bash script is all about menus, and that all has to be redone in the plug-in.

For now, the bash script is a great starting point for getting the testing routine down, and will give us an immediate tool to utilize until we can get a plug-in. It may not be pretty or elegant, but it works.

-Paul

Squid · August 24, 2016

unRaid scripts that I've banged together for the user.scripts plugin are all here (most of my scripts are php rather than bash) http://lime-technology.com/forum/index.php?topic=50416.0

The one most relevant to what you're doing is this one in particular: http://lime-technology.com/forum/index.php?topic=50416.msg485761#msg485761 which enables / disables turbo write mode based upon the number of drives currently spinning (skipping the cache drive), parses disks.ini, and then issues an appropriate mdcmd.

Pauven · August 24, 2016

unRaid scripts that I've banged together for the user.scripts plugin are all here (most of my scripts are php rather than bash) http://lime-technology.com/forum/index.php?topic=50416.0

The one most relevant to what you're doing is this one in particular: http://lime-technology.com/forum/index.php?topic=50416.msg485761#msg485761 which enables / disables turbo write mode based upon the number of drives currently spinning (skipping the cache drive), parses disks.ini, and then issues an appropriate mdcmd.

It took me a couple minutes to understand it, but I was able to figure out the turbo write script. I like it. PHP looks a lot closer to the languages I typically program in.

Bash is aptly named, as it makes me want to bash my head in because it is so finicky and has such weird syntax.

Thanks for sharing.

Are there other languages I should be considering, or is the choice simply bash vs PHP?

-Paul

Squid · August 24, 2016

unRaid scripts that I've banged together for the user.scripts plugin are all here (most of my scripts are php rather than bash) http://lime-technology.com/forum/index.php?topic=50416.0

The one most relevant to what you're doing is this one in particular: http://lime-technology.com/forum/index.php?topic=50416.msg485761#msg485761 which enables / disables turbo write mode based upon the number of drives currently spinning (skipping the cache drive), parses disks.ini, and then issues an appropriate mdcmd.

It took me a couple minutes to understand it, but I was able to figure out the turbo write script. I like it. PHP looks a lot closer to the languages I typically program in.

Bash is aptly named, as it makes me want to bash my head in because it is so finicky and has such weird syntax.

Thanks for sharing.

Are there other languages I should be considering, or is the choice simply bash vs PHP?

-Paul

I think the only other language included in stock unRaid is awk. Only really ever used that on the odd cases a couple years ago to help with bash parsing a string.

Squid · August 24, 2016

But if the bash is almost done, finish what you're doing first.... Everybody's waiting for the new script

Pauven · August 24, 2016

But if the bash is almost done, finish what you're doing first.... Everybody's waiting for the new script

Very close, may seed the beta today.

Thought it was going to be yesterday, but I switched ISP's yesterday morning, and wasted time not only during the install, but also spent a few hours trouble-shooting it when it all went tits-up a few hours after the install guy left. Fun.

-Paul

Pauven · August 24, 2016

I've selected the beta testers. Apologies to those who weren't selected, the list below is a little bigger than I wanted to go, but with so many good choices I had a hard time excluding.

ljm42 (because you have a nice boring server with drives on the motherboard)
StevenD (because you have 13 identical drives on a dual Xeon box with tons of memory, dual M1015's, and running ESXi)
jack0w (because you have single parity and both a HBA and an extender)
Squid (because you have AMD cpus, a SAS2LP, and a nice mix of drives)
scottc (because you have AMD CPU's, a 9211-8i and a H310, and a nice mix of drives)
johnnie.black (because of all your servers, you're like 7 beta testers in one!!!)

I'm thinking the above will provide a nice cross section of hardware.

I'll send PM's to each of you with download instructions later today. I'll provide testing guidelines in a post at that time.

If you weren't included in the beta, please be patient. I believe we're very close to a public release.

Thanks,

Paul

Pauven · August 24, 2016

UTTv4.0 Beta Testers:

I have sent the PM's with the download link.

Please read through the following before beginning beta testing. Let me know if you have questions. Apologies if you find any of this condescending, it's not meant to be. I know most of you are smarter than I am. I just like to be thorough.

Obligatory Statements:

If at anytime you feel uncomfortable with the tool, then stop it. Either cancel out or CTRL-C or stop the array, your choice. If you aborted during a parity check, that parity check will still be running, and you can cancel it through the GUI. Rebooting the server should restore all parameter settings. I can't imagine what may occur that would cause you to take such actions, but feel free to do so if you don't like what's going on.

There is unused code in the script (read/write tests) that you could run if you really wanted to. I suggest you don't, and stay on the guided path by following displayed menu options. These hidden options were tests developed on unRAID v5.0, they were never publicly released or tested, and haven't been properly updated for 6.2. I didn't want to strip them out.

Installation:

Download the unraid-tunables-tester.sh from the link I sent you via PM.

Put the file onto your flash drive (I put mine in a folder named "utt" off the root of the flash drive).

Make sure the file is executable, if it isn't, you can "chmod 777 unraid-tunables-tester.sh" to make it so.

Running It:

On the console or telnet session (screen!), just navigate to the location (i.e. cd /boot/utt) and type the name to run it (unraid-tunables-tester.sh). Easy.

Testing Strategy:

Before testing, please know how long a full parity check takes to complete on your server in the current configuration and unRAID version. The primary purpose of this tool is to improve parity check speeds (if possible), so that little detail may be important later.

I recommend that you use "screen" to run the tests, or use the console directly, so that a lost telnet session won't impact your ability to monitor the test progress.

After installing, I recommend the first test you run on any (and every) server be the Short Auto test. It's too short to provide useful results (so don't save or apply them), but it will at least expose if your server responds to these parameters being changed (many servers do not). So instead of spending 16 hours to find out your server doesn't work with this tool, you can find out in 60-90 minutes. No need to publish any of these results (unless you really want to) - this is just a quick(er) test to figure out if you should run the Normal Auto test. If every test reports about the same speed, that's a big clue your server doesn't respond to these parameters.

If the Short Auto test looks promising, go ahead and run the Normal Auto. It will take a minimum of 9 hours, and possibly up to 16 hours (it self adjusts to run more tests as necessary), and for best results you should do this while this system is not being accessed, so plan this out ahead of time. I would say start it up when you go to bed, and have results by lunchtime, but you may want to run this during daytime hours so you can monitor (I like to keep an eye on drive temps).

I don't anticipate anyone will run the Long Auto or Manual tests at this time, but I won't stop you if you want to. Long Auto is same as Short/Normal Auto, just twice as long as Normal (so up to 32 hours!!!). Long Auto is primarily there in case someone has a server that doesn't seem to settle down and produce clean results with the Normal Auto test. Longer tests produce smother, more accurate results, something you'll see yourself when comparing the Short to the Normal test results.

The script now records the current server settings and writes these to the report file before beginning any tests, and you can monitor the report file as it is being written. It will be in the same directory you placed the script, and will be time-stamped so as not be overwritten from test to test.

Additionally, at the end of the test, if you don't apply the new Thrifty or Fastest setting, the script will automatically revert the parameters back to the original settings. Otherwise, if you abort the script, rebooting may be the easiest way to get your parameters back to the starting values.

Something new I added was a staggered spin-up of array drives not already spun-up. This provides a smoother menu response (previously it looked like the script froze when unRAID auto spun up drives). To test this, you'll need to have some or all drives spun down. This logic was so easy, I'm now pretty upset Lime-Tech has never given us staggered spin-up (or have they? I really don't know). This is something I wanted and asked for, as I had to install a 650W power supply in my server just to handle concurrent spin-ups, and during a parity check my server only uses about 150W. But I digress... sorry.

Desired Feedback:

Please share all feedback directly in this thread. I lose track of PM's, so that's not recommended.

If you experience any problems, please detail them as much as possible, provide the output file, and if you can, copy information from the screen (which is different from what goes into the report file) and share that too.

I would really appreciate it if you read every word on every screen, and let me know if anything is not clear or needs corrections. I'm also interested in your critique of the test data presented both on the screen and in the output file. Feel free to be blunt in your critique, I can handle it (but that's not an excuse to be rude...).

After your Normal test completes, please post the report file here. If you are testing more than one system (cough...johnnie.black...cough) please detail what system the test was performed on when you post the results. No need to post the output of the telnet session (unless there were problems), as the output file has everything I want to see.

If the Thriftiest/Fastest test results look like something you want to try, go ahead and apply them (saving is optional) and run a full parity check. Post before/after times for the parity check.

Optional Extra Credit:

In addition to the report file, there is a separate CSV file with all of the tested speeds, perfect for charting the results. Use whatever tool you like (I've been using Excel), chart them up, and share the chart here. I find the charts to be very helpful.

Last Notes:

UTTv4 represent a pretty significant rewrite of the old v2.2 script. Not only is it changed to be compatible with unRAID v6.2, I've added a LOT of new functionality and greatly modified the testing routines. I won't post here everything that is new, I'll let you discover it for yourself.

Thank you gentlemen, your help is greatly appreciated.

Paul

Pauven · August 24, 2016

UTTv4b Testers, check your messages, you should have a download link.

I can't tell if the PM worked, when I go to view the 'Sent Messages', it's blank.

Paul

scottc · August 24, 2016

UTTv4b Testers, check your messages, you should have a download link.

I can't tell if the PM worked, when I go to view the 'Sent Messages', it's blank.

Paul

I received the PM

StevenD · August 24, 2016

Short test running now

Pauven · August 24, 2016

While the beta testers are busy testing beta, here's a couple charts from one of my test runs. I made these in Excel, using the new CSV output file as the source.

This first chart is the overview of the entire test. The red and blue lines are both from Pass 1, in which the script tested md_sync_windows from 384 to 3456.

The red line is md_sync_thresh being set to 50% of md_sync_window, while the blue line is being set to md_sync_window-1.

The highest blue peak is at md_sync_window 2496, which becomes the central point for Pass 2.

The Pass 2 is the green and purple lines, running from 2368 to 2624. With 4 lines occupying the same space, it gets pretty hard to tell what's going on, so here's a second chart where I zoomed in:

If you look closely, you may be able to tell that in this range, the red/blue Pass 1 lines only have 5 overlapping test points, while the green/purple Pass 2 lines have 33. You can measure repeatability/accuracy by comparing blue to green, and red to purple.

Pass 2 is retesting a range that shows promise with 16x more sample points, checking to see if a particular value in the neighborhood works better than the rest.

The peaks/valleys at each test point probably aren't better/worse values, just natural run to run variances, which in this chart is +/- 0.2 MB/s for the same test at the same test point.

For the most part, any value in this range is a good value (130.7 MB/s to 131.7 MB/s), and the impact from best to worst is probably a minute or two on a full parity check. I'm starting to think this second pass may be overkill. Won't know for sure until after others post their results.

jumperalex · August 24, 2016

Its been a long time since I dove into this topic so I might be missing the obvious. Looking at that chart I have to ask;

Are we looking at diminishing returns here? I'm wondering if memory usage and/or operational reads during the parity check are being impacted negatively from using higher values than needed? The curve seems to level out around 1920. From the variance in data I wonder if a practical value that would be 1920 where it appears you will get the same performance for the lowest value.

StevenD · August 24, 2016

Short test done.

       unRAID Tunables Tester v4.0b by Pauven (for unRAID v6.2)

        Tunables Report produced Wed Aug 24 15:07:28 CDT 2016

                         Run on server: nas

                   Short Automatic Parity Sync Test


NOTE: Use the smallest set of values that produce good results. Larger values
      increase server memory use, and may cause stability issues with unRAID,
      especially if you have any add-ons or plug-ins installed.


Current Values:  md_num_stripes=6008, md_sync_window=2704, md_sync_thresh=192
                 Global nr_requests=128
                    sdo nr_requests=128
                    sdn nr_requests=128
                    sdm nr_requests=128
                    sdl nr_requests=128
                    sdh nr_requests=128
                    sdk nr_requests=128
                    sdj nr_requests=128
                    sdi nr_requests=128
                    sdg nr_requests=128
                    sdf nr_requests=128
                    sde nr_requests=128
                    sdd nr_requests=128
                    sdc nr_requests=128


--- INITIAL BASELINE TEST OF CURRENT VALUES (1 Sample Point @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1  | 343 |     6008    |    2704     |   128   |      192    | 119.7 MB/s 


--- FULLY AUTOMATIC nr_requests TEST 1 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |     1536    |     768     |     128     |      767    | 107.3 MB/s 
  2   |     1536    |     768     |     128     |      384    | 144.4 MB/s 
  3   |     1536    |     768     |       8     |      767    | 103.4 MB/s 
  4   |     1536    |     768     |       8     |      384    | 139.2 MB/s 

Fastest vals were nr_reqs=128 and sync_thresh=50% of sync_window at 144.4 MB/s

This nr_requests value will be used for the next test.


--- FULLY AUTOMATIC TEST PASS 1a (Rough - 13 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a |  43 |      768    |     384     |   128   |      383    | 124.2 MB/s 
   1b |  43 |      768    |     384     |   128   |      192    | 151.9 MB/s 
   2a |  51 |      896    |     448     |   128   |      447    |  94.1 MB/s 
   2b |  51 |      896    |     448     |   128   |      224    | 118.9 MB/s 
   3a |  58 |     1024    |     512     |   128   |      511    |  78.3 MB/s 
   3b |  58 |     1024    |     512     |   128   |      256    |  94.6 MB/s 
   4a |  65 |     1152    |     576     |   128   |      575    | 100.7 MB/s 
   4b |  65 |     1152    |     576     |   128   |      288    |  97.4 MB/s 
   5a |  73 |     1280    |     640     |   128   |      639    | 105.7 MB/s 
   5b |  73 |     1280    |     640     |   128   |      320    | 147.7 MB/s 
   6a |  80 |     1408    |     704     |   128   |      703    |  85.8 MB/s 
   6b |  80 |     1408    |     704     |   128   |      352    |  74.1 MB/s 
   7a |  87 |     1536    |     768     |   128   |      767    |  74.8 MB/s 
   7b |  87 |     1536    |     768     |   128   |      384    |  59.3 MB/s 
   8a |  95 |     1664    |     832     |   128   |      831    |  85.7 MB/s 
   8b |  95 |     1664    |     832     |   128   |      416    |  55.2 MB/s 
   9a | 102 |     1792    |     896     |   128   |      895    |  90.3 MB/s 
   9b | 102 |     1792    |     896     |   128   |      448    |  79.9 MB/s 
  10a | 109 |     1920    |     960     |   128   |      959    |  84.9 MB/s 
  10b | 109 |     1920    |     960     |   128   |      480    |  85.5 MB/s 
  11a | 117 |     2048    |    1024     |   128   |     1023    |  96.7 MB/s 
  11b | 117 |     2048    |    1024     |   128   |      512    |  81.4 MB/s 
  12a | 124 |     2176    |    1088     |   128   |     1087    |  89.9 MB/s 
  12b | 124 |     2176    |    1088     |   128   |      544    |  81.8 MB/s 
  13a | 131 |     2304    |    1152     |   128   |     1151    |  98.1 MB/s 
  13b | 131 |     2304    |    1152     |   128   |      576    |  71.3 MB/s 
--- FULLY AUTOMATIC TEST PASS 1b (Rough - 5 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a |  7 |      128    |      64     |   128   |       63    |  48.0 MB/s 
   1b |  7 |      128    |      64     |   128   |       32    |  43.1 MB/s 
   2a |  14 |      256    |     128     |   128   |      127    |  46.4 MB/s 
   2b |  14 |      256    |     128     |   128   |       64    |  36.2 MB/s 
   3a |  21 |      384    |     192     |   128   |      191    |  78.5 MB/s 
   3b |  21 |      384    |     192     |   128   |       96    |  55.7 MB/s 
   4a |  29 |      512    |     256     |   128   |      255    |  81.3 MB/s 
   4b |  29 |      512    |     256     |   128   |      128    |  60.0 MB/s 
   5a |  36 |      640    |     320     |   128   |      319    |  76.9 MB/s 
   5b |  36 |      640    |     320     |   128   |      160    |  59.6 MB/s 

--- Targeting Fastest Result of md_sync_window 384 bytes for Final Pass ---


--- FULLY AUTOMATIC nr_requests TEST 2 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |      768    |     384     |     128     |      383    |  76.1 MB/s 
  2   |      768    |     384     |     128     |      192    |  51.1 MB/s 
  3   |      768    |     384     |       8     |      383    |  85.7 MB/s 
  4   |      768    |     384     |       8     |      192    |  51.6 MB/s 

Fastest vals were nr_reqs=8 and sync_thresh=99% of sync_window at 85.7 MB/s

This nr_requests value will be used for the next test.



--- FULLY AUTOMATIC TEST PASS 2 (Fine - 33 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a |  29 |      512    |     256     |     8   |      255    |  54.0 MB/s 
   1b |  29 |      512    |     256     |     8   |      128    |  42.4 MB/s 
   2a |  30 |      528    |     264     |     8   |      263    |  60.4 MB/s 
   2b |  30 |      528    |     264     |     8   |      132    | 130.5 MB/s 
   3a |  31 |      544    |     272     |     8   |      271    | 103.6 MB/s 
   3b |  31 |      544    |     272     |     8   |      136    | 144.6 MB/s 
   4a |  32 |      560    |     280     |     8   |      279    | 107.5 MB/s 
   4b |  32 |      560    |     280     |     8   |      140    | 148.7 MB/s 
   5a |  32 |      576    |     288     |     8   |      287    |  94.8 MB/s 
   5b |  32 |      576    |     288     |     8   |      144    | 142.6 MB/s 
   6a |  33 |      592    |     296     |     8   |      295    |  95.0 MB/s 
   6b |  33 |      592    |     296     |     8   |      148    | 124.5 MB/s 
   7a |  34 |      608    |     304     |     8   |      303    |  96.3 MB/s 
   7b |  34 |      608    |     304     |     8   |      152    | 139.4 MB/s 
   8a |  35 |      624    |     312     |     8   |      311    | 120.4 MB/s 
   8b |  35 |      624    |     312     |     8   |      156    | 143.9 MB/s 
   9a |  36 |      640    |     320     |     8   |      319    | 128.1 MB/s 
   9b |  36 |      640    |     320     |     8   |      160    | 143.7 MB/s 
  10a |  37 |      656    |     328     |     8   |      327    | 105.9 MB/s 
  10b |  37 |      656    |     328     |     8   |      164    | 127.3 MB/s 
  11a |  38 |      672    |     336     |     8   |      335    | 115.2 MB/s 
  11b |  38 |      672    |     336     |     8   |      168    |  93.1 MB/s 
  12a |  39 |      688    |     344     |     8   |      343    |  43.2 MB/s 
  12b |  39 |      688    |     344     |     8   |      172    |  57.8 MB/s 
  13a |  40 |      704    |     352     |     8   |      351    |  71.2 MB/s 
  13b |  40 |      704    |     352     |     8   |      176    |  62.5 MB/s 
  14a |  41 |      720    |     360     |     8   |      359    |  70.0 MB/s 
  14b |  41 |      720    |     360     |     8   |      180    |  60.3 MB/s 
  15a |  42 |      736    |     368     |     8   |      367    |  69.5 MB/s 
  15b |  42 |      736    |     368     |     8   |      184    |  55.2 MB/s 
  16a |  43 |      752    |     376     |     8   |      375    |  60.7 MB/s 
  16b |  43 |      752    |     376     |     8   |      188    |  55.7 MB/s 
  17a |  43 |      768    |     384     |     8   |      383    |  70.4 MB/s 
  17b |  43 |      768    |     384     |     8   |      192    |  51.3 MB/s 
  18a |  44 |      784    |     392     |     8   |      391    |  70.3 MB/s 
  18b |  44 |      784    |     392     |     8   |      196    |  55.5 MB/s 
  19a |  45 |      800    |     400     |     8   |      399    |  85.1 MB/s 
  19b |  45 |      800    |     400     |     8   |      200    |  48.1 MB/s 
  20a |  46 |      816    |     408     |     8   |      407    |  71.2 MB/s 
  20b |  46 |      816    |     408     |     8   |      204    |  53.4 MB/s 
  21a |  47 |      832    |     416     |     8   |      415    |  80.2 MB/s 
  21b |  47 |      832    |     416     |     8   |      208    |  55.8 MB/s 
  22a |  48 |      848    |     424     |     8   |      423    |  78.0 MB/s 
  22b |  48 |      848    |     424     |     8   |      212    |  57.6 MB/s 
  23a |  49 |      864    |     432     |     8   |      431    |  75.8 MB/s 
  23b |  49 |      864    |     432     |     8   |      216    |  48.6 MB/s 
  24a |  50 |      880    |     440     |     8   |      439    |  70.3 MB/s 
  24b |  50 |      880    |     440     |     8   |      220    |  44.7 MB/s 
  25a |  51 |      896    |     448     |     8   |      447    |  74.7 MB/s 
  25b |  51 |      896    |     448     |     8   |      224    |  45.0 MB/s 
  26a |  52 |      912    |     456     |     8   |      455    |  84.5 MB/s 
  26b |  52 |      912    |     456     |     8   |      228    |  50.9 MB/s 
  27a |  53 |      928    |     464     |     8   |      463    |  78.6 MB/s 
  27b |  53 |      928    |     464     |     8   |      232    |  54.2 MB/s 
  28a |  54 |      944    |     472     |     8   |      471    |  86.1 MB/s 
  28b |  54 |      944    |     472     |     8   |      236    | 108.5 MB/s 
  29a |  54 |      960    |     480     |     8   |      479    |  87.2 MB/s 
  29b |  54 |      960    |     480     |     8   |      240    | 111.4 MB/s 
  30a |  55 |      976    |     488     |     8   |      487    | 121.5 MB/s 
  30b |  55 |      976    |     488     |     8   |      244    | 142.4 MB/s 
  31a |  56 |      992    |     496     |     8   |      495    |  93.7 MB/s 
  31b |  56 |      992    |     496     |     8   |      248    | 110.8 MB/s 
  32a |  57 |     1008    |     504     |     8   |      503    |  87.2 MB/s 
  32b |  57 |     1008    |     504     |     8   |      252    |  91.0 MB/s 
  33a |  58 |     1024    |     512     |     8   |      511    |  74.9 MB/s 
  33b |  58 |     1024    |     512     |     8   |      256    | 147.2 MB/s 

The results below do NOT include the Basline test of current values.

The Fastest Sync Speed tested was md_sync_window=280 at 148.7 MB/s
     Tunable (md_num_stripes): 560
     Tunable (md_sync_window): 280
     Tunable (md_sync_thresh): 140
     Tunable (nr_requests): 8
This will consume 32 MB with md_num_stripes=560, 2x md_sync_window.
This is 311MB less than your current utilization of 343MB. n

The Thriftiest Sync Speed tested was md_sync_window=272 at 144.6 MB/s
     Tunable (md_num_stripes): 544
     Tunable (md_sync_window): 272
     Tunable (md_sync_thresh): 136
     Tunable (nr_requests): 8
This will consume 31 MB with md_num_stripes=544, 2x md_sync_window.
This is 312MB less than your current utilization of 343MB.

NOTE: Adding additional drives will increase memory consumption.

In unRAID, go to Settings > Disk Settings to set your chosen parameter values.

Completed: 1 Hrs 5 Min 29 Sec.


System Info:  nas
              unRAID version 6.2.0-rc4
                  md_num_stripes=6008
                  md_sync_window=2704
                  md_sync_thresh=192
                  nr_requests=128 (Global Setting)
                  sbNumDisks=14
              CPU: 
              RAM: 

Outputting lshw information for Drives and Controllers:

Bus info          Device       Class      Description
=====================================================
pci@0000:00:07.1               storage    82371AB/EB/MB PIIX4 IDE
pci@0000:03:00.0  scsi3        storage    SAS1068 PCI-X Fusion-MPT SAS
scsi@3:0.0.0      /dev/sda     disk       209MB Virtual disk
pci@0000:0b:00.0  scsi2        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@2:0.0.0      /dev/sdb     disk       512GB Crucial_CT512M55
scsi@2:0.1.0      /dev/sdc     disk       4TB HGST HDN724040AL
scsi@2:0.2.0      /dev/sdd     disk       4TB Hitachi HDS72404
scsi@2:0.3.0      /dev/sde     disk       4TB HGST HDN724040AL
scsi@2:0.4.0      /dev/sdf     disk       4TB Hitachi HDS72404
scsi@2:0.5.0      /dev/sdg     disk       4TB HGST HDS724040AL
pci@0000:13:00.0  scsi4        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@4:0.3.0      /dev/sdk     disk       4TB HGST HDS724040AL
scsi@4:0.4.0      /dev/sdl     disk       4TB HGST HDS724040AL
scsi@4:0.5.0      /dev/sdm     disk       4TB HGST HDS724040AL
scsi@4:0.6.0      /dev/sdn     disk       4TB HGST HDS724040AL
scsi@4:0.7.0      /dev/sdo     disk       4TB Hitachi HDS72404
scsi@4:0.0.0      /dev/sdh     disk       4TB HGST HDS724040AL
scsi@4:0.1.0      /dev/sdi     disk       4TB Hitachi HDS72404
scsi@4:0.2.0      /dev/sdj     disk       4TB HGST HDS724040AL
usb@1:1.4         scsi5        storage    
scsi@5:0.0.0      /dev/sdp     disk       15GB Reader     SD/MS
                  /dev/sdp     disk       15GB 
scsi@5:0.0.1      /dev/sdq     disk       Reader  MicSD/M2
                  /dev/sdq     disk       

Array Devices:
    Disk0 sdo is a Parity drive named parity
    Disk1 sdn is a Data drive named disk1
    Disk2 sdm is a Data drive named disk2
    Disk3 sdl is a Data drive named disk3
    Disk4 sdh is a Data drive named disk4
    Disk5 sdk is a Data drive named disk5
    Disk6 sdj is a Data drive named disk6
    Disk7 sdi is a Data drive named disk7
    Disk8 sdg is a Data drive named disk8
    Disk9 sdf is a Data drive named disk9
    Disk10 sde is a Data drive named disk10
    Disk11 sdd is a Data drive named disk11
    Disk12 sdc is a Data drive named disk12

Outputting free low memory information...

              total        used        free      shared  buff/cache   available
Mem:       32950372     4705508    25497200      414260     2747664    27061252
Low:       32950372     7453172    25497200
High:             0           0           0
Swap:             0           0           0


                      *** END OF REPORT ***

Pauven · August 24, 2016

Short test done.

System Info:  nas
              unRAID version 6.2.0-rc4
                  md_num_stripes=6008
                  md_sync_window=2704
                  md_sync_thresh=192
                  nr_requests=128 (Global Setting)
                  sbNumDisks=14
              CPU:                                 <-- THIS VALUE IS MISSING
              RAM:                                 <-- THIS VALUE IS MISSING TOO

Cool, thanks. I see enough volatility in those results to say you should definitely run the Normal test.

Interesting, I see that the CPU and RAM values are missing. This comes from lshw. When you get a chance, can you give me the output of:

lshw -quiet -businfo -c processor -c memory

Thanks,

Paul

StevenD · August 24, 2016

Short test done.
System Info:  nas
              unRAID version 6.2.0-rc4
                  md_num_stripes=6008
                  md_sync_window=2704
                  md_sync_thresh=192
                  nr_requests=128 (Global Setting)
                  sbNumDisks=14
              CPU:                                 <-- THIS VALUE IS MISSING
              RAM:                                 <-- THIS VALUE IS MISSING TOO
Cool, thanks. I see enough volatility in those results to say you should definitely run the Normal test.

Interesting, I see that the CPU and RAM values are missing. This comes from lshw. When you get a chance, can you give me the output of:
lshw -quiet -businfo -c processor -c memory
Thanks,

Paul

Maybe because I'm running in a VM? I will run the full test overnight.

root@nas:/boot# lshw -quiet -businfo -c processor -c memory
Bus info          Device       Class      Description
=====================================================
                               memory     89KiB BIOS
cpu@0                          processor  Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
                               memory     16KiB L1 cache
cpu@1                          processor  Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
                               memory     16KiB L1 cache
cpu@2                          processor  CPU
                               memory     16KiB L1 cache
cpu@3                          processor  CPU
                               memory     16KiB L1 cache
cpu@4                          processor  CPU
                               memory     16KiB L1 cache
cpu@5                          processor  CPU
                               memory     16KiB L1 cache
cpu@6                          processor  CPU
                               memory     16KiB L1 cache
cpu@7                          processor  CPU
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               memory     32GiB System Memory
                               memory     16GiB DIMM DRAM EDO
                               memory     16GiB DIMM DRAM EDO
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]

scottc · August 24, 2016

My short test is done, Have power issues to 2 of my cages so will run it again once I replace the power connections for them

unRAID Tunables Tester v4.0b by Pauven (for unRAID v6.2)

        Tunables Report produced Wed Aug 24 15:39:16 EDT 2016

                         Run on server: Tower

                   Short Automatic Parity Sync Test


NOTE: Use the smallest set of values that produce good results. Larger values
      increase server memory use, and may cause stability issues with unRAID,
      especially if you have any add-ons or plug-ins installed.


Current Values:  md_num_stripes=6144, md_sync_window=2768, md_sync_thresh=192
                 Global nr_requests=128
                    sdb nr_requests=128
                    sdc nr_requests=128
                    sdi nr_requests=128
                    sdn nr_requests=128
                    sdh nr_requests=128
                    sdl nr_requests=128
                    sdk nr_requests=128
                    sdj nr_requests=128
                    sdo nr_requests=128
                    sdp nr_requests=128
                    sdq nr_requests=128
                    sdm nr_requests=128


--- INITIAL BASELINE TEST OF CURRENT VALUES (1 Sample Point @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1  | 327 |     6144    |    2768     |   128   |      192    |  96.0 MB/s 


--- FULLY AUTOMATIC nr_requests TEST 1 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |     1536    |     768     |     128     |      767    |  98.4 MB/s 
  2   |     1536    |     768     |     128     |      384    |  98.8 MB/s 
  3   |     1536    |     768     |       8     |      767    | 101.4 MB/s 
  4   |     1536    |     768     |       8     |      384    | 101.5 MB/s 

Fastest vals were nr_reqs=8 and sync_thresh=50% of sync_window at 101.5 MB/s

This nr_requests value will be used for the next test.


--- FULLY AUTOMATIC TEST PASS 1a (Rough - 13 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a |  40 |      768    |     384     |     8   |      383    |  94.1 MB/s 
   1b |  40 |      768    |     384     |     8   |      192    | 108.1 MB/s 
   2a |  47 |      896    |     448     |     8   |      447    | 108.5 MB/s 
   2b |  47 |      896    |     448     |     8   |      224    | 109.6 MB/s 
   3a |  54 |     1024    |     512     |     8   |      511    | 111.1 MB/s 
   3b |  54 |     1024    |     512     |     8   |      256    | 110.8 MB/s 
   4a |  61 |     1152    |     576     |     8   |      575    | 112.1 MB/s 
   4b |  61 |     1152    |     576     |     8   |      288    | 112.7 MB/s 
   5a |  68 |     1280    |     640     |     8   |      639    | 112.9 MB/s 
   5b |  68 |     1280    |     640     |     8   |      320    | 110.9 MB/s 
   6a |  75 |     1408    |     704     |     8   |      703    | 113.9 MB/s 
   6b |  75 |     1408    |     704     |     8   |      352    | 112.3 MB/s 
   7a |  81 |     1536    |     768     |     8   |      767    | 114.8 MB/s 
   7b |  81 |     1536    |     768     |     8   |      384    | 113.0 MB/s 
   8a |  88 |     1664    |     832     |     8   |      831    | 112.7 MB/s 
   8b |  88 |     1664    |     832     |     8   |      416    |  85.8 MB/s 
   9a |  95 |     1792    |     896     |     8   |      895    | 113.3 MB/s 
   9b |  95 |     1792    |     896     |     8   |      448    |  88.1 MB/s 
  10a | 102 |     1920    |     960     |     8   |      959    |  94.6 MB/s 
  10b | 102 |     1920    |     960     |     8   |      480    | 102.6 MB/s 
  11a | 109 |     2048    |    1024     |     8   |     1023    | 108.3 MB/s 
  11b | 109 |     2048    |    1024     |     8   |      512    | 112.7 MB/s 
  12a | 115 |     2176    |    1088     |     8   |     1087    | 108.4 MB/s 
  12b | 115 |     2176    |    1088     |     8   |      544    | 113.0 MB/s 
  13a | 122 |     2304    |    1152     |     8   |     1151    | 113.8 MB/s 
  13b | 122 |     2304    |    1152     |     8   |      576    |  96.8 MB/s 
--- FULLY AUTOMATIC TEST PASS 1c (Rough - 18 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a | 129 |     2432    |    1216     |     8   |     1215    | 115.0 MB/s 
   1b | 129 |     2432    |    1216     |     8   |      608    |  98.0 MB/s 
   2a | 136 |     2560    |    1280     |     8   |     1279    | 112.1 MB/s 
   2b | 136 |     2560    |    1280     |     8   |      640    | 104.3 MB/s 
   3a | 143 |     2688    |    1344     |     8   |     1343    | 114.9 MB/s 
   3b | 143 |     2688    |    1344     |     8   |      672    | 112.3 MB/s 
   4a | 150 |     2816    |    1408     |     8   |     1407    | 111.2 MB/s 
   4b | 150 |     2816    |    1408     |     8   |      704    | 115.3 MB/s 
   5a | 156 |     2944    |    1472     |     8   |     1471    | 114.4 MB/s 
   5b | 156 |     2944    |    1472     |     8   |      736    | 103.0 MB/s 
   6a | 163 |     3072    |    1536     |     8   |     1535    | 113.3 MB/s 
   6b | 163 |     3072    |    1536     |     8   |      768    | 113.7 MB/s 
   7a | 170 |     3200    |    1600     |     8   |     1599    | 112.3 MB/s 
   7b | 170 |     3200    |    1600     |     8   |      800    | 112.4 MB/s 
   8a | 177 |     3328    |    1664     |     8   |     1663    | 113.2 MB/s 
   8b | 177 |     3328    |    1664     |     8   |      832    | 111.9 MB/s 
   9a | 184 |     3456    |    1728     |     8   |     1727    | 112.3 MB/s 
   9b | 184 |     3456    |    1728     |     8   |      864    | 115.0 MB/s 
  10a | 191 |     3584    |    1792     |     8   |     1791    | 113.5 MB/s 
  10b | 191 |     3584    |    1792     |     8   |      896    |  95.1 MB/s 
  11a | 197 |     3712    |    1856     |     8   |     1855    | 114.3 MB/s 
  11b | 197 |     3712    |    1856     |     8   |      928    | 111.6 MB/s 
  12a | 204 |     3840    |    1920     |     8   |     1919    | 112.1 MB/s 
  12b | 204 |     3840    |    1920     |     8   |      960    | 113.5 MB/s 
  13a | 211 |     3968    |    1984     |     8   |     1983    | 113.8 MB/s 
  13b | 211 |     3968    |    1984     |     8   |      992    | 107.3 MB/s 
  14a | 218 |     4096    |    2048     |     8   |     2047    | 106.3 MB/s 
  14b | 218 |     4096    |    2048     |     8   |     1024    | 114.6 MB/s 
  15a | 225 |     4224    |    2112     |     8   |     2111    | 112.6 MB/s 
  15b | 225 |     4224    |    2112     |     8   |     1056    | 112.5 MB/s 
  16a | 231 |     4352    |    2176     |     8   |     2175    | 113.6 MB/s 
  16b | 231 |     4352    |    2176     |     8   |     1088    | 113.8 MB/s 
  17a | 238 |     4480    |    2240     |     8   |     2239    | 112.1 MB/s 
  17b | 238 |     4480    |    2240     |     8   |     1120    | 114.4 MB/s 
  18a | 245 |     4608    |    2304     |     8   |     2303    | 113.3 MB/s 
  18b | 245 |     4608    |    2304     |     8   |     1152    | 114.6 MB/s 

--- Targeting Fastest Result of md_sync_window 1408 bytes for Final Pass ---


--- FULLY AUTOMATIC nr_requests TEST 2 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |     2816    |    1408     |     128     |     1407    | 113.8 MB/s 
  2   |     2816    |    1408     |     128     |      704    | 103.1 MB/s 
  3   |     2816    |    1408     |       8     |     1407    | 108.0 MB/s 
  4   |     2816    |    1408     |       8     |      704    | 112.7 MB/s 

Fastest vals were nr_reqs=128 and sync_thresh=99% of sync_window at 113.8 MB/s

This nr_requests value will be used for the next test.



--- FULLY AUTOMATIC TEST PASS 2 (Fine - 33 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a | 136 |     2560    |    1280     |   128   |     1279    | 114.8 MB/s 
   1b | 136 |     2560    |    1280     |   128   |      640    | 113.1 MB/s 
   2a | 137 |     2576    |    1288     |   128   |     1287    |  96.2 MB/s 
   2b | 137 |     2576    |    1288     |   128   |      644    | 112.5 MB/s 
   3a | 138 |     2592    |    1296     |   128   |     1295    | 113.6 MB/s 
   3b | 138 |     2592    |    1296     |   128   |      648    | 112.4 MB/s 
   4a | 139 |     2608    |    1304     |   128   |     1303    | 114.3 MB/s 
   4b | 139 |     2608    |    1304     |   128   |      652    | 113.2 MB/s 
   5a | 139 |     2624    |    1312     |   128   |     1311    | 114.6 MB/s 
   5b | 139 |     2624    |    1312     |   128   |      656    | 112.5 MB/s 
   6a | 140 |     2640    |    1320     |   128   |     1319    | 114.0 MB/s 
   6b | 140 |     2640    |    1320     |   128   |      660    | 113.1 MB/s 
   7a | 141 |     2656    |    1328     |   128   |     1327    | 113.3 MB/s 
   7b | 141 |     2656    |    1328     |   128   |      664    | 113.4 MB/s 
   8a | 142 |     2672    |    1336     |   128   |     1335    | 113.6 MB/s 
   8b | 142 |     2672    |    1336     |   128   |      668    | 114.5 MB/s 
   9a | 143 |     2688    |    1344     |   128   |     1343    | 112.8 MB/s 
   9b | 143 |     2688    |    1344     |   128   |      672    | 114.3 MB/s 
  10a | 144 |     2704    |    1352     |   128   |     1351    | 113.8 MB/s 
  10b | 144 |     2704    |    1352     |   128   |      676    | 114.2 MB/s 
  11a | 144 |     2720    |    1360     |   128   |     1359    | 114.4 MB/s 
  11b | 144 |     2720    |    1360     |   128   |      680    | 114.1 MB/s 
  12a | 145 |     2736    |    1368     |   128   |     1367    | 109.9 MB/s 
  12b | 145 |     2736    |    1368     |   128   |      684    | 114.9 MB/s 
  13a | 146 |     2752    |    1376     |   128   |     1375    | 113.6 MB/s 
  13b | 146 |     2752    |    1376     |   128   |      688    | 114.4 MB/s 
  14a | 147 |     2768    |    1384     |   128   |     1383    | 113.6 MB/s 
  14b | 147 |     2768    |    1384     |   128   |      692    | 113.2 MB/s 
  15a | 148 |     2784    |    1392     |   128   |     1391    | 113.0 MB/s 
  15b | 148 |     2784    |    1392     |   128   |      696    |  90.0 MB/s 
  16a | 149 |     2800    |    1400     |   128   |     1399    | 112.6 MB/s 
  16b | 149 |     2800    |    1400     |   128   |      700    | 113.0 MB/s 
  17a | 150 |     2816    |    1408     |   128   |     1407    | 114.4 MB/s 
  17b | 150 |     2816    |    1408     |   128   |      704    | 113.4 MB/s 
  18a | 150 |     2832    |    1416     |   128   |     1415    | 114.1 MB/s 
  18b | 150 |     2832    |    1416     |   128   |      708    | 112.4 MB/s 
  19a | 151 |     2848    |    1424     |   128   |     1423    | 114.9 MB/s 
  19b | 151 |     2848    |    1424     |   128   |      712    | 113.2 MB/s 
  20a | 152 |     2864    |    1432     |   128   |     1431    | 114.8 MB/s 
  20b | 152 |     2864    |    1432     |   128   |      716    | 113.0 MB/s 
  21a | 153 |     2880    |    1440     |   128   |     1439    | 114.9 MB/s 
  21b | 153 |     2880    |    1440     |   128   |      720    | 107.7 MB/s 
  22a | 154 |     2896    |    1448     |   128   |     1447    | 113.4 MB/s 
  22b | 154 |     2896    |    1448     |   128   |      724    | 112.2 MB/s 
  23a | 155 |     2912    |    1456     |   128   |     1455    | 114.3 MB/s 
  23b | 155 |     2912    |    1456     |   128   |      728    | 113.4 MB/s 
  24a | 156 |     2928    |    1464     |   128   |     1463    | 113.8 MB/s 
  24b | 156 |     2928    |    1464     |   128   |      732    | 113.5 MB/s 
  25a | 156 |     2944    |    1472     |   128   |     1471    | 114.8 MB/s 
  25b | 156 |     2944    |    1472     |   128   |      736    | 114.4 MB/s 
  26a | 157 |     2960    |    1480     |   128   |     1479    | 113.7 MB/s 
  26b | 157 |     2960    |    1480     |   128   |      740    | 114.1 MB/s 
  27a | 158 |     2976    |    1488     |   128   |     1487    | 114.3 MB/s 
  27b | 158 |     2976    |    1488     |   128   |      744    | 112.8 MB/s 
  28a | 159 |     2992    |    1496     |   128   |     1495    | 112.5 MB/s 
  28b | 159 |     2992    |    1496     |   128   |      748    | 109.9 MB/s 
  29a | 160 |     3008    |    1504     |   128   |     1503    | 102.4 MB/s 
  29b | 160 |     3008    |    1504     |   128   |      752    | 113.2 MB/s 
  30a | 161 |     3024    |    1512     |   128   |     1511    | 114.2 MB/s 
  30b | 161 |     3024    |    1512     |   128   |      756    | 100.6 MB/s 
  31a | 162 |     3040    |    1520     |   128   |     1519    | 113.7 MB/s 
  31b | 162 |     3040    |    1520     |   128   |      760    | 104.1 MB/s 
  32a | 162 |     3056    |    1528     |   128   |     1527    | 114.1 MB/s 
  32b | 162 |     3056    |    1528     |   128   |      764    | 113.2 MB/s 
  33a | 163 |     3072    |    1536     |   128   |     1535    | 114.1 MB/s 
  33b | 163 |     3072    |    1536     |   128   |      768    | 115.0 MB/s 

The results below do NOT include the Basline test of current values.

The Fastest Sync Speed tested was md_sync_window=1216 at 115.0 MB/s
     Tunable (md_num_stripes): 2432
     Tunable (md_sync_window): 1216
     Tunable (md_sync_thresh): 1215
     Tunable (nr_requests): 128
This will consume 129 MB with md_num_stripes=2432, 2x md_sync_window.
This is 198MB less than your current utilization of 327MB. n

The Thriftiest Sync Speed tested was md_sync_window=512 at 111.1 MB/s
     Tunable (md_num_stripes): 1024
     Tunable (md_sync_window): 512
     Tunable (md_sync_thresh): 511
     Tunable (nr_requests): 128
This will consume 54 MB with md_num_stripes=1024, 2x md_sync_window.
This is 273MB less than your current utilization of 327MB.

NOTE: Adding additional drives will increase memory consumption.

In unRAID, go to Settings > Disk Settings to set your chosen parameter values.

Completed: 1 Hrs 16 Min 38 Sec.


System Info:  Tower
              unRAID version 6.2.0-rc4
                  md_num_stripes=6144
                  md_sync_window=2768
                  md_sync_thresh=192
                  nr_requests=128 (Global Setting)
                  sbNumDisks=13
              CPU: 
              RAM: 

Outputting lshw information for Drives and Controllers:

Bus info          Device       Class      Description
=====================================================
pci@0000:01:00.0  scsi1        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@1:0.3.0      /dev/sdk     disk       2TB Hitachi HUA72302
scsi@1:0.4.0      /dev/sdl     disk       3TB Hitachi HUA72303
scsi@1:0.5.0      /dev/sdm     disk       3TB WL3000GSA6472E
scsi@1:0.6.0      /dev/sdn     disk       3TB WL3000GSA6472E
scsi@1:0.0.0      /dev/sdh     disk       3TB WL3000GSA6472
scsi@1:0.1.0      /dev/sdi     disk       1TB ST1000DM003-9YN1
scsi@1:0.2.0      /dev/sdj     disk       1500GB ST1500DM003-9YN1
pci@0000:00:11.0               storage    SB7x0/SB8x0/SB9x0 SATA Controller [AHCI mode]
pci@0000:04:00.0  scsi8        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@8:0.0.0      /dev/sdo     disk       3TB WL3000GSA6472E
scsi@8:0.1.0      /dev/sdp     disk       3TB WL3000GSA6472E
scsi@8:0.2.0      /dev/sdq     disk       3TB WL3000GSA6472E
usb@1:5           scsi0        storage    
scsi@0:0.0.0      /dev/sda     disk       4GB Cruzer
                  /dev/sda     disk       4GB 
                  scsi2        storage    
scsi@2:0.0.0      /dev/sdb     disk       3200GB WL3000GSA6472E
                  scsi3        storage    
scsi@3:0.0.0      /dev/sdc     disk       3TB ST3000DM001-1E61
                  scsi4        storage    
scsi@4:0.0.0      /dev/sdd     disk       256GB LITEONIT LCT-256
                  scsi5        storage    
scsi@5:0.0.0      /dev/sde     disk       1TB TOSHIBA MQ01ABD1
                  scsi6        storage    
scsi@6:0.0.0      /dev/sdf     disk       120GB KINGSTON SV300S3
                  scsi7        storage    
scsi@7:0.0.0      /dev/sdg     disk       256GB SAMSUNG SSD PM83

Array Devices:
    Disk0 sdb is a Parity drive named parity
    Disk1 sdc is a Data drive named disk1
    Disk2 sdi is a Data drive named disk2
    Disk3 sdn is a Data drive named disk3
    Disk4 sdh is a Data drive named disk4
    Disk5 sdl is a Data drive named disk5
    Disk6 sdk is a Data drive named disk6
    Disk7 sdj is a Data drive named disk7
    Disk8 sdo is a Data drive named disk8
    Disk9 sdp is a Data drive named disk9
    Disk10 sdq is a Data drive named disk10
    Disk11 sdm is a Data drive named disk11

Outputting free low memory information...

              total        used        free      shared  buff/cache   available
Mem:       16353140     6444848     8227220      528572     1681072     8753760
Low:       16353140     8125920     8227220
High:             0           0           0
Swap:             0           0           0


                      *** END OF REPORT ***

Pauven · August 24, 2016

Maybe because I'm running in a VM? I will run the full test overnight.

root@nas:/boot# lshw -quiet -businfo -c processor -c memory
Bus info          Device       Class      Description
=====================================================
                               memory     89KiB BIOS
cpu@0                          processor  Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
                               memory     16KiB L1 cache
cpu@1                          processor  Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
                               memory     16KiB L1 cache
cpu@2                          processor  CPU
                               memory     16KiB L1 cache
cpu@3                          processor  CPU
                               memory     16KiB L1 cache
cpu@4                          processor  CPU
                               memory     16KiB L1 cache
cpu@5                          processor  CPU
                               memory     16KiB L1 cache
cpu@6                          processor  CPU
                               memory     16KiB L1 cache
cpu@7                          processor  CPU
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               processor  CPU [empty]
                               memory     16KiB L1 cache
                               memory     32GiB System Memory
                               memory     16GiB DIMM DRAM EDO
                               memory     16GiB DIMM DRAM EDO
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]
                               memory     DIMM DRAM [empty]

Yikes. Well, that was unexpected. Not sure why CPU was missing, you had plenty of values to choose from. Perhaps my code couldn't make a decision...

The memory line I was looking for is in there. Wonder why it didn't use it? Maybe a spacing issue... EDIT, yes it is a spacing issue. I was expecting 9 spaces between the word memory and the beginning of the actual value, there were only 5. Teach me a lesson for hard coding values.

 memory     32GiB System Memory

Pauven · August 24, 2016

My short test is done, Have power issues to 2 of my cages so will run it again once I replace the power connections for them

unRAID Tunables Tester v4.0b by Pauven (for unRAID v6.2)

        Tunables Report produced Wed Aug 24 15:39:16 EDT 2016

                         Run on server: Tower

                   Short Automatic Parity Sync Test


NOTE: Use the smallest set of values that produce good results. Larger values
      increase server memory use, and may cause stability issues with unRAID,
      especially if you have any add-ons or plug-ins installed.


Current Values:  md_num_stripes=6144, md_sync_window=2768, md_sync_thresh=192
                 Global nr_requests=128
                    sdb nr_requests=128
                    sdc nr_requests=128
                    sdi nr_requests=128
                    sdn nr_requests=128
                    sdh nr_requests=128
                    sdl nr_requests=128
                    sdk nr_requests=128
                    sdj nr_requests=128
                    sdo nr_requests=128
                    sdp nr_requests=128
                    sdq nr_requests=128
                    sdm nr_requests=128


--- INITIAL BASELINE TEST OF CURRENT VALUES (1 Sample Point @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1  | 327 |     6144    |    2768     |   128   |      192    |  96.0 MB/s 


--- FULLY AUTOMATIC nr_requests TEST 1 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |     1536    |     768     |     128     |      767    |  98.4 MB/s 
  2   |     1536    |     768     |     128     |      384    |  98.8 MB/s 
  3   |     1536    |     768     |       8     |      767    | 101.4 MB/s 
  4   |     1536    |     768     |       8     |      384    | 101.5 MB/s 

Fastest vals were nr_reqs=8 and sync_thresh=50% of sync_window at 101.5 MB/s

This nr_requests value will be used for the next test.


--- FULLY AUTOMATIC TEST PASS 1a (Rough - 13 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a |  40 |      768    |     384     |     8   |      383    |  94.1 MB/s 
   1b |  40 |      768    |     384     |     8   |      192    | 108.1 MB/s 
   2a |  47 |      896    |     448     |     8   |      447    | 108.5 MB/s 
   2b |  47 |      896    |     448     |     8   |      224    | 109.6 MB/s 
   3a |  54 |     1024    |     512     |     8   |      511    | 111.1 MB/s 
   3b |  54 |     1024    |     512     |     8   |      256    | 110.8 MB/s 
   4a |  61 |     1152    |     576     |     8   |      575    | 112.1 MB/s 
   4b |  61 |     1152    |     576     |     8   |      288    | 112.7 MB/s 
   5a |  68 |     1280    |     640     |     8   |      639    | 112.9 MB/s 
   5b |  68 |     1280    |     640     |     8   |      320    | 110.9 MB/s 
   6a |  75 |     1408    |     704     |     8   |      703    | 113.9 MB/s 
   6b |  75 |     1408    |     704     |     8   |      352    | 112.3 MB/s 
   7a |  81 |     1536    |     768     |     8   |      767    | 114.8 MB/s 
   7b |  81 |     1536    |     768     |     8   |      384    | 113.0 MB/s 
   8a |  88 |     1664    |     832     |     8   |      831    | 112.7 MB/s 
   8b |  88 |     1664    |     832     |     8   |      416    |  85.8 MB/s 
   9a |  95 |     1792    |     896     |     8   |      895    | 113.3 MB/s 
   9b |  95 |     1792    |     896     |     8   |      448    |  88.1 MB/s 
  10a | 102 |     1920    |     960     |     8   |      959    |  94.6 MB/s 
  10b | 102 |     1920    |     960     |     8   |      480    | 102.6 MB/s 
  11a | 109 |     2048    |    1024     |     8   |     1023    | 108.3 MB/s 
  11b | 109 |     2048    |    1024     |     8   |      512    | 112.7 MB/s 
  12a | 115 |     2176    |    1088     |     8   |     1087    | 108.4 MB/s 
  12b | 115 |     2176    |    1088     |     8   |      544    | 113.0 MB/s 
  13a | 122 |     2304    |    1152     |     8   |     1151    | 113.8 MB/s 
  13b | 122 |     2304    |    1152     |     8   |      576    |  96.8 MB/s 
--- FULLY AUTOMATIC TEST PASS 1c (Rough - 18 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a | 129 |     2432    |    1216     |     8   |     1215    | 115.0 MB/s 
   1b | 129 |     2432    |    1216     |     8   |      608    |  98.0 MB/s 
   2a | 136 |     2560    |    1280     |     8   |     1279    | 112.1 MB/s 
   2b | 136 |     2560    |    1280     |     8   |      640    | 104.3 MB/s 
   3a | 143 |     2688    |    1344     |     8   |     1343    | 114.9 MB/s 
   3b | 143 |     2688    |    1344     |     8   |      672    | 112.3 MB/s 
   4a | 150 |     2816    |    1408     |     8   |     1407    | 111.2 MB/s 
   4b | 150 |     2816    |    1408     |     8   |      704    | 115.3 MB/s 
   5a | 156 |     2944    |    1472     |     8   |     1471    | 114.4 MB/s 
   5b | 156 |     2944    |    1472     |     8   |      736    | 103.0 MB/s 
   6a | 163 |     3072    |    1536     |     8   |     1535    | 113.3 MB/s 
   6b | 163 |     3072    |    1536     |     8   |      768    | 113.7 MB/s 
   7a | 170 |     3200    |    1600     |     8   |     1599    | 112.3 MB/s 
   7b | 170 |     3200    |    1600     |     8   |      800    | 112.4 MB/s 
   8a | 177 |     3328    |    1664     |     8   |     1663    | 113.2 MB/s 
   8b | 177 |     3328    |    1664     |     8   |      832    | 111.9 MB/s 
   9a | 184 |     3456    |    1728     |     8   |     1727    | 112.3 MB/s 
   9b | 184 |     3456    |    1728     |     8   |      864    | 115.0 MB/s 
  10a | 191 |     3584    |    1792     |     8   |     1791    | 113.5 MB/s 
  10b | 191 |     3584    |    1792     |     8   |      896    |  95.1 MB/s 
  11a | 197 |     3712    |    1856     |     8   |     1855    | 114.3 MB/s 
  11b | 197 |     3712    |    1856     |     8   |      928    | 111.6 MB/s 
  12a | 204 |     3840    |    1920     |     8   |     1919    | 112.1 MB/s 
  12b | 204 |     3840    |    1920     |     8   |      960    | 113.5 MB/s 
  13a | 211 |     3968    |    1984     |     8   |     1983    | 113.8 MB/s 
  13b | 211 |     3968    |    1984     |     8   |      992    | 107.3 MB/s 
  14a | 218 |     4096    |    2048     |     8   |     2047    | 106.3 MB/s 
  14b | 218 |     4096    |    2048     |     8   |     1024    | 114.6 MB/s 
  15a | 225 |     4224    |    2112     |     8   |     2111    | 112.6 MB/s 
  15b | 225 |     4224    |    2112     |     8   |     1056    | 112.5 MB/s 
  16a | 231 |     4352    |    2176     |     8   |     2175    | 113.6 MB/s 
  16b | 231 |     4352    |    2176     |     8   |     1088    | 113.8 MB/s 
  17a | 238 |     4480    |    2240     |     8   |     2239    | 112.1 MB/s 
  17b | 238 |     4480    |    2240     |     8   |     1120    | 114.4 MB/s 
  18a | 245 |     4608    |    2304     |     8   |     2303    | 113.3 MB/s 
  18b | 245 |     4608    |    2304     |     8   |     1152    | 114.6 MB/s 

--- Targeting Fastest Result of md_sync_window 1408 bytes for Final Pass ---


--- FULLY AUTOMATIC nr_requests TEST 2 (4 Sample Points @ 60sec Duration)---

Test | num_stripes | sync_window | nr_requests | sync_thresh |   Speed 
---------------------------------------------------------------------------
  1   |     2816    |    1408     |     128     |     1407    | 113.8 MB/s 
  2   |     2816    |    1408     |     128     |      704    | 103.1 MB/s 
  3   |     2816    |    1408     |       8     |     1407    | 108.0 MB/s 
  4   |     2816    |    1408     |       8     |      704    | 112.7 MB/s 

Fastest vals were nr_reqs=128 and sync_thresh=99% of sync_window at 113.8 MB/s

This nr_requests value will be used for the next test.



--- FULLY AUTOMATIC TEST PASS 2 (Fine - 33 Sample Points @ 30sec Duration)---

Test | RAM | num_stripes | sync_window | nr_reqs | sync_thresh |   Speed 
-----------------------------------------------------------------------------
   1a | 136 |     2560    |    1280     |   128   |     1279    | 114.8 MB/s 
   1b | 136 |     2560    |    1280     |   128   |      640    | 113.1 MB/s 
   2a | 137 |     2576    |    1288     |   128   |     1287    |  96.2 MB/s 
   2b | 137 |     2576    |    1288     |   128   |      644    | 112.5 MB/s 
   3a | 138 |     2592    |    1296     |   128   |     1295    | 113.6 MB/s 
   3b | 138 |     2592    |    1296     |   128   |      648    | 112.4 MB/s 
   4a | 139 |     2608    |    1304     |   128   |     1303    | 114.3 MB/s 
   4b | 139 |     2608    |    1304     |   128   |      652    | 113.2 MB/s 
   5a | 139 |     2624    |    1312     |   128   |     1311    | 114.6 MB/s 
   5b | 139 |     2624    |    1312     |   128   |      656    | 112.5 MB/s 
   6a | 140 |     2640    |    1320     |   128   |     1319    | 114.0 MB/s 
   6b | 140 |     2640    |    1320     |   128   |      660    | 113.1 MB/s 
   7a | 141 |     2656    |    1328     |   128   |     1327    | 113.3 MB/s 
   7b | 141 |     2656    |    1328     |   128   |      664    | 113.4 MB/s 
   8a | 142 |     2672    |    1336     |   128   |     1335    | 113.6 MB/s 
   8b | 142 |     2672    |    1336     |   128   |      668    | 114.5 MB/s 
   9a | 143 |     2688    |    1344     |   128   |     1343    | 112.8 MB/s 
   9b | 143 |     2688    |    1344     |   128   |      672    | 114.3 MB/s 
  10a | 144 |     2704    |    1352     |   128   |     1351    | 113.8 MB/s 
  10b | 144 |     2704    |    1352     |   128   |      676    | 114.2 MB/s 
  11a | 144 |     2720    |    1360     |   128   |     1359    | 114.4 MB/s 
  11b | 144 |     2720    |    1360     |   128   |      680    | 114.1 MB/s 
  12a | 145 |     2736    |    1368     |   128   |     1367    | 109.9 MB/s 
  12b | 145 |     2736    |    1368     |   128   |      684    | 114.9 MB/s 
  13a | 146 |     2752    |    1376     |   128   |     1375    | 113.6 MB/s 
  13b | 146 |     2752    |    1376     |   128   |      688    | 114.4 MB/s 
  14a | 147 |     2768    |    1384     |   128   |     1383    | 113.6 MB/s 
  14b | 147 |     2768    |    1384     |   128   |      692    | 113.2 MB/s 
  15a | 148 |     2784    |    1392     |   128   |     1391    | 113.0 MB/s 
  15b | 148 |     2784    |    1392     |   128   |      696    |  90.0 MB/s 
  16a | 149 |     2800    |    1400     |   128   |     1399    | 112.6 MB/s 
  16b | 149 |     2800    |    1400     |   128   |      700    | 113.0 MB/s 
  17a | 150 |     2816    |    1408     |   128   |     1407    | 114.4 MB/s 
  17b | 150 |     2816    |    1408     |   128   |      704    | 113.4 MB/s 
  18a | 150 |     2832    |    1416     |   128   |     1415    | 114.1 MB/s 
  18b | 150 |     2832    |    1416     |   128   |      708    | 112.4 MB/s 
  19a | 151 |     2848    |    1424     |   128   |     1423    | 114.9 MB/s 
  19b | 151 |     2848    |    1424     |   128   |      712    | 113.2 MB/s 
  20a | 152 |     2864    |    1432     |   128   |     1431    | 114.8 MB/s 
  20b | 152 |     2864    |    1432     |   128   |      716    | 113.0 MB/s 
  21a | 153 |     2880    |    1440     |   128   |     1439    | 114.9 MB/s 
  21b | 153 |     2880    |    1440     |   128   |      720    | 107.7 MB/s 
  22a | 154 |     2896    |    1448     |   128   |     1447    | 113.4 MB/s 
  22b | 154 |     2896    |    1448     |   128   |      724    | 112.2 MB/s 
  23a | 155 |     2912    |    1456     |   128   |     1455    | 114.3 MB/s 
  23b | 155 |     2912    |    1456     |   128   |      728    | 113.4 MB/s 
  24a | 156 |     2928    |    1464     |   128   |     1463    | 113.8 MB/s 
  24b | 156 |     2928    |    1464     |   128   |      732    | 113.5 MB/s 
  25a | 156 |     2944    |    1472     |   128   |     1471    | 114.8 MB/s 
  25b | 156 |     2944    |    1472     |   128   |      736    | 114.4 MB/s 
  26a | 157 |     2960    |    1480     |   128   |     1479    | 113.7 MB/s 
  26b | 157 |     2960    |    1480     |   128   |      740    | 114.1 MB/s 
  27a | 158 |     2976    |    1488     |   128   |     1487    | 114.3 MB/s 
  27b | 158 |     2976    |    1488     |   128   |      744    | 112.8 MB/s 
  28a | 159 |     2992    |    1496     |   128   |     1495    | 112.5 MB/s 
  28b | 159 |     2992    |    1496     |   128   |      748    | 109.9 MB/s 
  29a | 160 |     3008    |    1504     |   128   |     1503    | 102.4 MB/s 
  29b | 160 |     3008    |    1504     |   128   |      752    | 113.2 MB/s 
  30a | 161 |     3024    |    1512     |   128   |     1511    | 114.2 MB/s 
  30b | 161 |     3024    |    1512     |   128   |      756    | 100.6 MB/s 
  31a | 162 |     3040    |    1520     |   128   |     1519    | 113.7 MB/s 
  31b | 162 |     3040    |    1520     |   128   |      760    | 104.1 MB/s 
  32a | 162 |     3056    |    1528     |   128   |     1527    | 114.1 MB/s 
  32b | 162 |     3056    |    1528     |   128   |      764    | 113.2 MB/s 
  33a | 163 |     3072    |    1536     |   128   |     1535    | 114.1 MB/s 
  33b | 163 |     3072    |    1536     |   128   |      768    | 115.0 MB/s 

The results below do NOT include the Basline test of current values.

The Fastest Sync Speed tested was md_sync_window=1216 at 115.0 MB/s
     Tunable (md_num_stripes): 2432
     Tunable (md_sync_window): 1216
     Tunable (md_sync_thresh): 1215
     Tunable (nr_requests): 128
This will consume 129 MB with md_num_stripes=2432, 2x md_sync_window.
This is 198MB less than your current utilization of 327MB. n

The Thriftiest Sync Speed tested was md_sync_window=512 at 111.1 MB/s
     Tunable (md_num_stripes): 1024
     Tunable (md_sync_window): 512
     Tunable (md_sync_thresh): 511
     Tunable (nr_requests): 128
This will consume 54 MB with md_num_stripes=1024, 2x md_sync_window.
This is 273MB less than your current utilization of 327MB.

NOTE: Adding additional drives will increase memory consumption.

In unRAID, go to Settings > Disk Settings to set your chosen parameter values.

Completed: 1 Hrs 16 Min 38 Sec.


System Info:  Tower
              unRAID version 6.2.0-rc4
                  md_num_stripes=6144
                  md_sync_window=2768
                  md_sync_thresh=192
                  nr_requests=128 (Global Setting)
                  sbNumDisks=13
              CPU: 
              RAM: 

Outputting lshw information for Drives and Controllers:

Bus info          Device       Class      Description
=====================================================
pci@0000:01:00.0  scsi1        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@1:0.3.0      /dev/sdk     disk       2TB Hitachi HUA72302
scsi@1:0.4.0      /dev/sdl     disk       3TB Hitachi HUA72303
scsi@1:0.5.0      /dev/sdm     disk       3TB WL3000GSA6472E
scsi@1:0.6.0      /dev/sdn     disk       3TB WL3000GSA6472E
scsi@1:0.0.0      /dev/sdh     disk       3TB WL3000GSA6472
scsi@1:0.1.0      /dev/sdi     disk       1TB ST1000DM003-9YN1
scsi@1:0.2.0      /dev/sdj     disk       1500GB ST1500DM003-9YN1
pci@0000:00:11.0               storage    SB7x0/SB8x0/SB9x0 SATA Controller [AHCI mode]
pci@0000:04:00.0  scsi8        storage    SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon]
scsi@8:0.0.0      /dev/sdo     disk       3TB WL3000GSA6472E
scsi@8:0.1.0      /dev/sdp     disk       3TB WL3000GSA6472E
scsi@8:0.2.0      /dev/sdq     disk       3TB WL3000GSA6472E
usb@1:5           scsi0        storage    
scsi@0:0.0.0      /dev/sda     disk       4GB Cruzer
                  /dev/sda     disk       4GB 
                  scsi2        storage    
scsi@2:0.0.0      /dev/sdb     disk       3200GB WL3000GSA6472E
                  scsi3        storage    
scsi@3:0.0.0      /dev/sdc     disk       3TB ST3000DM001-1E61
                  scsi4        storage    
scsi@4:0.0.0      /dev/sdd     disk       256GB LITEONIT LCT-256
                  scsi5        storage    
scsi@5:0.0.0      /dev/sde     disk       1TB TOSHIBA MQ01ABD1
                  scsi6        storage    
scsi@6:0.0.0      /dev/sdf     disk       120GB KINGSTON SV300S3
                  scsi7        storage    
scsi@7:0.0.0      /dev/sdg     disk       256GB SAMSUNG SSD PM83

Array Devices:
    Disk0 sdb is a Parity drive named parity
    Disk1 sdc is a Data drive named disk1
    Disk2 sdi is a Data drive named disk2
    Disk3 sdn is a Data drive named disk3
    Disk4 sdh is a Data drive named disk4
    Disk5 sdl is a Data drive named disk5
    Disk6 sdk is a Data drive named disk6
    Disk7 sdj is a Data drive named disk7
    Disk8 sdo is a Data drive named disk8
    Disk9 sdp is a Data drive named disk9
    Disk10 sdq is a Data drive named disk10
    Disk11 sdm is a Data drive named disk11

Outputting free low memory information...

              total        used        free      shared  buff/cache   available
Mem:       16353140     6444848     8227220      528572     1681072     8753760
Low:       16353140     8125920     8227220
High:             0           0           0
Swap:             0           0           0


                      *** END OF REPORT ***

Wow, that's a surprising amount of consistency for an Auto Short test. The nr_requests test is very telling, I think your server likes 8 better than 128, but need a Normal length test to be sure. I think this script is going to do wonders for your server.

And of course your output is also missing the CPU/RAM values. I guess that makes my server the oddball.

Thanks!!!

JorgeB · August 24, 2016

Wow, that's a surprising amount of consistency for an Auto Short test. The nr_requests test is very telling, I think your server likes 8 better than 128, but need a Normal length test to be sure. I think this script is going to do wonders for your server.

I noticed this with the previous script, LSI controllers seem to benefit little from tuning, results are usually very constant, Marvell based controllers, especially the SAS2LP (and others using the same chipset) can have very different speeds with tunable changes.

Pauven · August 24, 2016

Its been a long time since I dove into this topic so I might be missing the obvious. Looking at that chart I have to ask;

Are we looking at diminishing returns here? I'm wondering if memory usage and/or operational reads during the parity check are being impacted negatively from using higher values than needed? The curve seems to level out around 1920. From the variance in data I wonder if a practical value that would be 1920 where it appears you will get the same performance for the lowest value.

Absolutely, you're spot on regarding diminishing returns. That's why in my script I'm checking for the "Thriftiest" value, which is the lowest md_sync_window that returns at least 95% of maximum tested speed. (yes, I know that's an arbitrary threshold, but gotta draw the line somewhere, right?)

From the same test run that produced those charts, here's what my script reported:

The Fastest Sync Speed tested was md_sync_window=3392 at 131.6 MB/s
     Tunable (md_num_stripes): 6784
     Tunable (md_sync_window): 3392
     Tunable (md_sync_thresh): 3391
     Tunable (nr_requests): 8
This will consume 547 MB with md_num_stripes=6784, 2x md_sync_window.
This is 157MB more than your current utilization of 390MB.
NOTE: Adding additional drives will increase memory consumption.

The Thriftiest Sync Speed tested was md_sync_window=832 at 126.2 MB/s
     Tunable (md_num_stripes): 1664
     Tunable (md_sync_window): 832
     Tunable (md_sync_thresh): 831
     Tunable (nr_requests): 8
This will consume 134 MB with md_num_stripes=1664, 2x md_sync_window.

The "Thriftiest" value (832) was significantly lower than the value you chose (1920), and saves a ton of memory.

It might be that 95% is too low of a threshold for the Thriftiest value. The value you chose is 99.6% of the maximum speed observed.

Or maybe I need to change my algorithm to report the leading edge of the peak, instead of the absolute peak. I could look for the lowest value that gives 99%+ of peak observed speed, which would have returned 1408, or 99.5% which would give 1856.

I still like to test for and report absolute maximums, but your absolutely right about using a lot of memory for very little gain.

-Paul

Pauven · August 24, 2016

UTTv4b Testers, there is an updated beta ready for download, v4 Beta 2. Same download location, but now has 4b2 in the name.

Changes:

Fixed the CPU/RAM output
Fixed some cosmetic spacing issues
Added a new "Recommended" Sync Window value

It's all minor cosmetic stuff, no need to abort a currently running test just for this. Just use this version before you start your next test.

The new Recommend is the lowest md_sync_window value that returns 99.5% of peak speed. Should help find that leading edge of the peak while reducing memory.

Thanks to jumperalex for suggesting it.

-Paul

Pauven · August 24, 2016

I will give it a go.

unRAID version? Your signature says 6.0.

6.2-RC4

And your signature still says 6.0

That's a graphic. Im not going to update it every version.

You could accomplish most of that in bbcode, or if not, maybe next time you do update the graphic you could just remove the version completely and display it separately since versions change pretty frequently around here.

I had had to comment, how times have changed! Remember when we went years without a version change...

jumperalex · August 24, 2016

Its been a long time since I dove into this topic so I might be missing the obvious. Looking at that chart I have to ask;

Are we looking at diminishing returns here? I'm wondering if memory usage and/or operational reads during the parity check are being impacted negatively from using higher values than needed? The curve seems to level out around 1920. From the variance in data I wonder if a practical value that would be 1920 where it appears you will get the same performance for the lowest value.

Absolutely, you're spot on regarding diminishing returns. That's why in my script I'm checking for the "Thriftiest" value, which is the lowest md_sync_window that returns at least 95% of maximum tested speed. (yes, I know that's an arbitrary threshold, but gotta draw the line somewhere, right?)

From the same test run that produced those charts, here's what my script reported:
The Fastest Sync Speed tested was md_sync_window=3392 at 131.6 MB/s
     Tunable (md_num_stripes): 6784
     Tunable (md_sync_window): 3392
     Tunable (md_sync_thresh): 3391
     Tunable (nr_requests): 8
This will consume 547 MB with md_num_stripes=6784, 2x md_sync_window.
This is 157MB more than your current utilization of 390MB.
NOTE: Adding additional drives will increase memory consumption.

The Thriftiest Sync Speed tested was md_sync_window=832 at 126.2 MB/s
     Tunable (md_num_stripes): 1664
     Tunable (md_sync_window): 832
     Tunable (md_sync_thresh): 831
     Tunable (nr_requests): 8
This will consume 134 MB with md_num_stripes=1664, 2x md_sync_window.
The "Thriftiest" value (832) was significantly lower than the value you chose (1920), and saves a ton of memory.

It might be that 95% is too low of a threshold for the Thriftiest value. The value you chose is 99.6% of the maximum speed observed.

Or maybe I need to change my algorithm to report the leading edge of the peak, instead of the absolute peak. I could look for the lowest value that gives 99%+ of peak observed speed, which would have returned 1408, or 99.5% which would give 1856.

I still like to test for and report absolute maximums, but your absolutely right about using a lot of memory for very little gain.

-Paul

yup, I'm out of the loop 95%, 99.6%, 98% ... I guess the questing is what IS the real impact of all that memory usage? Because if it doesn't really matter, 99% seems good. If it does, then 95% seems like the place to draw the line. Either way, awesome work.

unraid-tunables-tester.sh - A New Utility to Optimize unRAID md_* Tunables

Recommended Posts

Link to comment

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Pauven

Pauven

Pauven

Posted Images

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Link to comment

Join the conversation