Pool startet nicht in __btrfs_free_extent:3069: errno=-28 No space left unraid

[stubennatter]

Hallo,

 

habe auf meinem Server mehrere Pools mit mehreren Disks.

Ein Pool möchte nun nicht mehr starten (besteht aus 7 Disks)

Fehlermeledung:

in __btrfs_free_extent:3069: errno=-28 No space left unraid

und mountet damit natürlich die Disks nicht. Daher auch kein Balancing ect möglich.

Habe dann eine weitere gleichgroße Disk hinzugefügt, dachte damit hab ich vielleicht die Chance neuen Platz zu schaffen, aber das hilft nicht.

Anleitungen wegen mounten und Dateien frei machen funktionieren ja nicht, weil er ja nicht mounten kann.

 

Aug 16 12:01:48 ServerStation2 emhttpd: shcmd (533): mkdir -p /mnt/pool3
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 uuid: 6b415645-c046-44a8-b959-649ff035e10d
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 Label: none  uuid: 6b415645-c046-44a8-b959-649ff035e10d
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 Total devices 7 FS bytes used 114.25TiB
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    1 size 16.37TiB used 16.37TiB path /dev/sdal1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    2 size 16.37TiB used 16.37TiB path /dev/sdak1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    3 size 16.37TiB used 16.37TiB path /dev/sdaj1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    4 size 16.37TiB used 16.37TiB path /dev/sdai1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    5 size 16.37TiB used 16.37TiB path /dev/sdah1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    6 size 16.37TiB used 16.37TiB path /dev/sdag1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 devid    7 size 16.37TiB used 16.28TiB path /dev/sdk1
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 found: 8
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 extra: 0
Aug 16 12:01:48 ServerStation2 emhttpd: /mnt/pool3 missing: 0
Aug 16 12:01:48 ServerStation2 emhttpd: shcmd (534): mount -t btrfs -o noatime,space_cache=v2,discard=async -U 6b415645-c046-44a8-b959-649ff035e10d /mnt/pool3
Aug 16 12:01:48 ServerStation2 kernel: BTRFS info (device sdal1): flagging fs with big metadata feature
Aug 16 12:01:48 ServerStation2 kernel: BTRFS info (device sdal1): turning on async discard
Aug 16 12:01:48 ServerStation2 kernel: BTRFS info (device sdal1): using free space tree
Aug 16 12:01:48 ServerStation2 kernel: BTRFS info (device sdal1): has skinny extents
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdal1 errs: wr 0, rd 5121, flush 0, corrupt 146, gen 0
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdak1 errs: wr 8, rd 7140, flush 0, corrupt 172, gen 0
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdaj1 errs: wr 2, rd 4804, flush 0, corrupt 123, gen 0
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdai1 errs: wr 183, rd 9544, flush 0, corrupt 208, gen 0
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdah1 errs: wr 16, rd 2213, flush 0, corrupt 137, gen 0
Aug 16 12:01:52 ServerStation2 kernel: BTRFS info (device sdal1): bdev /dev/sdag1 errs: wr 5, rd 11264, flush 0, corrupt 201, gen 0
Aug 16 12:02:17 ServerStation2 nginx: 2022/08/16 12:02:17 [error] 7982#7982: *19117 upstream timed out (110: Connection timed out) while reading upstream, client: 192.168.178.232, server: , request: "POST /update.htm HTTP/1.1", upstream: "http://unix:/var/run/emhttpd.socket:/update.htm", host: "192.168.178.3", referrer: "http://192.168.178.3/Main"
Aug 16 12:02:20 ServerStation2 kernel: BTRFS info (device sdal1): cleaning free space cache v1
Aug 16 12:02:38 ServerStation2 kernel: ------------[ cut here ]------------
Aug 16 12:02:38 ServerStation2 kernel: BTRFS: Transaction aborted (error -28)
Aug 16 12:02:38 ServerStation2 kernel: WARNING: CPU: 9 PID: 2008 at fs/btrfs/extent-tree.c:3069 __btrfs_free_extent+0x266/0xa8d
Aug 16 12:02:38 ServerStation2 kernel: Modules linked in: xt_CHECKSUM ipt_REJECT nf_reject_ipv4 ip6table_mangle ip6table_nat iptable_mangle xt_nat xt_tcpudp veth xt_conntrack xt_MASQUERADE nf_conntrack_netlink nfnetlink xt_addrtype iptable_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 br_netfilter nfsd auth_rpcgss oid_registry lockd grace sunrpc md_mod ipmi_devintf ip6table_filter ip6_tables iptable_filter ip_tables x_tables bonding i40e igb amd64_edac edac_mce_amd ast drm_vram_helper drm_ttm_helper ttm drm_kms_helper drm mpt3sas crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel backlight aesni_intel ipmi_ssif agpgart syscopyarea crypto_simd cryptd rapl sysfillrect sysimgblt raid_class input_leds nvme fb_sys_fops ahci scsi_transport_sas led_class i2c_piix4 i2c_algo_bit libahci nvme_core i2c_core k10temp acpi_ipmi ipmi_si acpi_cpufreq button [last unloaded: tun]
Aug 16 12:02:38 ServerStation2 kernel: CPU: 9 PID: 2008 Comm: mount Tainted: G        W         5.15.46-Unraid #1
Aug 16 12:02:38 ServerStation2 kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./ROMED6U-2L2T, BIOS P1.10 03/12/2021
Aug 16 12:02:38 ServerStation2 kernel: RIP: 0010:__btrfs_free_extent+0x266/0xa8d
Aug 16 12:02:38 ServerStation2 kernel: Code: 45 58 48 8d b8 50 0a 00 00 e8 45 cc ff ff 84 c0 75 1a 83 fb fb 74 15 83 fb e2 74 10 89 de 48 c7 c7 b9 d4 0e 82 e8 11 c9 51 00 <0f> 0b 89 d9 ba fd 0b 00 00 e9 a1 05 00 00 31 db 41 bf 01 00 00 00
Aug 16 12:02:38 ServerStation2 kernel: RSP: 0018:ffffc900209178a8 EFLAGS: 00010286
Aug 16 12:02:38 ServerStation2 kernel: RAX: 0000000000000000 RBX: 00000000ffffffe4 RCX: 0000000000000027
Aug 16 12:02:38 ServerStation2 kernel: RDX: 0000000000000003 RSI: ffffc90020917730 RDI: ffff88bf4e65c510
Aug 16 12:02:38 ServerStation2 kernel: RBP: ffff8881ffa0d000 R08: ffff88c04f14c7a8 R09: ffffffff8284e288
Aug 16 12:02:38 ServerStation2 kernel: R10: 00001fffffffffff R11: 00000000322d2072 R12: ffff88811aee00e0
Aug 16 12:02:38 ServerStation2 kernel: R13: 0000000000000000 R14: ffff88811958e000 R15: 0000000000000001
Aug 16 12:02:38 ServerStation2 kernel: FS:  000014a11d764540(0000) GS:ffff88bf4e640000(0000) knlGS:0000000000000000
Aug 16 12:02:38 ServerStation2 kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Aug 16 12:02:38 ServerStation2 kernel: CR2: 000014a8a9ae7758 CR3: 0000000510078000 CR4: 0000000000350ee0
Aug 16 12:02:38 ServerStation2 kernel: Call Trace:
Aug 16 12:02:38 ServerStation2 kernel: <TASK>
Aug 16 12:02:38 ServerStation2 kernel: ? slab_post_alloc_hook+0x10e/0x157
Aug 16 12:02:38 ServerStation2 kernel: ? btrfs_merge_delayed_refs+0x68/0x159
Aug 16 12:02:38 ServerStation2 kernel: __btrfs_run_delayed_refs+0x6ca/0xb60
Aug 16 12:02:38 ServerStation2 kernel: btrfs_run_delayed_refs+0x58/0x129
Aug 16 12:02:38 ServerStation2 kernel: btrfs_start_dirty_block_groups+0x2ee/0x3a7
Aug 16 12:02:38 ServerStation2 kernel: btrfs_commit_transaction+0xb2/0xa08
Aug 16 12:02:38 ServerStation2 kernel: ? btrfs_remove_free_space_inode+0x14e/0x173
Aug 16 12:02:38 ServerStation2 kernel: btrfs_set_free_space_cache_v1_active+0x86/0xf1
Aug 16 12:02:38 ServerStation2 kernel: btrfs_start_pre_rw_mount+0x18c/0x1fd
Aug 16 12:02:38 ServerStation2 kernel: open_ctree+0x1432/0x165b
Aug 16 12:02:38 ServerStation2 kernel: btrfs_mount_root+0x312/0x3ef
Aug 16 12:02:38 ServerStation2 kernel: legacy_get_tree+0x27/0x40
Aug 16 12:02:38 ServerStation2 kernel: vfs_get_tree+0x1e/0x8b
Aug 16 12:02:38 ServerStation2 kernel: fc_mount+0xe/0x30
Aug 16 12:02:38 ServerStation2 kernel: vfs_kern_mount.part.0+0x3d/0x7b
Aug 16 12:02:38 ServerStation2 kernel: btrfs_mount+0x14c/0x40d
Aug 16 12:02:38 ServerStation2 kernel: ? legacy_parse_param+0x27/0x1c7
Aug 16 12:02:38 ServerStation2 kernel: ? legacy_get_tree+0x27/0x40
Aug 16 12:02:38 ServerStation2 kernel: legacy_get_tree+0x27/0x40
Aug 16 12:02:38 ServerStation2 kernel: vfs_get_tree+0x1e/0x8b
Aug 16 12:02:38 ServerStation2 kernel: path_mount+0x63e/0x719
Aug 16 12:02:38 ServerStation2 kernel: do_mount+0x5c/0x89
Aug 16 12:02:38 ServerStation2 kernel: __do_sys_mount+0xff/0x127
Aug 16 12:02:38 ServerStation2 kernel: do_syscall_64+0x83/0xa5
Aug 16 12:02:38 ServerStation2 kernel: entry_SYSCALL_64_after_hwframe+0x44/0xae
Aug 16 12:02:38 ServerStation2 kernel: RIP: 0033:0x14a11d8922aa
Aug 16 12:02:38 ServerStation2 kernel: Code: 48 8b 0d c1 7b 0c 00 f7 d8 64 89 01 48 83 c8 ff c3 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 49 89 ca b8 a5 00 00 00 0f 05 <48> 3d 01 f0 ff ff 73 01 c3 48 8b 0d 8e 7b 0c 00 f7 d8 64 89 01 48
Aug 16 12:02:38 ServerStation2 kernel: RSP: 002b:00007fff0ae48378 EFLAGS: 00000206 ORIG_RAX: 00000000000000a5
Aug 16 12:02:38 ServerStation2 kernel: RAX: ffffffffffffffda RBX: 000014a11da1df64 RCX: 000014a11d8922aa
Aug 16 12:02:38 ServerStation2 kernel: RDX: 000000000040f5b0 RSI: 000000000040f7b0 RDI: 000000000040f830
Aug 16 12:02:38 ServerStation2 kernel: RBP: 000000000040f380 R08: 000000000040f620 R09: 00000000004106c0
Aug 16 12:02:38 ServerStation2 kernel: R10: 0000000000000400 R11: 0000000000000206 R12: 0000000000000000
Aug 16 12:02:38 ServerStation2 kernel: R13: 000000000040f830 R14: 000000000040f5b0 R15: 000000000040f380
Aug 16 12:02:38 ServerStation2 kernel: </TASK>
Aug 16 12:02:38 ServerStation2 kernel: ---[ end trace 4bc27286ff765f5e ]---
Aug 16 12:02:38 ServerStation2 kernel: BTRFS: error (device sdal1) in __btrfs_free_extent:3069: errno=-28 No space left
Aug 16 12:02:38 ServerStation2 kernel: BTRFS: error (device sdal1) in btrfs_run_delayed_refs:2150: errno=-28 No space left
Aug 16 12:02:38 ServerStation2 kernel: BTRFS error (device sdal1): commit super ret -30
Aug 16 12:02:38 ServerStation2 root: mount: /mnt/pool3: mount(2) system call failed: No space left on device.
Aug 16 12:02:38 ServerStation2 kernel: BTRFS error (device sdal1): open_ctree failed
Aug 16 12:02:38 ServerStation2 emhttpd: shcmd (534): exit status: 32
Aug 16 12:02:38 ServerStation2 emhttpd: /mnt/pool3 mount error: No file system
Aug 16 12:02:38 ServerStation2 emhttpd: shcmd (537): umount /mnt/pool3
Aug 16 12:02:38 ServerStation2 root: umount: /mnt/pool3: not mounted.
Aug 16 12:02:38 ServerStation2 emhttpd: shcmd (537): exit status: 32

 

 

Was gibt es für Möglichkeiten?

Danke.

Gruß Stubennatter

Edited August 16, 2022 by stubennatter
update

[mgutt]

Du hast zahlreiche Fehler in dem Dateisystem. Ich vermute, dass BTRFS versucht diese während dem Mount zu beheben, dafür dann aber kein Platz da ist.

 

Wie hast du denn die Disk hinzugefügt? Ich sehe in den Logs nur sdag sdah sdai sdaj sdak, sdal und sdk, also 7 Disks und keine 8.

[stubennatter]

Genau das ist das Problem, den Fehler zu beheben braucht er Platz. 
daher dachte ich ja eine 8 HDD hinzufügen und es ist Platz. Also habe es per Array in Unraid Main Stop dann von 7 auf 8 Slots geändert und eine neue hinzugefügt. Dann Array Start und wird auch im Pool angezeigt, aber der Pool mountet nicht. Alle anderen starten ohne Probleme. 
 

Edited August 17, 2022 by stubennatter

[mgutt]

Das wirst du denke ich nur manuell über die Kommandozeile lösen können.

[stubennatter]

Würde ich gerne machen wenn ich den Befehl dafür kennen würde 😁

[stubennatter]

gibt es sonst Möglichkeiten die HDD's einzeln zu mounten und die Daten zu kopieren, hatte die im Modus Single Pool laufen gehabt

[mgutt]

Single ist nichts anderes als RAID0 und die Dateien werden ab einer bestimmten Größe sogar auf mehrere Datenträger gesplittet. Schlussendlich ist es also eine große Partition. Also nein, einzeln mounten dürfte nicht gehen.

 

Der Unterschied zwischen Single und RAID0 ist, dass bei RAID0 die kleinste Disks die Gesamtgröße vorgibt, während bei Single der gesamte Platz genutzt wird.

 

Was du versuchen kannst ist btrfs restore. Du brauchst dann entsprechend viel Platz auf einem Ziel. Ansonsten stehen hier einige Kommandos wie man den Status prüft und wie man Devices hinzufügt:

https://blog.programster.org/btrfs-cheatsheet

 

Wenn ich das als Dienstleister mache, lasse ich mir in so einer Situation aber erstmal eine Freigabe geben, da das ohne Backups zum Totalausfall führen kann.

[stubennatter]

Hallo, die ganzen Möglichkeiten dort haben nix gebracht.

Habe es dann mit:

einem zusätzlichen neuen Pool mit einer leeren HDD und dann mit

 

btrfs restore /dev/sd{x}1 /mnt/{neuerpool}

 

hinbekommen