Danke für den Link - scheint tatsächlich ein ähnliches Problem gewesen zu sein. Allerdings kann ich daraus für mich keine Lösung entnehmen.
Ich denke auch, dass es am Client/macOS liegen muss, aber da finde ich keine Einstellungen wie man die Codierung unter SMB beeinflussen kann.
Mein Workaround lautet jetzt bei solchen Aktionen "ohne Umlaute" zu arbeiten. Damit kann ich leben, es geht in erster Linie um eingescannte Dokumente, die nach paperless.ngx verschoben werden.