Neuling beim Unraid


Fistudio

Recommended Posts

Servus Miteinander, 

bin kompletter Neuling, was Unraid angeht, aber habe schon lange Synology Eigenbau XPEN, aber auch Syros Originale

 

meine XPEN sollten eigentlich als VM Server fungieren...nur da gibt es mehrere Grenzen

 

Ich habe Beast Maschienen da, dh 2011 CPUs mit Dial Board von Intel, die S2600CP wo ich 2 Grafikkarten stecken, 160GB Ram stecken und 8Kern 2,6Ghz und das 2x stecken kann und habe...

ein 850 Netzteil mit einem Rack lauter Festplatten 

 24 Laufwerke sind alle voll mit jeweils 10TB an Ironwolfs

2x Grafikkarten die 4GB Versionen

4x 1Gbit Netzwerk onboard, und 1 Karte 10GBe

das wäre mein Unraid Beast..

 

und das Beast habe ich 3x da

schon in meinem Kasten verbaut, schön brav mit USV

 

Dual WAN mit 2 verschiedenen Anbietern, die mir 200mbits ins Haus bringen

 

Ich bin irgendwie noch nicht ganz so überzeugt an dem ganzen...Ich weis nicht

 

was ich brauchen würde, was mich von Synology her Fasziniert sind die Apps auf meinem Telefon

Foto Backup, Files, IP Kamera Überwachung, Video, Note...

 

Apps habe ich einfach so zum anklicken auf meinem Telefon

 

gibt es das alles beim Unraid?

 

vor allem das HA Clustering 

ich habe das XPEN x2...mit einem Xeon Single die 2011 board bei dem ich 64GB Ram nutze und immer die 8Kerne mit 3,8Ghz also 16 Threats

ja die unterstützt das VM ...ich kann mehrere Threats nutzen...

Aber ich kann nicht Arbeiten damit, weil es immer noch eine Virtuelle Maschine ist..

das Windows 10 sagt mir immer wieder bei kleinen Games, es kann nicht installiert werden, weil die QEMU nicht unterstützen

die Grafikkarten werden von Syno her nicht gesehen, bzw es zeigt mir nix an

 

darum habe ich mir gedacht stelle ich des ganze mal vorsichtig um

 

Was ich noch an Docker brauche wären einiges...aber das habe ich gesehen gibt es auf Unraid genauso

 

aber wie ist das Allerwichtigste das RAID...ehm HA Clustering....EHM Backup

Ich nutze das HA Clustering von Syno nur, weil es ein Backup von meinem ganzen System macht

ob Virtuelles, wie die Einstellungen wie das andere zeug...einfach x2

Fällt eine HD aus, oder etwas anderes übernimmt der andere im gleichen Netz

 

VMs, brauche ich für meine Bildschirme die ich überall im Haus habe

ich habe dort als VMs das Ubuntu drinnen, wo jeder auf die Syno als Laufwerk zugreifen kann

DH nicht Spiegel, sondern wirklich Touchbildschirme mit einem HDMI Computer dahinter, der teilweise nicht so gross ist das man dort ein Windows 10 Flüssig haben kann

Aber Windows ist nicht grad mein Freund, da ich mit Mac aufgewachsen bin.

 

darum möchte ich das ganze ausbauen um auch die Grafikkarten und den rest nutzen zu können

 

Die Laufwerke im Unraid werden mit SDA usw gesehen, dh es wäre egal wo die Laufwerke wären

gibt es vielleicht eine Möglichkeit über das interne Beast Board rauszugehen gehen, und ein 48 Laufwerks Raid ehm Festplatten System zu bauen, bei dem das Unraid gesichert wird?

 

vor allem das Synobackup ist eigentlich cool..

denn da werden bis zu 7 Tage zurück Wiederherstellung Daten gesichert... oder sogar mehrere Tage...

auch da wird alles gesichert...Systemeinstellungen, Daten, VMs. usw

 

könnt ihr mir da ein paar Tips geben...was nun sinnvoll wäre?

 

vielen Dank

 

 

Link to comment
5 hours ago, Fistudio said:

Apps habe ich einfach so zum anklicken auf meinem Telefon

 

gibt es das alles beim Unraid?

 

Nein. Apps müssen von dem Container selbst kommen. Dazu verweise ich auf meine Antwort hier und die folgenden Antworten, wo wir die meiner Ansicht nach besten Container/Apps bereits genannt haben:

https://forums.unraid.net/topic/101222-unraid-als-nas-und-mehr/?tab=comments#comment-933813

 

5 hours ago, Fistudio said:

vor allem das HA Clustering 

 

HA gibt es bei Unraid nicht. Da müsste man sich selbst ein Konzept ausdenken. zB zwei vollwertige Unraid Server, die ihre Docker Container und VMs synchron halten oder ähnliches. Ist auf jeden Fall keine Klicki-Bunti-Lösung, sondern mit Arbeit verbunden. 

 

5 hours ago, Fistudio said:

Die Laufwerke im Unraid werden mit SDA usw gesehen, dh es wäre egal wo die Laufwerke wären

gibt es vielleicht eine Möglichkeit über das interne Beast Board rauszugehen gehen, und ein 48 Laufwerks Raid ehm Festplatten System zu bauen, bei dem das Unraid gesichert wird?

 

Damit meinst du auch einen kompletten Klon von Unraid? Also wieder HA? Ich kann dir da gerade nicht folgen.

 

5 hours ago, Fistudio said:

denn da werden bis zu 7 Tage zurück Wiederherstellung Daten gesichert... oder sogar mehrere Tage...

auch da wird alles gesichert...Systemeinstellungen, Daten, VMs. usw

 

 

Ich nutze dafür rsync:

https://forums.unraid.net/topic/97958-rsync-incremental-backup/

 

Andere nutzen Veeam usw. Unraid selbst bringt keine Lösung mit.

 

5 hours ago, Fistudio said:

das Windows 10 sagt mir immer wieder bei kleinen Games, es kann nicht installiert werden, weil die QEMU nicht unterstützen

die Grafikkarten werden von Syno her nicht gesehen, bzw es zeigt mir nix an

 

Wenn du Unraid in einer VM laufen lassen würdest, und darin dann wieder eine Gaming VM, dann hättest du vermutlich die selben Probleme. Nested VM ist immer so eine Sache. Aber wenn Unraid nativ auf dem Server läuft, wird dir das denke ich keine großen Probleme bereiten.

 

5 hours ago, Fistudio said:

VMs, brauche ich für meine Bildschirme die ich überall im Haus habe

ich habe dort als VMs das Ubuntu drinnen, wo jeder auf die Syno als Laufwerk zugreifen kann

 

Hier sehe ich bei Unraid auch keine Einschränkung, außer dass man VMs in Unraid eher auf einem SSD RAID liegen hat und nicht in einem HDD RAID Pool (letzteres geht auch erst ab Unraid Beta/RC). Die VMs brauchen aber keine GPU? Weil mit mehreren VMs sharen kannst du sie in Unraid nicht. Das geht nur mit Quadros über Citrix, Red Hat oder VMware.

 

Unraid hat seinen Fokus eher auf Hot/Cold Storage. Heiße Daten (VMs, Container, Uploads, etc) auf einem SSD RAID und kalte Daten (Medien, Backups, etc) auf dem HDD Array, was ungefähr wie ein RAID4 ist, nur ohne Striping. Bei Unraid Beta/RC kommen nun erstmals auch mehrere HDD RAIDs dazu.

 

5 hours ago, Fistudio said:

48 Laufwerks Raid

 

Unraid erlaubt so viele Laufwerke nur bei Unraid Beta/RC und wenn diese Laufwerke nicht alle im Array sind (Maximum 28+2), sondern der Rest in RAID Pools. Mit der aktuellen stabilen Version könnte man also gar nicht so viele Laufwerke nutzen.

 

5 hours ago, Fistudio said:

2011 Intel 8Kern 2,6Ghz

 

Klingt nach zwei Intel Xeon E5-2689. Durch die schwachen Kerne, brauchst du relativ viele Kerne pro VM. Strom kostet dich nicht so viel? Je nach Strompreis wäre ein Hardware-Upgrade lohnenswert. Ein E-2278G/E-2288G hätte zB doppelt so viel Leistung pro Kern, so dass du mit einer Single CPU bei weniger als dem halbem Stromverbrauch das selbe Ergebnis erzielen würdest. Als kleiner Bonus wäre sogar eine iGPU für zB Container dabei.

 

 

Link to comment

ihr redet hier von dass Unraid seine Daten vollständig auf einer HD Platziert, nicht wie das Syno wo nach Raid 5 alle Daten gewackelt werden..

was ist wenn eine Platte ausfällt dann übernimmt dies eine von den Parity Platten...

 

nun

was ist wenn 3 aufeinmal den geist aufgeben?

 

dh ein Szenario

 

in der Partie sind die 10TB; in dem Array sind auch alles 10TB...ich habe bloß solche Platten da

 

was ist wenn 3 Platten ausfallen...wie weis dann das Unraid was für welche Daten auf genau den platten waren?!?

 

noch eine frage:

wie verschlüsselt man das ganze, den die Daten all ganzer auf die Platten sind

und eine gezogen wird um die dann so auszulesen...was sieht da der Betrüger dann?

mein Daten?

 

 

Link to comment
41 minutes ago, Fistudio said:

ihr redet hier von dass Unraid seine Daten vollständig auf einer HD Platziert, nicht wie das Syno wo nach Raid 5 alle Daten gewackelt werden..

nein, nihct ganz...unraid verteilt die Daten in den Unterverzeichnissen auf die dafür vorgesehenen Platten, wobei jede Datei immer ganz auf eine Platte wandert

 

41 minutes ago, Fistudio said:

was ist wenn eine Platte ausfällt dann übernimmt dies eine von den Parity Platten...

so ungefähr...

 

41 minutes ago, Fistudio said:

 

nun

was ist wenn 3 aufeinmal den geist aufgeben?

dann bist Du am Irsch, was diese drei Disks angeht.

Die anderen, übrig gebliebenen Disks und deren Daten (weil vollständige Dateien) sind aber intakt.

 

In dem Syno raid5 wären aber schon *alle* Daten komplett weg, wenn zwei Disks gleichzeitig ausfallen. Raid5 verkaftet nur den Ausfall einer Platte.

Unterscheide also zwischen Verfügbarkeit der Platte und  der Daten.

 

41 minutes ago, Fistudio said:

 

dh ein Szenario

 

in der Partie sind die 10TB; in dem Array sind auch alles 10TB...ich habe bloß solche Platten da

 

was ist wenn 3 Platten ausfallen...wie weis dann das Unraid was für welche Daten auf genau den platten waren?!?

da sind entsprechende Fehlermeldungen im Log, die Dir angezeigt werden..im Zweifel Platten ausbauen und einzeln lesen.

In einem grossen Array macht man sich eine Übersicht, welche Platte mt welchen Port verbunden ist, wo im Gehäuse sie steckt und welche Device-Nummer unraid vergeben hat (sda, sdb, sdc, ...). dafür gibt es sogar Tools: 

 

 

41 minutes ago, Fistudio said:

noch eine frage:

wie verschlüsselt man das ganze, den die Daten all ganzer auf die Platten sind

und eine gezogen wird um die dann so auszulesen...was sieht da der Betrüger dann?

mein Daten?

Die Platten sind mit einem Linux basierte System verschlüsselt.

Auch wieder jede einzeln....alle mit dem gleichen (Deinem) Schlüssel.

Geht eine  Platte verloren sieht der "Betrüger" eine verschlüsselte Disk.

Willst Du die Platte allein anschauen, in einem anderen (Linux-)Rechner wird Dich das System beim mounten der Platte (des GFilesystems/Volume aiuf der Platte) auffordern den Schlüssel einzugeben.

 

Link to comment

aha, gut, dann wäre das geklärt...also so imgrunde alles ganz und gut ein gutes System

 

noch eine frage

 

was ist wenn der USB Stick kaputt geht, oder ein Mitarbeiter ihn abzieht und darauf etwas anderes Speichert...weil eben Vögel 🙂

 

ich meine...wenn man die Daten sichert die auf dem Stick sind...und das grad in dem Rack wo ja lauter Festplatten sind...ich. meine...das Datengrab wie das hier genannt wird, wie komme ich dann wieder zu meinem System

 

einfach ein neuen USB Key machen, reinstecken, fertig ist=?

oder habe ich die Daten alle verloren...weil eben genau der Schlüssel ehm Key fehlt...aber nicht herstellbar ist ja weil genau der Schlüssel nicht mehr der gleich ist..

 

 

Link to comment

nun zu dem Backup Wichtigste Frage..

 

ich nutze beim Synology immer das Hyperbackup

es ist eine Backup Lösung wo man die gesamte Synology an einem anderen Platz Klonen kann

 

dh auch wenn Daten verändert wurden werden die bis zu 7 Tagen auch mehr....zurück wieder herstellbar..

so eine art Time Machine beim Mac

 

dh ich habe einen Syno Server

von dem aus Arbeiten wir hier

dann einen Synology Server der nicht als HA dient, sondern einfach ein Backup macht von dem 1. Server...

 

ein HA sollte womöglich schnell sein, am besten eine 1GBe oder nachbessern 10GBe, da wenn einer ausfällt der andere übernimmt

nur das funktioniert nicht immer so wie es soll...die Server trennen sich zwar, aber ich habe keinen Zugang mehr zu dem 2. vorhandenen server

 

 

so wenn der 1. Server ausfällt, dh es passierte schon mehrere male, dass dort die Hardware hin war...und die Festplatten leider durcheinander gebracht wurden 

schön brav immer in Raid5 gemacht und btfs erledigt...so konnten wir die Daten nicht mehr gewinnen..

 

Und so konnten wir das System einfach Neuformatieren...vom Backup Server mit dem Hyperbackup alles wiederherstellen..

dh wirklich alles

Notizen, Termine, System Logins, Zuweisungen, Kameras IP SOFTWARE... und all das was auf der 1. drauf war

 

 

wie ist das mit Unraid?

gibt es da was ähnliches...

dass ich sagen kann, ich machen 2 solcher Server...auf dem 1. Arbeiten wir.

auf dem 2. aber nur das Backup ehm die Spiegelung des 1. Servers

der 2. Server muss ja nicht so Super Schnell sein wie der erste, es würde ein herkömmliches Board sein, mit 16GB arm oder so

eine 10GBE und aber Maximal an Platten...mit 10TB...damit das wirklich ein cooles Datengrab ehm Backup Grab wird

 

gibt es sowas auf Unraid?

 

vielen Dank

 

 

Link to comment
2 hours ago, Fistudio said:

was ist wenn der USB Stick kaputt geht, oder ein Mitarbeiter ihn abzieht und darauf etwas anderes Speichert...weil eben Vögel 🙂

 

 

Vorzugsweise baut man den Stick mit ins Case. Man hat ja in der Regel onboard-USB-Anschlüsse (Adapter auf USB Buchse gibt es ja für kleines Geld). Gerade dann wenn die Gefahr besteht, dass ein Dritter ihn abzieht.

 

Von dem Stick macht man einfach regelmäßig Backups. Das spielt man dann im Härtefall auf einen neuen Stick und bootet. Dann wird Unraid meckern, weil die ID des Sticks nicht mit der Lizenz übereinstimmt. Wenige Klicks später ist die Lizenz aber schon auf den neuen Stick übertragen.

 

2 hours ago, Fistudio said:

ich meine...wenn man die Daten sichert die auf dem Stick sind...und das grad in dem Rack wo ja lauter Festplatten sind..

 

Das sollte man nicht machen, weil man dann erst mal suchen darf, auf welcher Platte das Backup liegt. Du könntest sie aber tatsächlich im Härtefall einzeln entnehmen und über einen anderen Rechner nachschauen. Oder man nimmt einen komplett frischen Stick mit Testlizenz und mountet alle Platten im Wartungsmodus ohne eine Parität zuzuweisen (da man ja nicht mehr weiß welche die Parität war). Dann kann man kurz überall drauf schauen und das Backup suchen und runterladen. Ein Backup-Ziel außerhalb des Unraid Servers erleichtert allerdings ungemein das Leben ;)

 

Aber selbst ohne Backup bleiben die Daten auf den Platten erhalten. Was dagegen verloren ginge:

- Welche Disk wo im Array zugeordnet war und welche die Paritäts- oder Cache-Laufwerke waren (kein Beinbruch, erfordert aber mounten und nachschauen)

- Netzwerk-Einstellungen

- SMB-Einstellungen (User, Passwörter und Rechte)

- Disk-Einstellungen (wann sollen sie schlafen etc)

- Benachrichtigungs-Einstellungen (hinterlegtes E-Mail-Konto etc)

- installierte Plugins und deren Einstellungen

- die Datei mit der Lizenz, wobei man hoffentlich noch die E-Mail mit dem Schlüssel hat, aber selbst dann hilft sicher der Support

 

Also im Kern verliert man eigentlich "nur" Einstellungen und müsste herausfinden welche die Paritätslaufwerke waren.

 

Ich habe zB mal Unraid als VM installiert und einen zweiten Stick im Server gehabt. Tage spätere startete ich meinen Server neu und wunderte mich warum die WebGUI nicht öffnete. Schlussendlich stellte sich heraus, das mein Board vom anderen Stick gebootet hatte. Also wieder heruntergefahren, Stick raus und neu gestartet. Alles beim alten. Oder als ich das Mainboard, CPU, RAM usw gewechselt habe. Stick ins neue Board, gebootet und lief einfach. Ich hatte nicht mal die Reihenfolge der SATA Ports beachtet. Einfach alles wild eingesteckt. Da sich Unraid auf dem Stick die Seriennummer der HDDs merkt, ist also auch das egal. Das ist schon ziemlich genial bei Unraid.

 

2 hours ago, Fistudio said:

gibt es da was ähnliches...

dass ich sagen kann, ich machen 2 solcher Server...auf dem 1. Arbeiten wir.

auf dem 2. aber nur das Backup ehm die Spiegelung des 1. Servers

 

Die Definition von HA ist, dass man ohne Ausfall weiter arbeiten kann. Da du das jetzt schon nicht hast (wegen der besagten Probleme) und es für dich scheinbar kein Problem zu sein scheint, hast du auch kein HA bzw benötigst eventuell auch keines.

 

Was vielleicht mit Unraid gehen könnte um einer HA Situation nahe zu kommen ( @ich777, was sagst du zu folgender Idee):

1.) Zwei Server mit der selben Anzahl Disks hochfahren, beide mit eigener Unraid-Lizenz, Disks der Parität und dem Array zuordnen und starten

2.) Die Shares auf dem Quellserver anlegen

3.) VMs alle X Stunden in den Ruhezustand versetzen oder herunterfahren und auf dem Quellserver sichern. Ansonsten könnten Daten verloren gehen, die aktuell im RAM der VM liegen.

4.) Den USB Stick alle X Stunden/Tage auf dem Quellserver sichern.

5.) Nun die Verzeichnisse /mnt/diskX über rsync mit dem Zielserver synchron halten. Wenn das instant passieren sein soll, dann kombiniert mit inotifywait. Die Backups aus 3+4 sind entsprechend enthalten.

 

Nun sind Quell- und Zielserver bis auf den RAM-Inhalt aktuell laufender VMs (wäre bei Syno denke ich auch so?!) und dem Stick synchron. Fällt der Quellserver aus, bootet man den Zielserver mit dem Quellserver-Stick und den folgenden Dateien des Zielserver-Sticks:

/boot/config/disk.cfg (enthält die Seriennummern der Cache-SSDs)

/boot/config/machine-id (?, keine Ahnung wofür die ist)

/boot/config/super.dat (enthält die Seriennummern der HDDs)

/boot/config/network-rules.cfg (enthält die Mac-Adressen der verbauten LAN-Ports)

 

Fällt dagegen nur der Quellserver-Stick aus, nimmt man einen neuen Stick, den man mit dem Backup aus dem Zielserver füttert.


Ein Problem was ich bei der Idee sehe, wäre an VMs durchgeschliffene Hardware. Weil die muss ja dann auch 1:1 in der exakt selben IOMMU Gruppe / IDs des Zielservers laufen. Das muss man schlicht testen bzw man schleift möglichst keine Hardware durch.

 

Ein Vorteil wiederum wäre, dass der Zielserver nicht die selben Plattengrößen verbaut haben muss. Hauptsache sie sind groß genug für die Daten.

 

Eventuell, aber das muss man durchtesten, könnte man auch die Shares ohne Disk-Zuordnung anlegen und stattdessen /mnt/user/ synchron halten. Dann könnte der Zielserver sogar eine andere Anzahl von Platten besitzen.

 

Wie gesagt ist das kein HA und Unraid hat auch keine entsprechende Funktion. Man kann sich dem also nur nähern.

 

 

 

 

Link to comment
4 hours ago, mgutt said:

Was vielleicht mit Unraid gehen könnte um einer HA Situation nahe zu kommen

Also vorab mal Unraid unterstütz noch kein HA aber ich glaube das ist eines der "nächsten" features oder zumindest auf der todo-list.

 

4 hours ago, mgutt said:

Zwei Server mit der selben Anzahl Disks hochfahren, beide mit eigener Unraid-Lizenz, Disks der Parität und dem Array zuordnen und starten

Das würd sicherlich kein Problem sein, jedoch müssen es nicht gleich viele disks sein, der Platz am 2. Server muss reichen.

 

4 hours ago, mgutt said:

VMs alle X Stunden in den Ruhezustand versetzen oder herunterfahren und auf dem Quellserver sichern. Ansonsten könnten Daten verloren gehen, die aktuell im RAM der VM liegen.

Das würd ich auf jeden Fall so machen, wenn nichts kritisches auf den VM's liegt und du nur Dateien am Server hin und her schiebst könntest die sogar im laufenden betrieb ein Backup erstellen.

 

Sieht eigentlich gut aus allem in allem :)

 

 

Ich mach das mit meinem Backup Server zB so das ich shared ssh keys hab mit denen sich der Backup Server auf den Main Server verbindet und dann mittels luckyBackup (Docker Container mit GUI) auch mittels rsync backend synct.

 

 

HA ist momentan mit Unraid momentan ziemlich schwierig da es kein Tool gibt das derzeit alles "einfach" spiegeln kann. Mit SSH und rsync ist im Endeffekt sicher die beste Lösung.

Link to comment
46 minutes ago, ich777 said:

Das würd sicherlich kein Problem sein, jedoch müssen es nicht gleich viele disks sein, der Platz am 2. Server muss reichen.

 

Ja, dann muss man aber die Shares ohne feste Disk-Zuordnung einrichten und muss /mnt/user syncen. Wobei ich gerade nicht weiß was der Zielserver macht, wenn der Share nicht manuell, sondern nur über das Erstellen des Ordners hinzugefügt wird. Dann gilt bei der Verteilung High Water oder?

 

 

Link to comment

aha, Danke an alle die hier mithelfen...

 

Ich habe ein Beast schon umgestellt, und Probiere grad...ist mal was anders wie so ein Syno

 

Beast läuft mit Dual Xeon Board von Intel, richtiges Server Board...mit 14 Sata Plätze schon onboard..

Alles 5x PCI-8 und einem PCI 16x wobei ich die Grafikkarte in dem 16x eine Nvidia 1080 stecke,...und bei den beiden Blauen X8 2x 4GB PCIx8 stecke

somit habe ich 3 Grafikkarten drinnen die das Unraid auch schon erkennt.. Super Sache 🙂

in den anderen PCI-8 Plätze habe ich eine 10GBE Dual Karte und nochmal eine 2x 8 Sata Plätze Karten drinnen...somit sind die alle voll

die RAMS sind DDR3, ECC mit jeweils 8GB ... jede CPU dann 8x der Rams

 

Onboard sind 4x 1GBE schon drauf

 

das alles ist in einem Rack Gehäuse wo 24 Laufwerke Platz haben Fantec 4HE

die ich dann alle mit den übrigen 10TB von Seagate Ironwolf verbaut habe

intern sind 4x SSDs Samsung 950 Pro drinnen mit 500GB

da ja die Virtuellen Maschinen auf denen SSD laufen lassen sollte...

 

die CPU Lüfter sind Türmchen, wo Links und Rechts Metall und mittendrinnen ein 120 Ventilator sitzt

3x 120 Ventilator direkt hinter den Festplatten

2x 90  Ventilator hinten raus

 

Netzteil das RM850 Crossair mit Dual CPU Anschlüsse und Massenweise sonstige Anschlüsse

 

man hört das alles kaum...die Festplatten sind das Lauteste was man hört

 

und nun seit 1 Tag in Betrieb

 

die LIZ PRO habe ich gestern gekauft

 

nun bin ich am Probieren

 

das Coole an den ganzen, des Läuft alles auf Anhieb,..

alles wird ohne zusätzliche Treiber gesehen...

 

bin Froh die Entscheidung getroffen zu haben, bis jetzt mal keinerlei Meckerei von mir

 

gucke mir schon seit längeren die Videos von Geekfreaks an

und finde sie einfach Genial...

 

vielen Dank an alle die Geholfen haben

 

 

 

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.