unRaid Server

Anfang 2011 stellte sich bei mir die Frage: Wie kann ich der Datenflut in unserem Haushalt Herr werden?

Tonnenweise DVD’s die beim Filmabend gesucht und DJ- mäßig in den Player geworfen werden wollen, ne Musiksammlung die bis jetzt nur auf dem Laptop lag, Backups landen auf externen Platten, die immer gesucht werden müssen etc.

Ein NAS musste her, eines was sich ein Student leisten kann, wenig Strom verbraucht und problemlos erweiterbar ist.

So begann meine Suche. Windows kommt mir für so etwas nicht ins Haus, es muss schon ein Linux oder Unix sein. Bitte dann aber ohne HW- Raid Controller. Die Gefahr das die Daten weg sind wenn der Controller hinüber geht und man den gleichen nicht mehr bekommt war mir zu groß.

Softraid geht unter Linux ja auch, aber was nehmen? Raid1 verschwendet zu viel Platz, Raid 5 ist viel zu kompliziert zu erweitern.

Nach Tagelanger Recherche im Netz bin ich dann auf die Linux Distribution unRaid gestoßen. Ein extrem abgespecktes Slackware, welche eine Art Raid4 ohne Striping nutzt (Technik Details). Nachteil dieser Lösung ist das die Schreibgeschwindigkeit nicht die beste ist, auf das Array schreibt man mit ca. 25-30MB/s. Fügt man jedoch auf kosten der Datensicherheit ein Cache Drive hinzu, wo die Daten zwischengelagert werden bevor Sie auf dem Array landen, dann kann man auch Gigabit Ethernet mit 80-90MB/s so gut wie auslasten.

Ausserdem muss man eine Lizenz kaufen wenn man mehr als 3 Laufwerke benutzen möchte. Aber bei einer Software die funktioniert gebe ich auch gerne mal Geld aus. Die aktuellen Beta Versionen der v6 bieten auch die Möglichkeit Docker Container zu nutzen.

Auf der Haben Seite steht dann ein Server der auf günstigen Standard Komponenten aufbaut und durch simples hinzufügen von HDD’s sein Array vergrößert.

28.10.2013:

Nachdem mein Server vor einigen Monaten ein Update bekommen hat, inkl. Festplattenkäfigen usw. steht nun das nächste Update an. Die Parity Disk wurde gegen ein 3TB Laufwerk von Seagate ausgetauscht. Dafür wird nun die alte Parity Disk zur Datenplatte, so das der Server nun 10TB speichern kann und seinen maximalausbau an HDD’s erreicht hat.

07.02.2014:

Kleiner Nachtrag, vor ca. 2 Monaten habe ich meinem Server ein kleines Upgrade verpasst mit einem Pentium G3220 und einem Gigabyte GA-H87M-HD3. Ziel war es den verbrauch des Servers vor allem im Idle zu senken. Die Haswell CPU’s sollen da ja wirkliche Meister sein. Leider macht mir da scheinbar das Board einen Strich durch die Rechnung. Denn selbst mit abgesteckten HDD’s etc. komme ich nicht unter 35W im Idle. Gut das sind immerhin immer noch 22W weniger als mein Server vorher mit der AMD CPU verbraucht hat, aber vom Hocker gehauen hat es mich nicht.

07.09.2014

Langsam ging meinem unRaid Server der Speicherplatz aus, also muss ein wenig mehr Platz in Form von zwei 4TB SeagateST4000DM000 Festplatten verbaut werden. Eine Platte übernimmt die Funktion des Parity Drive und eine zweite ersetzt die 2TB WD Green im Array. So komme ich auf 12TB nutzbarer Kapazität mit der Möglichkeit den Server auf insgesamt 20TB zu erweitern. Die 3TB Platte wandert in meinen Desktop PC. Des weiteren habe ich das alte Cache Drive gegen einen moderne 1TB 2,5″ HDD Modell Hitachi Travelstar 7K1000 mit 7200rpm ausgetauscht. Auf diese weise kann ich die Gigabit Ethernet Leitung zwischen dem unRaid Server und meinen anderen PC’s besser auslasten so das ich im Schnitt mit 80-90MB/s auf die Cache Disk schreiben kann.

10.03.2015

Lange war es geplant, doch nie umgesetzt. Ich wollte meinen unRaid Server zur Multimedia Zentrale in meinen Netzwerk machen. Bloss dafür hatte ichi mit Media Portal leider vor einigen Jahren auf das falsche Pferd gesetzt. Doch nun ist es soweit. Ich habe meinen unRaid Server mit einer TV Karte ausgestattet und alle Clients auf Kodi umgestellt. Docker sorgt dafür das MariaDB auf dem Server läuft und so die Medieninformationen von Kodi einsammelt. TVHeadend kümmert sich auf dem unRaid um den TV Empfang. Das Channel Switching ist damit auch wesentlich schneller geworden und einen seperaten TV Server kann ich mir nun sparen.

12.05.2015

CPU wurde inzwischen gegen einen Intel i5-4570T ausgestauscht. Grund ist vor allem die vt-d Unterstützung durch die es möglich ist die TV Karte per KVM zu nutzen. So muss der unRaid Kernel nicht mehr für den TV Empfang modifiziert werden. Des weiteren kann ich so auch Mac OSX virtualisieren und als Daapd Server nutzen.

31.01.2016

Mal wieder Zeit ein kleines Update zu posten. Inzwischen stellt der Server 18TB gesicherten Speicher zur verfügung. Aufgeteilt auf 3x 4TB Platten sowie 3x 2TB Platten. Da Ende letzten Jahres auf einmal der Platz knapp wurde habe ich eine 2TB Platte reaktiviert die ich vorher gegen eine 4TB Platte getauscht hatte. Das ist halt das schöne an unRaid. Den Storage Adapter habe ich inzwischen auch ausgetauscht da dieser Probleme beim Sleep Modus verursacht hat. Hing daran eine Datenplatte konnte unRaid den Sleep dieser HDD nicht korrekt erkennen. Deshalb ist jetzt ein gebrauchter Adaptec AAR-1430SA 4 Port Sata Adapter verbaut. TVHeadend kümmert sich als Docker zwar immer noch um den TV Empfang, jedoch wurde die TV Karte durch einen Sat>IP Receiver (Digibit R1) ausgetauscht. TV Karten machen unter Linux immer wieder Probleme beim Sleep und diese war ich leid.

Folgender Server steht zur Zeit in meinem Server Schrank und stellt 32TB Speicherkapazität zur Verfügung:

OS: unRaid 6.5.3

CPU: Intel i5-4570T

MoBo: Gigabyte GA-H87M-HD3

RAM: 8GB Kingston DDR3-1600 CL11

Sata Controller Card: 2 Port Sintech mit ASM1061 Chipsatz (Cache Drive) 4 Port Adaptec AAR-1430SA

TV- Karte: DVBSky S952 v3 Dual Tuner DVB-S2 Digibit R1 Sat>IP Converter mit SatIP AXE Firmware

Gehäuse: Sharkoon Rebel 9 Economy (war noch von einem alten PC übrig)

Netzteil: Super-Flower SF450P14XE Golden Green Pro

HDD’s: Parity 1x 8TB Seagate Barracuda ;Daten: 8x 4TB Seagate Barracuda; Cache 525GB Crucial MX300

Festplattenkäfige: 2x IcyDock MB-455SPF

Stromverbrauch:  Standby (S3) 1,4W; Boot Peak 127W; All disk up 65W; Parity Check 75W; All disk down 35W

 

P1000860

P1000862

27 thoughts to “unRaid Server”

    1. Habe ich. Jedoch ist Disparity nur eine Programm für einen Windows Server, während unRaid ein komplettes OS darstellt.
      Ausserdem würde mich der doch sehr niedrige Versionsstand der Beta Software eher abschrecken.
      Aber wie gesagt, ich habe die Software noch nie ausprobiert, vom Prinzip her scheint Sie aber so zu arbeiten wie unRaid.

  1. Sehr coole Sache. Ich hab mir mal die 30 Tage Trail Version von unraid gezogen und ausprobiert. Find das ist ne geniale Sache, auch wenn man nen Moment braucht bis man sich da rein gearbeitet hat.
    Hattest du jemals einen Plattenausfall? Was ich noch nicht begriffen habe ist wie man Festplatten eine andere Aufgabe zuweist. Du schreibst ja du hast die Parity Disk getauscht. Wie das gehen soll ist mir onch nciht ganz klar.
    Unterm Strich hab ich mich dazu entschieden bei meiner WD My Cloud Mirror zu bleiben. Für mich reicht der Platz allemal und ich muss erstmal nicht erweitern könnne. Dazu kommt noch das der Rechner auf dem UnRAID lief 45W braucht und die My Cloud mal 12. Auf´s Jahr gesehen macht das einiges aus. Bräuchte ich aber deutlich mehr Platz und ein einfach zu erweiterndes NAS wäre unRAID auch meine erste Wahl.

    Gruß

    1. Ja einen Plattenausfall hatte ich auch schon mal. War aber kein größeres Problem. Eine vorbereitete 2TB Platte lag schon im Schrank. Ich musste also nur das Array stoppen, die Platten tauschen und nach dem Neustart des Arrays begann direkt der Rebuild.

      Das tauschen der Parity Disk funktioniert übrigens auf die gleiche Weise.

      Solange man nur 2 Platten im Raid 1 betreiben will fährt man auch mit NAS Boxen von WD und Synology nicht schlecht. Verreckt einem hier die Box dann kann man die Platten an einen Linux PC hängen und die Daten recovern. Ich persönlich würde mir aber nie eine NAS Box holen die schon mit einem Raid 5 arbeitet. Zu unflexibel und man weis nicht ob man noch an die Daten rankommt wenn mal das Motherboard abraucht. Klar alle basieren auf Linux, nutzen Sie aber ein Hardware Raid mit nem exotischen Adapter kann es sein das die Daten im Nirwana landen.

      Was den Stromverbrauch angeht, verbraucht solch eine Lösung hier klar mehr. Dafür funktioniert hier der Standby richtig was bedeutet das der Server 12-16Std. am Tag mit 1,4W schläft. Bei vielen NAS Boxen funktionieren solche Schlafzustände nicht, die schalten nur die Platten ab und verbrauchen Permanent 10-20W.
      Ausserdem kann man solche Server auch sparsamer bauen. Für einen Kollegen habe ich einen unRaid Gebaut der mit 4 HDD’s im Idle keine 20W braucht.

      unRaid ist wirklich eine der flexibelsten Lösungen die ich kenne und mit der Docker integration inzwischen auch echt gut um Standard Linux Software zu erweitern. Vorher war das echt eine Qual.

  2. Genau das waren meine Gedanken so das ich bei einem simplen Raid 1 gelandet bin. Da kommt man im Zweifel noch an die Daten.
    Ich hatte eine zeitlang versucht über Plattenabschaltung strom zu sparen, aber da die WD App alle Fotos von den Handys auf die NAS Box schiebt geht der Start/Stop Count schneller rauf als man gucken kann. Da lass ich die Platten einfach drehen und gut is. Das ganze Ökosystem mit Cloud Zugriff von außen und den Apps das WD um die Box gebastelt hat ist für mich der große Vorteil gegenüber unRAID. Mit meinen läpischen 350GB Daten komme ich lange nicht an die Kapazitätsgrenzen der Box.
    Find es super was im deutschsprachigen Raum über UnRAID zu lesen, hat Spass gemacht damit zu testen.

  3. Hi,
    ich bin am überlegen, mir einen Unraid Server zu bauen.
    Nun bin ich aber am überlegen.. Er soll fast eher ein application und VM Server als reiner NAS Server sein!
    Lohnt es sich da überhaupt eine Parity Platte zusätzlich zu verbauen? Würde es rein theoretisch auch ohne gehen?

    1. Für den Zweck reicht eigentlich auch jeder beliebige Linux Server, normale Linux OS haben den Vorteil das Sie einfacher zu erweitern sind.
      Soweit ich weiss kann man unRaid auch ohne Parity nutzen, aber wie gesagt ich sehe darin keinen Sinn.

  4. Wie sieht es eigentlich mit der Ausfallsicherheit aus?

    Also wen eine Data Disk crased kann sie ja durch die Parity wiederhergestellt werden. (Soweit richtig?)
    Was passiert allerdings wenn die Parity crased?

    LG

    1. In dem Fall wird die Parity Platte ausgetauscht und rebuilded. In der Zeit darf natürlich keine Datenplatte ausfallen, da dann die Daten auf dieser Platte verloren wären.
      Man muss halt nach der Grundregel gehen das ein RAID kein Backup Ersatz ist.

  5. Moin,

    schöne Zusammenfassung, sehr schön geschrieben. bin durch Zufall auf unRAID gestossen da ich den Namen im Download Bereich von plex gesehen hatte. „Hm unRAID… mal schauen was das denn ist…“ 😉

    auf der unRAID website schreiben die man könne auch ein Array bauen unabhängig vom Protokoll. Kann ich denn 8 iSCSI Targets die mir JBOD darstellen zusammenfassend darstellen ?
    Ich hab noch eine RDX Library rumliegen die jeweils 8 parallele RDX Laufwerke hat, diese RDX werden jeweils mit 1TB cardridges gefüttert, die dann per JBOD 8 einzelne iSCSI targets darstellen. Mir gehts nicht um die Performance was read/write betrifft sondern eher um die Frage ob ich daraus ein 8TB Array mit Parity bauen könnte. Meinetwegen die Parity HDD in einem Fanless PC (kann man die Parity mittlerweile auch RAID1’en?) und dann die 8 iSCSI Targets zu einem Array zusammenfügen.

    Bis dato habe ich keine RAID Lösung gefunden die man über mehrere iSCSI Targets legen könnte, da bei Ausfall eines Targets es ewig dauern würde das zu recovern. die Thematik die unRAID verfolgt finde ich hier dann ganz brauchbar für mein Vorhaben.

    Gruß

  6. Storage devices are any devices which present themselves as a block storage device EXCLUDING the USB flash device used to boot unRAID Server OS. Storage devices can be attached via any of the following storage protocols: IDE/SATA/SAS/SCSI/USB. This rule only applies prior to starting the array. Once the array is started, you are free to attach additional storage devices and make use of them (such as USB flash devices for assignment to virtual machines).

    schade, dachte unter „protokoll“ lassen die vielleicht auch iSCSI-targets zu die sich als JBOD präsentieren , aber offensichtlich geht das nur mit fest angeschlossenen HDD’s.

  7. tip:
    linux und snapraid
    zb omv, wenn man nur freigaben und zb iscsi benötigt
    bei unraid hat sich wohl einiges getan die letzten jahre, daher werde ich es nochmal testen

    Gruß Ingo

  8. Hallo,

    Klingt alles sehr interessant. Was würdest du heute für Hardware emfpehlen, wenn du es neu machen würdest?

    Was will ich machen:
    1) NAS
    2) Eventuell Emby Server mit Transcoding
    3) Eventuell TVHeadend

    Grüße
    Johannes

    1. Die NAS Funktion, TVHeadend und Emby (ohne Transcoding) brauchen eigentlich ziemlich wenig Ressourcen.
      Trotzdem würde ich hier nicht zu einem System mit ATOM CPU etc raten.
      Wenn man moderates Transcoding (max. 1 Stream auf einmal) betreiben möchte sollte ein aktueller Intel 2 Kerner mit HT wie der Intel Pentium G4560 ausreichen.
      Wichtiger ist eh das man ein Board mit genügend Sata Ports auswählt, mind. sechs Stück sollten es schon sein.
      Ausserdem sollte man darauf achten das der Netzwerkchip auf dem Board vernünftig von unRaid unterstützt wird. Im Zweifel sollte man das vorher im unRaid Forum googlen.
      Dazu noch 8GB Ram und man hat das meiste was man braucht.

  9. Ich nutze jetzt seit ca 1 Jahr unRAID. Und kann es jedem nur empfehlen,
    Zur Parity: wenn jetzt deine Parity 10tb könnennergo maximal 8.7TB zurück geholt werden.
    Wenn ihr ARRAYS erstellt nimmt bitte immer NAS-Ware Platten; allein schon wegen den Zugriffszeiten und Cache. (*klar kosten mehr*)
    Zwar sind meine specs um einiges höher als die hier aber gut jeder benötigt etwas anderes.
    Specs:
    M/B: ASUSTeK COMPUTER INC. – Z9PA-U8 Series
    CPU: Intel® Xeon® CPU E5-2650 0 @ 2.00GHz
    HVM: Enabled
    IOMMU: Enabled
    Cache: 512 kB, 2048 kB, 20480 kB
    Memory: 128 GB Multi-bit ECC (max. installable capacity 256 GB)
    Network: bond0: fault-tolerance (active-backup), mtu 1500
    eth0: 1000 Mb/s, full duplex, mtu 1500
    eth1: 1000 Mb/s, full duplex, mtu 1500
    eth2: 1000 Mb/s, full duplex, mtu 1500
    eth3: 1000 Mb/s, full duplex, mtu 1500
    Kernel: Linux 4.14.13-unRAID x86_64
    Array: 96TB
    Cache : 4 x 300GB SAS15K RAID5 per DELL H310i Controller.
    CASE : Chenbro RM 41400
    PSU: 750watt 80+ BeQuiet
    Dockers: hanbbrake , mktoolnix, Plex , OwnCloud, Tautillium, FileZilla, dupeGuru , cadavisor,
    VM: 2 x Windows 10LTSB , 1x Windows Servet 2012RC2 ,
    Die VM*s laufen rein auf dem Cache

  10. Wow wirklich witzig. Ich habe meine Box ebenfalls mit unraid betankt und das Setup läuft jetzt so seit ca. einem Jahr.

    Speicherplatz habe ich ca. 20TB und mein Tvheadend läuft im Docker (ebenfalls mit Digibit R1 :D).

    Weitere Docker, die ich nicht missen möchte:

    Duplicati
    Syncht meine wichtigsten Daten in mein OneDrive (in 1gb Files gesplittet und 256bit AES verschlüsselt).

    Unifi
    Sagt der Name ja schon. Die zentrale Management Konsole für meine UBNT Geräte.

    MariaDB
    Ebenfalls wie bei dir als Datenbank für Kodi und in Zukunft evtl. noch andere Projekte wie eigenen Mailserver.

    Demnächst stehen 2 Projekte an:

    Letsenrcypt Zertifikate installieren für meine Dienste.

    Hardware Wechsel. Momentan läuft meine Gurke mit 7 4TB Platten (Davon 2 parity) plus SSD. Diesen Platz nutze ich aber nicht annähernd aus. Aus dem Grund werde ich wohl auf 5 reduzieren (5+1+1) und ebenfalls das Board + CPU tauschen. Momentan habe ich nen 8C/16T Xeon verbaut inkl. 32gb ECC Ram. Das brauche ich aber nicht wirklich, da ich wenig virtualisiere und die Power einfach verschenkt ist. Der Stromverbrauch hat meiner Entscheidung dann den Rest gegeben.

    Der Umbau startet heute Abend. Mal sehen, vielleicht berichte ich mal über den Ausgang und das neue Setup. 😉

    1. Ja meiner läuft immer noch. Und wenn alle Familien PC’s Ihre Backups darauf machen, man viel im Fernehen aufnimmt etc. dann bekommt man den Platz auch schon gefüllt.

  11. Hallo,
    ich möchte auch mit Unraid starten, weiß aber nicht wo ich anfangen soll…
    Gibt es eine deutsche Community bei der ich meine ganzen Fragen zum Start stellen könnte?

  12. Moin,
    toller Blog!
    Könntest du mir einen Gefallen tun und Mediawiki als Dockercontainer auf deinem Unraid einrichten ?
    Du scheinst mir ein richtiger Profi zu sein.
    Ich komme da kein Stück weiter :-/

    1. Du hast doch schon nen ziemlich aktiven Thread im Kodinerds Forum.
      Leider gibt es zu Mediawiki keinen nativen Docker unter unRaid.

      Sicher könnte man sich solch einen Docker selber bauen, ich habe aber leider keine Zeit dafür, da ich selber noch einige unerledigte Projekte haben.
      Haste im Community Applications Plugin mal geschaut ab es vielleicht eine alternative gibt.

  13. Hallo!

    Danke für den tollen blog! Eine Frage zu deinem unraid Server. Sicherst du deine daten nochmals extra auf eine externe Platte oder mit welcher strategie gehst du bei unraid vor?

    Habe ebenfalls einen unraid server im Einsatz. 4x 3 TB, eine parity. 2x 1tb ssd cache. Nur habe ich mir noch keine Gedanken zu einem Backup gemacht.

    Gruß Michael

    1. Ein Backup wird bei mir nur von wirklich wichtigen Daten gemacht, zum Beipiel Familienfotos etc.
      Das geschieht per Rsync z.B. verschlüsselt auf nen Cloud Server bzw, per Unassigned Devices Plugin auf eine externe HDD.
      Meinen ganzen Server ein Backup zu verpassen ist schon aufgrund der Datenmenge nicht möglich.

    2. Hallo Michael

      Ich habe das Backup wie folgt gelöst.

      Zuerst das PlugIns Community Applications installieren. Das ist eine Art Play Store für unRAID 😉 es gibt dort wirklich alles erdenkliche…

      Im Community Applications PlugIns habe ich dann folgende 2 PlugIns installiert: Unassigned Devices + User Scripts

      Mit Unassigned Devices kannst du Deine USB-Platten oder aber auch SATA-Platten verwalten welche Du nicht im Array hast. Das ist der erste Schritt.

      Mit User Scripts kannst Du danach wirklich easy ein Rsync Backup Script laufen lassen. Du kannst diese auch terminieren. Die ganze Anleitung wie ich das gemacht habe ist hier: https://forums.unraid.net/topic/44104-unassigned-devices-managing-disk-drives-outside-of-the-unraid-array/

      Die Geschichte in der Anleitung mit dem Peep und dem CronJob habe ich weggelassen und nur das Sample Daily Backup Script im PlugIn User Scripts angelegt.

      Es wird nun nach meiner Terminierung eine inkremmentieles Backup von allen Shares gemacht. Die gewünschten Shares können easy im Script eingefügt werden.

      Alles supereasy auch für einen Nicht-Programmierer wie mich. Schön ist auch, das die Daten im Notfall auch aus einem anderen System gelesen werden können. Nicht so wie bei duplicati zum Beispiel. Duplicati ist jedoch auch ein tolles Tool. Ich nutze es für verschlüsselte Backups in die Cloud.

      grüsse cracksilver

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.