Archiv der Kategorie: Projekt Server 2015

Server 2015


Server 2015 erhielt 2 Nachfolger in Form von
Vegane Ryzkost und Server 2017


Nachdem ich in der Kategorie Projekt Server 2015 bereits ausführlichst über die Entstehungsgeschichte sowie die Hardware meines neuen Servers berichtete, folgt hier nun noch das Faktenblatt der Hard- und Software.

Hardware

  • Gehäuse
    • Silverstone GD07B SST-LC10B-E
    • Rackmontagebügel RA01B
    • 4x 2x 80mm Gehäuselüfter Noctua NF-A8 FLX
    • 2x 120mm Gehäuselüfter Noctua NF-S12A ULN
    • 4x HD-Wechselrahmen FANTEC MR-35SATA-A
  • Netzteil
    • 500W be quiet! Straight Power 10 CM
  • Mainboard
    • Supermicro X10SRi-F
  • CPU
    • Intel Xeon E5-1650v3 E5-2620v3
  • CPU-Kühler
    • Noctua NH-U9S (Ventilator)
    • Supermicro SNK-P0050AP4 (Kühler)
  • Arbeitsspeicher
    • Crucial DDR4 32GB 4-Kit 2133MHz Reg-ECC
  • Storage
    • Intel S3500 480GB SSD [C:\]
    • HP P222/512MB Smart Array RAID-Kontroller
      • 12TB RAID-5 [D:\]
        • 4TB HDD Seagate ST4000DM003 @Port1
        • 4TB HDD Seagate ST4000DM003 @Port2
        • 4TB HDD Seagate ST4000DM003 @Port3
        • 4TB HDD Seagate ST4000DM003 @Port4
  • Grafik
    • ASUS AMD R9 Nano 4GB HBM
    • ASUS AMD Radeon STRIX R9 285 DC2OC 2GD5
  • Bildschirm
    • Dell U3415H [34″ | 21:9 | 3440×1400 | Onboard KVM-Switch]
  • Backup
    • 8TB USB3-HDD WD MyBook Duo

Betriebssystem

  • Microsoft Windows Server 2012 R2 Standard
    •  Rollen
      • Fileserver | Hyper-V | rsync
    • Netzwerk
      • 1 NIC @LAN @LACP-Trunk @2x Gbit LAN

Virtuelle Maschinen

  • Windows Server 2012 R2 Standard
    • Hardware
      • 4 CPU | 8-16GB RAM | 60GB @C:\ | 1TB @D:\
    • Software/Rollen
      • DC ad.STRUBAND.net | Essentials | Fileserver | DHCP | DNS | RRAS
    • Netzwerk
      • 1 NIC @LAN
  • Ubuntu Server 14.04 LTS
    • Hardware
      • 2 CPU | 2GB RAM | 50GB @C:\
    • Software
    • Netzwerk
      • 1 NIC @LAN
  • Ubuntu Server 14.04 LTS
    • Hardware
      • 4 CPU | 4GB RAM | 50GB @C:\
    • Software/Rollen
      • Plex Media Server | Teamspeak 3
    • Netzwerk
      • 1 NIC @DMZ
  • Windows XP
    • Hardware
      • 1 CPU | 512MB RAM | 20GB @C:\
    • Software
      • Dedicated Gameservers
    • Netzwerk
      • 1 NIC @DMZ

Energiebedarf [Idle]

  • ~70 Watt

Weitere Details / Topologie / Bilder

Updates

  • 17.09.15     Austausch Grafikkarte, Bilder
  • 03.10.15     Austausch Gehäuse, HD-Wechselrahmen, Bilder
  • 21.10.15     Austausch CPU

ESXi 6.0 GPU Passthrough

Angespornt durch diesen Artikel und wie bereits hier angetönt, wollte ich auf meinem neuen Server eine AMD R9 285 Grafikkarte per PCI-Passthrough in eine Workstation VM durchreichen. Anders als im Artikel, sollte bei mir jedoch ESXi 6.0 auf dem neusten Patchlevel 2715440 zum Einsatz kommen. Soweit schien alles klar und ich war auch optimistisch, dass dieses Vorhaben so machbar ist. Wie ihr vielleicht schon anhand der von mir gewählten Zeitform erahnt, klappte es nicht ganz so wie gewünscht, zuerst aber mal der Reihe nach.

Vorbereitungen

Als Erstes sei jedem sicher mal der oben bereits erwähnte Artikel ans Herz gelegt. Zusätzlich waren bei meinem Supermicro Board noch BIOS Einstellungen zu tätigen. Und zwar musste die AMD Grafikkarte priorisiert werden, da sonst das PCI-Passthrough nicht funktionieren wollte. Zudem sei noch der Download einer Windows 10 Insider Preview ISO angeraten.

VM einrichten

Grundsätzlich kann gleich vorgegangen werden wie im Artikel beschrieben:

  • VM erstellen, PCI Geräte noch nicht hinzufügen
  • BIOS der VM auf EFI umstellen
  • VM starten
  • Betriebssystem installieren
  • VMWare-Tools installieren
  • VM herunterfahren
  • PCI-Geräte hinzufügen
  • ESXi-Host neu starten
  • VM starten
  • Grafikkarten Treiber installieren

Der Punkt 5 des Artikels ist bei ESXi 6 nicht mehr vonnöten, ESXi scheint das „PCI hole“ nun selbstständig zu setzen:

2015-06-21T18:54:22.550Z| vmx| I120: Automatically adjusting PCI hole to 1976 MB for passthrough RMRR

Beim Betriebssystem sei auch noch angemerkt, dass es mit meiner HW-Konfiguration leider nur mit Windows 10 klappen wollte.

Hat man die Schritte soweit abgearbeitet, sollte man anschliessend auf dem Bildschirm vom Anmeldebildschirm begrüsst werden:

Der Gerätemanager zeigt, dass alles ordnungsgemäss installiert wurde:

Vom Handling her fühlt sich das System wie eine Baremetal-Installation an. Auch Tests mit diversen Games zeigten keine Performanceprobleme. Das alles klingt jetzt natürlich zu schön um wahr zu sein. So ist es leider auch, denn dieses Setup weist ein paar gravierende Nachteile auf:

  • Der Start funktioniert nur ordnungsgemäss nach einem ESXi-Host Neustart. Das heisst, dass die VM selber nicht heruntergefahren, anschliessend wieder gestartet, oder einfach nur neu gestartet werden kann.
  • Auch funktioniert ein Standbybetrieb oder auch einfach nur ein Bildschirm ausschalten durch Windows nicht.
  • Zudem kann man mit dem Monitor nicht zu einer anderen Bildquelle springen und anschliessend wieder zurück.

All diese Punkte, ausser einem sauberen ESXi-Neustart, führen ins Nirvana und die VM muss anschliessend hart ausgeschaltet werden. Somit ist diese Lösung nicht praxistauglich. Ich werde nun in den nächsten Tagen auf eine Windows 2012 R2 Baremetal-Installation mit Hyper-V Rolle umstellen. Diese Baremetal Windows-Installation wird Desktop-tauglich konfiguriert und mir anschliessend auch als Workstation dienen.

Projekt Server 2015: Hardware

Anhand der von mir hier definierten Anforderungen, habe ich mich nun für das folgende Hardwaregerüst entschieden:

Gehäuse

Die Suche nach einem passenden Gehäuse gestaltete sich schwierig bis praktisch unmöglich. Vorallem die maximal mögliche Tiefe von nur 45cm trug wesentlich dazu bei. Schlussendlich wurde ich bei Silverstone fündig. Und zwar wurde es das Modell SST-LC10B-E, welches mit Rackmontagebügeln (RA01B) erweitert werden kann. Die 2 Original-Lüfter wurden durch zwei Noctua NF-A8 FLX ersetzt. Zusätzlich wurden in den zwei Festplattenkäfigen 2 Noctua NF-A8 FLX montiert.

Mainboard, CPU, RAM, Netzteil

Aufgrund der begrenzten PCIe-Lanes und des maximal möglichen Arbeitsspeichers bei einem LGA-1055 System, entschied ich mich für ein LGA2011v3 System, bestehend aus folgenden Komponenten:

  • Supermicro X10SRi-F Mainboard
  • Intel Xeon E5-2620V3 CPU
  • Crucial DDR4 32GB 4-Kit 2133MHz Reg-ECC RAM
  • Noctua NH-U9S CPU-Kühler
  • Supermicro SNK-P0050AP4 CPU-Kühler
  • 500W be quiet! Straight Power 10 CM Netzteil

Eigentlich war ein CPU-Kühler vom Typ Noctua NH-U9S geplant. Leider machte mir da aber die Tatsache, dass es in der LGA-2011 Welt zwei verschiedene Sockelvarianten gibt – Square (quadratisch) und Narrow (rechteckig) – einen Strich durch die Rechnung. Schlussendlich wurde es ein Supermicro SNK-P0050AP4 Kühler, kombiniert mit dem 90mm Lüfter des Noctua NH-U9S Kühlers. Beim RAM entschied ich mich für den Anfang mal für 32GB. Diese werde ich bei Bedarf um 32GB oder 64GB erweitern.

Storage

Der Speicher besteht aus folgenden Komponenten:

  • Intel S3500 480GB SSD
  • HP Smart Array P222 RAID-Controller
  • 4x 4TB HDD Seagate ST4000DM003
  • 1x 8TB USB3-HDD WD MyBook Duo [Backup]
Grafik

Ursprünglich war als Grafikkarte, aufgrund der optimalen Grösse und des Stromverbrauchs, eine ASUS Nvidia GeForce STRIX GTX960 DC2OC 2GD5 geplant. Da Consumer-Nvidia Grafikkarten aber grundsätzlich nicht PCI-Passtrough tauglich sind, entschied ich mich anschliessend für eine ASUS AMD Radeon STRIX R9 285 DC2OC 2GD5.

Bildschirm

Als Bildschirm kommt ein Dell U3415W zum Einsatz. Dieser Bildschirm ist zum einen aufgrund seiner Auflösung von 3440×1440 und zum anderen wegen seinen 2 USB3-Upstreamports interessant. Durch die 2 Upstreams ist es möglich, 2 PCs mit einer Bildschirm-Tastatur-Maus Kombination, analog zu einem KVM-Switch, zu betreiben.

Ergebnis

Zusammen ge- und eingebaut in das Rack sieht das Ganze dann so aus:

Projekt Server 2015

Ich möchte meinen Microserver aufgrund seiner Lautstärke und seinen begrenzten Aufrüstmöglichkeiten durch einen Neuen ersetzen. Gleichzeitig soll noch mein Dell Latitude Notebook ersetzt und mein Supermicro Rackserver in eine pfSense-Firewall umgewandelt werden. Aus diesen Gründen sollen zukünftig auf dem neuen Server neben den VMs des Microservers auch die des Supermicro Rackservers und zusätzlich noch eine neue Workstation-VM, in welche eine Grafikkarte mittels „PCI-Passthrough“ durchgereicht wird, betrieben werden. Die klassische Suche nach der eierlegenden Wollmilchsau also.

Folgende Anforderungen sind zu erfüllen:

  • Leiser Betrieb möglich
  • 4HE Rackgehäuse oder Rackmount-Option, max. Tiefe 45cm
  • Volle ESXi Unterstützung
  • CPU und MB mit PCI-Passtrough Unterstützung
  • Mind. 5 Laufwerke möglich
  • Mehrere PCIe 3.0 Slots, davon mind. 1 x16 und 1 x8
  • Mind. 64GB RAM möglich
  • IPMI/SNMP Unterstützung
  • Möglichst Standardkomponenten

Ich fasse zusammen: Gesucht wird ein leistungsfähiger ESXi -Server, welcher gleichzeitig als Workstation dient, in mein Rack einbaubar ist und dies am besten noch geräuschlos.

Das Projekt kann somit beginnen…