Proxmoxserver – Edition 2024

Hardware, , , , , , , , , , ,

Nach bald 8 Jahren durfte mein primärer Proxmoxserver auf neue Hardware umziehen.
Dies waren grob die Anforderungen:

  1. Leise
  2. Media HW-Transcoding
  3. 10Gb-Netzwerk
  4. >64GB ECC-RAM
  5. VT-d
  6. 8x SATA-Ports, bzw. 3,5″ HDD-Slots
  7. BMC

Wie bei solchen Projekten fast schon üblich, blieben auch diesmal Fehlkäufe nicht aus. Ursprünglich sollte das HW-Transcoding von der iGPU übernommen werden. Beim Zusammenbau stellte sich jedoch heraus, dass das ausgewählte Mainboard keine iGPU-Unterstützung bietet, sodass auf eine externe GPU ausgewichen werden musste. Auch das ursprünglich geplante Netzteil, ein SilverStone SST-ST45SF-G, erwies sich als Fehlgriff, da der Lüfter unabhängig von der Last zu laut war. Das nun eingesetzte Netzteil von Corsair ist hingegen flüsterleise – eine klare Empfehlung.

Das finale HW-Setup sieht nun wie folgt aus:

KomponenteStkMarkeTypKommentar
CPU1IntelCore i5-14500FCLGA1700, 65W
CPU-Kühler1NoctuaNH-L9i-17xx
DAC-Kabel1CiscoSFP-H10GB-CU3M3m
Gehäuse1SilverstoneCS381
Gehäuse-Lüfter2NoctuaNF-A12 x 25 LS-PWM
Grafikkarte1HPEIntel Arc Pro A40 6GB
Harddisk4SeagateIronWolf 3.5" SATA 10 TBZFS RAID-10
Mainboard1SupermicroMBD-X13SCHmATX
Netzteil SFX1CorsairSF750SFX
Netzwerkkarte1HPE727055-B212x SFP+
RAM4KingstonKSM48E40BD8KM-32HM 1x 32GB DDR5-ECC
SAS-Kabel1SupermicroCBL-SAST-0826SFF-8654 -> 2x SFF-8643
SSD2Western DigitalWD Red SN700 2TB NVMeZFS RAID-1

Details zur Konfiguration gibt’s in meiner Topologie.

Ubuntu @Thinkpad X395 bootet nicht im Akkubetrieb

Software, , , ,

Will das frisch installierte Ubuntu auf einem Thinkpad X395 im Akkubetrieb nicht booten? Nur nicht verzweifeln, das Problem lässt sich zum Glück durch anpassen der Grub-Konfiguration einfach lösen:

In der Datei

/etc/default/grub

die Zeile

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

wie nachfolgend anpassen

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash iommu=soft"

und anschliessend die Grub-Konfiguration neu erstellen

update-grub

 

OPNsense an einem Hybrid7-Anschluss

Netzwerk, ,

Bei Hybrid7 handelt es sich um ein symmetrisches Gigabit-Glasfaser-Angebot von Init7. Im Gegensatz zu Fiber7 (auch von Init7), bei welchem die Faser direkt auf einen Init7-Switch führt, muss Init7 hier auf die BBCS Plattform von Swisscom zurückgreifen. Für den Nutzer bedeutet dies, dass die Adressierung der WAN-Schnittstelle nicht per DHCP, sondern via PPPoE in Verbindung mit Radius erfolgt. Als wäre dies nicht schon genug, muss der ganze WAN-Verkehr zusätzlich auch noch mit der VLAN-ID 11 getaggt werden.

Folgende Handgriffe sind dafür nötig:

<Ergänzung von Luca Poltera>

Super Anleitung Danke.

Einzig der Schritt, dass als erstes der Anschluss über VLAN10 (DHCP) einmalig (bei der Swisscom) aktiviert werden muss, ist nicht enthalten.

Dies ist natürlich nur bei NEUEN INIT7 Anschlüssen der Fall, bei bereits aktivierten, fällt diese Schritt weg und deine Anleitung ist „korrekt“.

Schritt 1 VLAN10 -> DHCP ->Fiber Anschluss aktivieren
Schritt2 VLAN 11 -> PPPoE -> Internet …

</Ergänzung>

VLAN-Tagging

Das VLAN-Tagging kann grundsätzlich an zwei Orten erfolgen: Direkt auf der Firewall, oder auf einem zwischengeschaltetem Switch, bzw. Medienkonverter. In meinem Fall erledigt dies ein der Firewall vorgeschalteter Cisco-Switch mit folgender Portkonfiguration:

interface GigabitEthernet0/12
 description Hybrid7
 switchport trunk allowed vlan 11
 switchport trunk native vlan 99
 switchport mode trunk
 spanning-tree portfast edge

Soll OPNsense das Tagging übernehmen, so ist hierfür ein VLAN-Subinterface auf der WAN-Schnittstelle zu erstellen und anschliessend zuzuweisen:

WAN-Schnittstelle

General configuration

PPPoE configuration

DHCPv6 Client configuration

Send Options

ia-na 0, ia-pd 0

Abschluss

Nach erfolgter Konfiguration müsste der WAN-Schnittstelle anschliessend eine IPv4- sowie eine IPv6-Adresse zugeteilt worden sein:

Hat dies geklappt, können anschliessend den lokalen Netzen nach Lust und Laune IPv6-Netze aus dem riesigen /48-Prefix (= 65000 x /64-Netze!) zugeteilt werden.

OSPF(v3) über Wireguard auf OPNsense

Netzwerk, , ,

Wer OSPF und/oder OSPFv3 über einen Wireguard VPN-Tunnel betreiben will, sollte unbedingt folgende Punkte beachten:

Wireguard

  • Local
    • Advanced Mode
      • check
    • Tunneladressen
      • 10.0.0.1/30
      • fd00::1/126
      • fe80::1/64 (Zwingend für OSPFv3!)
    • Disable Routes
      • uncheck
    • Gateway
      • 10.0.0.2
  • Endpoints
    • Allowed IPs
      • 0.0.0.0/0
      • ::/0

Interfaces

Jedem Wireguard-Tunnel muss ein Interface zugewiesen werden, welches anschliessend zu aktivieren ist:

OSPF(v3)

  • Network Type
    • Point-to-point Network

Ergebnis

Nach erfolgter Konfiguration sollte man mit folgendem Ergebnis belohnt werden: