10 Gigabit

Einführung
 

Mit der vermehrten Nutzung bandbreitenintensiver Anwendungen wie Web 2.0, Virtualisierung, High Performance Computing (HPC) und Network Attached Storage (NAS) in den Rechenzentren der Unternehmen bietet sich 10 Gigabit Ethernet (10 GbE) als kosteneffiziente Methode an, um den Durchsatz entsprechend zu erhöhen und Servicevereinbarungen zu bedienen. Mit dem Fall der Port-Preise unter 500 Dollar werden 10 GbE-Switches auf den Access-, Verteil- und Kern-Ebenen der Rechenzentren in der Tat schnell zur Technologie der Wahl. Wo früher spezialisierte Technologien wie beispielsweise Myrinet für HPC und Fibre Channel für Speichersysteme dominierten, ersetzt oder "vereint" 10 GbE nach und nach eben solche Technologien. 10 GbE bietet die nötige Leistung, erwiesene Flexibilität und den Vorteil geringerer Kosten. Trotzdem müssen heutige 10 GbE-Switches und –Router mehr bieten als nur Geschwindigkeit und Durchsatz. Energieeffizienz und Kühlung sind kritische Faktoren bei der Optimierung von Rechenzentren, in denen Unternehmen Leistung mit Stromverbrauch balancieren, um im Energiebudget zu bleiben.
 

Dieses Technologiepapier ist in zwei Teile untergliedert. Der erste Teil diskutiert die Entwicklung von Ethernet, um dann den Fokus auf 10 Gigabit Ethernet mit den dazugehörigen Transceivern und Verkabelungstechnologien zu legen.


Kurzer Überlick über die Geschichte des Ethernet


Obwohl es Ethernet nun schon seit über drei Jahrzehnten gibt, hat sich die Technologie ständig weiterentwickelt, um mit nahezu jedem Anwendungstrend und technologischem Durchbruch des Internet Schritt zu halten. Das IEEE-Gremium begann 1983 mit der Einführung des 10 MBit/s-Ethernet auf den Ethernet-Gebiet. Durch dieses Engagement des IEEE gab es erstmals einen offiziellen, offenen Standard für die Netzwerkindustrie, was die Interoperabilität zwischen den Produkten verschiedener Hersteller sehr förderte. Das klassische Ethernet mit 10 MBit/s entwickelte sich weiter zu Fast Ethernet (100 MBit/s), Gigabit Ethernet (1 GBit/s) bis hin zu aktuell 10 GbE, womit wir uns in diesem Whitepaper beschäftigen. Bei allen Entwicklungen des Ethernet über die letzten drei Dekaden blieben das Frame-Format und die grundlegenden Arbeitsprinzipien weitgehend unverändert. In der Folge arbeiten Netze mit gemischten Geschwindigkeiten (10/100/1000 MBit/s) einheitlich, ohne dass Pakete zerpflückt und neu zusammengefügt oder Adressen übersetzt werden müssten. Die Fortschritte beim Ethernet haben sich im Wesentlichen auf die Geschwindigkeit und damit verbundenen Verkabelungs- und Transceiver-Technologien konzentriert.

10 Gigabit Ethernet -ein Überblick


10 GbE ist das aktuell wohl am meisten diskutierte Phänomen in der ständig weiter laufenden Ethernet-Entwicklung. Im Jahr 2002 als IEEE 802.3ae verabschiedet, unterstützt 10 GbE 10 GBit/s Übertragungsraten über Entfernungen bis zu 80 Kilometer. In fast jeder Hinsicht ist 10 GbE voll mit früheren Versionen von Ethernet kompatibel. Es nutzt das gleiche Frame-Format, die gleiche Medium Zugriffskontrolle (MAC) und die gleiche Rahmengröße. So können Administratoren ihre existierenden Managementwerkzeuge und Arbeitsweisen beibehalten, wenn sie 10 GbE in Ihr Netzwerk integrieren. Soweit es die Kompatibilität betrifft, sind die Unterschiede zwischen 10 GbE und früheren Versionen von Ethernet unbedeutend. Ohnehin gibt es im Grunde nur zwei signifikante Unterscheidungsmerkmale: Erstens arbeitet 10 GbE, anders als seine Vorgänger, ausschließlich im Vollduplex-Modus. Dieses Attribut ist jedoch mehr als Vorteil denn als Nachteil zu werten, wenn die Vollduplex-Arbeitsweise bietet eine erheblich schnellere Übertragung im Netzwerk, und das bei niedrigeren Antwortzeiten. Zweitens definiert der IEEE 802.3ae-Standard zwei unterschiedliche Typen physikalischer Schnittstellen: LAN PHY und WAN PHY. Die LAN PHY überträgt Ethernet-Pakete direkt über ein serielles Interface von 10 GbE. Sie ist der Standard für 10 GBit/s-Übertragungen innerhalb eines Unternehmens beziehungsweise einer LAN-Umgebung. Die WAN PHY verpackt Ethernet-Frames in SONET OC-192c-Rahmen und unterstützt einen Anpassungsmechanismus der Übertragungsrate auf 9,953 GBit/s. Dieses SONET-kompatible Interface erlaubt es, ursprüngliches 10 GbE direkt über ein existierendes SONET/SDH-Netzwerk eines Providers zu transportieren. Die Tabelle 1 zeigt einen Vergleich der Schlüsselattribute zwischen GbE und 10 GbE.

Tabelle 1: Vergleich zwischen GbE und 10 GbE


1 Gigabit Ethernet (GbE)                                     10 Gigabit Ethernet (10GbE)

CSMA/CD und Full Duplex                                  ausschließlich Full Duplex

Weiterentwickeltes Fiber Channel Physical    Neue optische PMDs

Medium Dependent (PMDs)

8B/10B-Kodierung                                                Neue 64B/66B-Kodierung

Unterstützt LAN-Anwendungen bis 70km.       Unterstützt LAN- und WAN-Anwendungen 
                                                                                  bis40km.


Verkabelungstechnologien für 10 GbE


Genauso wie frühere Versionen von Ethernet unterstützt auch 10 GbE sowohl Kupfer- als auch Glasfaserverkabelung. Aufgrund der höheren Bandbreite verlangt 10 GbE allerdings besonders bei Kupferverkabelung eine Reihe von Implementierungs-Vorgaben, was eine erhöhte Komplexität mit sich bringt. Während beispielsweise eine Kategorie-5-Verkabelung mit GbE meistens problemlos funktioniert, hat diese Form der Verkabelung erhebliche Probleme damit, die Anforderungen von 10 GbE hinsichtlich Bandbreite und Übersprechen zu erfüllen. Kategorie-5 ist deshalb nicht für den Einsatz mit 10 GbE zu empfehlen. Die nächsten beiden Abschnitte beschäftigen sich mit Kupfer- und Glasfaserverkabelungstechnologien speziell für 10 GbE.


Kupferverkabelung – 10GBase-CX4


Der IEEE 802.3ak-Standard wurde im Februar 2004 verabschiedet. Er beschreibt einen Weg, wie 10 GbE über Kupferverkabelung betrieben werden kann. Der Standard – auch als 10Base-CX4 bekannt – nutzt achtpaariges, geschirmtes Twinax-Kupferkabel, ähnlich der Infiniband-Verkabelung. CX4 unterscheidet sich deutlich von der erheblich weiter verbreiteten RJ45-Kupferverkabelung. CX4 ist steif, dick und ziemlich umständlich zu verlegen. Je länger die zu überbrückende Entfernung, desto dicker das Kabel. So beginnt die CX4-Kabeldicke bei 30 AWG (American Wire Gauge, entsprechend 0,254762 Millimeter) für sehr kurze Längen und geht bis 24 AWG (entsprechend 0,510540 Millimeter) für die vollen 15 Meter. Während GbE über RJ45-Verkabelung ohne weiteres bis zu 100 Meter transportiert werden kann, ist 10 GbE mit CX4 auf maximal 50 Fuß (~ 15 Meter) begrenzt. Derzeit beschränken sich allerdings die meisten Hersteller der aktiven Komponenten auf maximal 10 Meter pro Verbindung.

10GBASE-T


Der im Juni 2006 verabschiedete Standard 10GBASE-T (IEEE 802.3an) definiert 10 GBit/s-Übertragungen über ungeschirmte Twisted-Pair-Verkabelung (UTP) für Entfernungen bis zu 100 Meter. 10 GbE über RJ45-Verkabelung zu betreiben erlaubt den Einsatz von Switch-Lösungen mit höherer Port-Dichte und kostengünstigeren 10 GbE-Netzwerkkarten. Beides zusammen führt zu einer deutlich breiteren Marktakzeptanz. In über mehrere Jahre gewachsenen Unternehmensnetzen dominiert allerdings nach wie vor die Kategorie-5-Verkabelung (Kat-5). Damit 10GBase-T überhaupt funktionieren kann, ist hier ein Upgrade auf Kategorie 5E oder eine noch höherwertige Verkabelung nötig. Das liegt an Alien Crosstalk (Übersprechen), Insertion Loss (Einfügungsdämpfung) und Echo, um nur ein paar Dinge zu nennen, welche die Signalqualität einer niederwertigen Verkabelung bei höheren Bandbreiten beeinträchtigen. Diese inhärenten Probleme mit der Signalqualität, die den Betrieb von 10 GbE über UTP-Verkabelung beeinträchtigen, können durch ein modernes Verkabelungsdesign, professionelle Installation der Kabelkanäle und Nutzung ausschließlich zertifizierter Kabel und Patch-Panel eines Herstellers abgeschwächt und vermindert werden. In Sachen Verkabelungsdesign sind vier Modelle für Verbindungssegmente definiert, die je nach Verkabelungstypus und –qualität in den Entfernungen variieren (Tabelle 2)

Tabelle 2: Verkabelungstypen und überbrückbare Entfernungen


Verkabelung 

Entfernung

Kategorie 5E

~ 22 Meter

Nicht spezifiziert

Kategorie 6

~ 55 Meter

Nicht spezifiziert

Kategorie 6A

100 Meter

Kategorie 7*

100 Meter


* Kategorie 6A Stecker, Buchsen und Vebinder

Kategorie-6A und Kategorie-7-Verkabelungssysteme unterstützen zuverlässig 10 GBit/s-Datenraten über Verbindungslängen bis zu 100 Meter. Kategorie-6 UTP-Verkabelungssysteme lassen sich zwar prinzipiell ebenfalls mit 10 GBit/s betreiben, allerdings ohne Spezifikation der Reichweite. Bei Kategorie-6 Verkabelungssystemen sollte auf jeden Fall vorab die Installation mit guten und kalibrierten Messgeräten überprüft werden. Gegebenenfalls ist hier ein Austausch der Installation in Teilbereichen z.B. durch CAT6A Komponenten erforderlich.

Bild 1: 10GbE-Kupferverkabelung


(Quelle: Hubbell, http://www.hubbell-premise.com)



Glasfaserverkabelung


Das IEEE hat insgesamt sieben optische Übertragungsverfahren für 10 GbE definiert.
Tabelle 3 gibt einen Überblick.

Table 3: IEEE 10 GbE optische Spezifikationen

Gerät

Reichweite

Optik

Fasertyp

10GBASE-LX4    

300m MMF/10km SMF

1310nm WWDM    

MM* oder SM**

10GBASE-SR      

300m ***

  850nm

MM

10GBASE-LR        

  10km

1310nm

SM

10GBASE-ER        

  40km

1550nm

SM

10GBASE-SW     

300m

  850nm

MM

10GBASE-LW 

  10km

1310nm

SM

10GBASE-EW

  40km

1550nm

SM



http://www.10gea.org/optical-fiber-10ge.htm


* Multi Mode

** Single Mode
*** mit OM3 Faser Mit Fiber Klasse OM4 sind bis zu 550m möglich


10GBASE-LX4


10GBase-LX4, vom IEEE unter der Bezeichnung 802.3ae standardisiert, nutzt Wellenlängenmultiplexing (WDM), um Signale über vier Wellenlängen des Lichts zu senden, das über ein einzelnes Paar Glasfaserkabel übertragen wird. Das 10GBASE-LX4-System ist für den Betrieb bei 1310 nm über Multi-Mode oder Single-Mode Dark Fiber (Lichtwellenleiter die ohne Zusatzleistungen von einem Provider vermietet werden) ausgelegt. Das Entwicklungsziel für dieses Mediensystem waren Übertragungsdistanzen von 2 bis 300 m über Multi-Mode- oder von 2 bis10 km über Single-Mode-Glasfaser. Abhängig von Kabeltyp und Qualität sind unter Umständen sogar noch längere Distanzen möglich. LX4 ist teurer als SR und LR, weil es im Vergleich dazu das Vierfache an optischen und elektrischen Schaltkreisen benötigt - zusätzlich zu den optischen Multiplexern. Die hohe Zahl an Komponenten, die für die Implementation von LX4 erforderlich sind, begrenzt seine Fähigkeit, es in kleinere Formfaktoren wie etwa SFP+ zu integrieren. Heute wird LX4 über XENPAK und X2 Transceiver unterstützt.


10GBASE-(S/L/E)R


Diese optischen Spezifikationen sind für die Nutzung in Unternehmensnetzen entwickelt. Der optische Laser injiziert ein einzelnes 10 GbE-Signal. 10GBASE-SR nutzt die kostengünstigste Optik – 850 nm – um eine 10 GbE-Übertragung über Standard Multi-Mode-Glasfaser (MMF) über Entfernungen bis zu 300 m zu unterstützen. Mit Fiber Klasse OM4 sind bis zu 550m möglich. Diese so genannte Kurzstreckenspezifikation (SR = Short Reach = Kurzstrecke) ist die billigste optische 10 GbE-Schnittstelle. 10GBASE-LR nutzt eine etwas teurere Optik im 1310 nm Bereich. LR, auch als "Long Reach" oder Langstreckenspezifikationen bezeichnet, erfordert eine etwas komplexere Ausrichtung der optischen Wellenlängen, um Single-Mode-Glasfaser (SMF) über Entfernungen bis zu zehn km zu unterstützen. 10GBASE-ER (ER steht für Extended Reach, also etwa "erweiterte Reichweite") ist die teuerste Optik. Bei 1550 nm unterstützt sie Entfernungen bis zu 30 oder sogar 40 km über SMF.


10GBASE-(S/L/E)W


Die 10GBASE-W-Spezifikationen wurden für den Einsatz in Weitverkehrsnetzen (WANs) entwickelt. Diese Standards arbeiten bei der gleichen Baud-Rate wie OC-192/STM-64 SONET/SDH-Geräte. Ähnlich wie bei den SR-, LR-, und ER-Standards gibt es hier drei unterschiedliche Laser für die Unterstützung verschiedener Entfernungen.


10 Gigabit Ethernet Transceiver


Bis hierher haben wir verschiedene Verkabelungstechnologien diskutiert, die für 10 GbE entwickelt wurden. Administratoren müssen jedoch auch die Vielzahl an Interface-Optionen betrachten, die es für die Verbindung zwischen den aktiven Netzwerkkomponenten und den Übertragungskabeln gibt. Transceiver sind das Verbindungsglied zwischen den Switches und den Übertragungskabeln. Transceiver werden nicht durch das IEEE 802.3 spezifiziert, sondern sind das Ergebnis einer Übereinkunft zwischen verschiedenen Switch- und Chip-Herstellern. Diese Übereinkünfte (Auch Multi-Source Agreements oder kurz MSAs genannt) sind ein fortlaufender Prozess, der durch die Anforderungen an höhere Port-Dichten, geringerem Stromverbrauch, kleinere Formfaktoren, höhere Leistung und niedrigere Preise getrieben wird. Netzwerkarchitekten, die ein neues 10 GbE-Netzwerk entwerfen, beziehungsweise ein vorhandenes managen, müssen einige wenn nicht alle der folgenden Transceiver-Typen in Betracht ziehen.


300-PIN


Die ersten 10 GbE-Transponder entsprachen den MSAs für 200 oder 300 Pins. Diese Module wurden in erster Linie für die Unterstützung von SONET/SDH-Anwendungen entwickelt, um serielle optische 10 GbE-Signale in 16 parallele elektrische 622 MBit/s-Signale umzuwandeln.


XENPAK


XENPAK war im Vergleich zu den 300 Pin-MSA-Formfaktoren ein gewaltiger Schritt nach vorne. Diese im laufenden Betrieb steckbaren Module sind – obwohl immer noch relativ groß und sperrig – deutlich kleiner in den Abmessungen als 300 Pin MSA und damit für die Verwendung mit der ersten Generation von 10 GbE-Switches niedriger Dichte ausreichend. XENPAK unterstützt den IEEE 802.3ak Kupfer-Standard für CX4, ebenso wie den LX4-Standard. XENPAK basiert auf einem parallelen Interface (XAUI).


XPAK and X2


Besonders die Anforderungen an einen niedrigeren Stromverbrauch und an höhere Port-Dichten haben Innovationen für deutlich kleinere, ebenfalls im laufenden Betrieb steckbare Module angespornt. Die ersten Vertreter der neuen Generation sind die XPAK- und X2-MSA Formfaktoren. Sie sind um 40 % kleiner als XENPAK, unterstützen aber immer noch das gleiche XAUI-Interface. XPAK kommt vornehmlich im Markt für Netzwerkadapterkarten (NIC) und Host-Bus-Adaptern (HBA), wie sie in Servern und Speichergeräten verbaut werden, zum Einsatz.


XFP


Die XFP MSA ist die dritte Generation von 10 GbE-Transceivern. Anders als XENPAK, X2 und XPAK, hat XFP ein serielles elektrisches 10 GBit/s-Interface (XFI), das serielle Signale von 9,95 bis 10,7 GBit/s in externe optische oder elektrische Signale gleicher Datenrate umwandelt. Damit werden Logik-Chips für die Umwandlung von seriell nach parallel (Mux/Demux) innerhalb des Moduls überflüssig. Dies wiederum erlaubt, dass der Schaltkreis für die physikalische 10 GbE-Ebene (PHY) auf den PCB (und damit weg von der durch die Optik generierte Hitze) wandern und alles bis hin zum seriellen XFI-Interface im CMOS Media-Access-Controller-Chip integriert werden kann. Durch ihr XFI-Interface unterstützen XFP-Module sowohl 10 GbE als auch Fibre Channel und SONET/SDH.


SFP+


SFP+ ist die nächste Generation der Formfaktoren für Transceiver-Module. Die ANSI T11-Gruppe hat diese Spezifikation sowohl für 8,5- und 10-GBit/s Fibre Channel, als auch 10 GbE entwickelt. SFP+ Module sind nochmals um 30 Prozent kleiner als XFP-Module, zudem verbrauchen sie weniger Strom. Im verkleinerten Gehäuse sind außerdem weniger elektrische Komponenten untergebracht, wodurch die Kosten pro Port für ein 10 GbE SFP+Modul gesenkt werden konnten. SFP+ ist bis heute eine tragende Säule der 10 GbE-Industrie, weil die Switch-Hersteller damit mehr Ports in kleinere Formfaktoren packen und durch die bessere Integration von Schaltkreisfunktionen auf Host-Karten-Ebene zudem die Systemkosten deutlich senken konnten.