Network Spezifikation

Dieses Dokument beschreibt grob die von ACO-Infrastruktur betreuten Ethernet basierten Netzwerke. Diese Spezifikation wird nach Bedarf angepasst.

Beschleuniger Netzwerk

An der GSI werden (derzeit) vier Campus weite physikalische Ethernet Netze betrieben. Dies sind Campusnetz der Core-IT, Timingnetz der ACO-Timinggruppe (White Rabbit Netz) sowie ACO-Netz und Industrial Ethernet betreut von ACO-INN.

Aufgabe des ACO-Netzes ist der Betrieb und die Steuerung der Beschleunigeranlage. Es wird von ACO-INN betreut.

Es gibt unterschiedliche, sich teilweise widersprechende, Anforderungen an die Verfügbarkeit, Stabilität, Bandbreite, Flexibilität und Sicherheit des Netzes. Technische Implementierungen folgen einer Abwägung dieser unterschiedlichen Anforderungen. Die Netzwerke stellen eine geteilte Ressource dar, deren Nutzung und Pflege Kosten bei der Beschaffung und hinsichtlich Arbeitskraft verursacht.

ACO stellt ein Netz für Endgeräte zur Verfügung. Der Standardanschluss ist RJ45 mit einer maximalen Bandbreite von einem Gigabit. Die Auslegung der nutzbaren Bandbreiten erfolgt in Absprache mit ACO. Das Netz ist nicht auf eine Massendatenerfassung mit nomineller Bandbreite ausgelegt, z.B. gibt es aus Kostengründen eine Oversubscribtion auf der Transportebene.

Jedes Gerät, dass am Netz teilnimmt, hat einen Geräteverantwortlichen. Dieser ist für das Gerät verantwortlich und muss somit sicherstellen, dass sein Gerät sich standardkonform verhält, andere Teilnehmer nicht stört, sein Gerät auf einem aktuellen Sicherheitsstand ist, das Netz nicht überlastet, etc. Er hat eine Sorgfaltspflicht gegenüber den anderen Netzwerkteilnehmern.

Damit ein Gerät am Netzwerk teilnehmen darf, muss es registriert werden. Ein Gerät kann mit seiner Netzwerkkarte nur in einem der physikalischen Netze registriert werden. Hiermit wird sichergestellt, dass keine unbekannten Geräte am Netzwerk teilnehmen und für jedes Gerät ein Verantwortlicher definiert wurde.

Die physikalischen Netze sind mittels VLAN in logische IP-Netze aufgeteilt. Mit den logischen Netzen sind unterschiedliche Aufgaben und Sicherheitszonen verknüpft. Die Kommunikation zwischen logischen Netzen erfolgt über Router und Firewalls. Jedes Gerät wird bei der Registrierung einem solchen logischen Netz zugeordnet.

Die Zuordnung von physikalischen Netzwerkanschlüssen zu logischen Netzen erfolgt dynamisch via MAC-based 802.1X Radius Authentifizierung.

Ausgewählte IP-Netze der Core-IT werden auch durch das physikalische ACO-Netz transportiert.

Die Konfigurationsinformationen (IP, Netzmaske, Gateway, DNS, etc.) zur Teilnahme am Netzwerk werden via DHCP verteilt. Es wird empfohlen diesen Mechanismus zu verwenden, um Konfigurationsfehler zu vermeiden. Für eine manuelle Konfiguration können die Information bei Bedarf bei INN erfragt werden, Änderungen werden nicht aktiv kommuniziert.

Einschränkungen und Richtlinien

Damit INN das Netz stabil betrieben und entstört werden kann, ergeben sich technische Einschränkungen. Einige dieser Einschränkungen sind hier aufgeführt.

• Es ist nicht erlaubt, aktive Netzwerkkomponenten anzuschließen, die nicht von INN betreut werden. D.h. keine Switche, Router, Firewalls, Wifi Access points etc. Dies wird teilweise durch aktive Maßnahmen erzwungen, z.B. sind BPDU guards aktiv.
• Für die dynamische Konfiguration der Netzwerkanschlüsse müssen Geräte ohne äußere Stimulation anfangen Ethernet Pakete zu versenden, z.B. durch DHCP-Anfragen.
• Um eine eindeutige Authentifizierung sicherzustellen, kann nur eine MAC-Adresse pro physikalischem Anschluss verwendet werden.
• Nach einer Stromabschaltung ist die Reihenfolge der Zuschaltung nicht festgelegt, INN hat hierauf keinen Einfluss. Dies kann dazu führen, dass Endgeräte eine Verbindung aufnehmen, bevor sich das Netz stabilisiert hat. Endgeräte müssen dies entweder selbstständig behandeln (z.B. Interface reset wenn Gateway nicht verfügbar) oder vom Geräteverantwortlichen nach Stabilisierung des Netzes manuell neu gestartet werden.
• Der Einsatz von Broadcast und Multicast Paketen ohne Absprache mit INN ist zu unterlassen (ausgenommen sind arp und dhcp). In Netzen dieser Größe sind Multicast und Broadcast Pakete auf ein Minimum zu reduzieren. Broadcast/Multicast Pakete unterliegen technischen Restriktionen und werden ggf. automatisch verworfen. Multicast Pakete enden spätestens am nächsten Layer 3 Device (Router, Firewall). Hierzu gehören auch Device Discovery, Autoconfiguration und "optimierte" Kommunikationssysteme.

INN empfiehlt vor der Entwicklung und dem Anschluss von "neuartigen" IP-basierten Systemen, die mehr als Punkt-zu-Punkt Verbindungen einsetzen wollen, Rücksprache mit INN zu halten. Von der Komplexität und der Größe her sollte eher in der Dimension von "Internet" als in der von einem lokalem Heimnetz gedacht werden.

INN behält es sich vor Kommunikation und Geräte die das Netz stören oder Sicherheitsprobleme aufweisen, ohne Rücksprache und ggf. automatisch, zu blockieren (BPDU Guards, storm control, etc.).

Das Industrial Ethernet dient ausschließlich zum Anschluss von PLC/S7 Geräten, vorwiegend der von ACO-IND betreuten Infrastruktur (wie zum Beispiel: Vakuum- und Cryo-Steuerung, PAS/ZKS, Interlock). Die verfügbare Bandbreite in diesem Netz ist geringer.

Für das Industrial Ethernet steht auch bei Strahlbetrieb zurzeit keine Rufbereitschaft zur Verfügung.

Planungsstand FAIR

Die FAIR Netzwerkplanung ist weit fortgeschritten. Der größte Teil der FAIR Gebäude ist netzwerktechnisch fertig geplant und die Unterlagen wurden an Fair Site and Building (FSB) weitergegeben. FSB gibt diese Unterlagen an externen Planer weiter. Auch die externen Planer haben viele Gebäude netzwerktechnisch bereits fertig geplant.

Welche Probleme würde man durch nachträgliche Änderungen verursachen?

• Nach Erfahrung sind solche Änderungen ohne einen Change Request (CR) nicht möglich. Arbeits- und Hardware-Kosten des CR bei solchen Änderungen können immens sein.
• Man muss bei jedem Standort mit erheblichen Hardwareerweiterung rechnen. Sprich: Switche und Patchpanels, vorausgesetzt es gibt im jeweiligen Rack noch genug Platz.
• Eventuelle neue Rackaufstellungen sind wegen des weit fortgeschrittenen Raumlüftungskonzepts und der Wärmelastfestlegung an den jeweiligen Rack-Standorten ausgeschlossen.
• Das angedachte Industrial Ethernet Setup, bestehend aus sechs Ringverkabelungen, würde bei einer Erweiterung der Industrial Ethernet Ports so nicht mehr realisierbar sein.

FAQ

Mein System benötigt höhere Bandbreiten.

Das ACO-Netz ist als Steuernetz ausgelegt. Wir können an ausgewählten Standorten höhere Bandbreiten bereitstellen. Diese sind aber nicht überall und nicht quer über das Gelände verfügbar. Bevor dies gemacht wird müssen Notwendigkeit und Kosten geklärt werden.

Mein System benötigt Internetzugriff auf / soll aus dem Internet erreichbar sein.

Das ACO-Netz dient ausschließlich für den Betrieb der Beschleunigeranlage. Es werden keine Dienste angeboten, die aus dem Internet erreichbar sind. Steuergeräte sollten keinen Zugriff auf das Internet benötigen. Desktop Rechner auf denen spotify, ebay, etc verwendet wird sind hier falsch.

Ich benötige weitere Netzwerkports in FAIR Gebäude XY.

Siehe Planungsstand FAIR

Was tun, wenn ein Gerät nicht mehr auf einen aktuellen Sicherheitsstand gebracht werden kann?

Am besten das Gerät durch ein aktuelleres System ersetzen. Ist dies nicht möglich, muss in Zusammenarbeit mit IT-Security eine Lösung erarbeitet werden. z.B. Isolierung durch einen Gateway Rechner und einem lokalen Netz.

Was ist bei multihomed Systemen zu beachten?

In Einzelfällen kann es sinnvoll sein, ein System mit mehreren Ethernet Schnittstellen zu betreiben. Beispielsweise zur Isolation lokaler Messsysteme. Es gilt:

• Es darf nur ein Interface an einem campusweiten Netzwerk (ACO, Core-IT) angeschlossen werden.
• Alle weiteren Interfaces dienen zur Kommunikation mit lokalen isolierten privaten Netzen. Diese sind nur von dem multihomed System erreichbar.
• Der Betreiber des Endgeräts hat dafür Sorge zu tragen, dass sich Störungen in den lokalen Netzen nicht auf die übergeordneten campusweiten Netze übertragen können. Dies gilt auch, wenn das Gerät selber eine Störung aufweist oder im Default/Factory Zustand ist. Oder wenn die weiteren Interfaces aufgrund einer Fehlpatchung an einem Campusnetz angeschlossen werden.
• Zwischen den lokalen und dem campusweiten Interfaces darf keine Layer-2- Kommunikation stattfinden (keine Durchleitung von broadcast, arp, multicast, spanning tree, bdpu etc).
• Ein SVI (switch virtual interface), als Interface zum campusweiten Netz, reicht nicht aus, um die Layer-2-Kommunikation zu verhindern. Hier wird die IP-Adresse an ein VLAN gebunden. Werden mit diesem Verfahren Systeme verbunden, findet der Datenverkehr auf Layer 2 statt. Das bedeutet, das Spanning Tree Informationen wie BPDU Pakete, Broadcast, Multicast weitergeleitet werden. Somit würde eine Störung durch das Gerät an alle beteiligten Systeme, auch im campusweiten Netz, weitergeleitet. Viele Routing-fähigen Netzwerkkomponenten (wie die Scalance S) verwenden diese Methode Default-mäßig und müssten vor der Verwendung umgestellt werden.
• Um eine IP-Adresse an ein physikalisches Interface zu binden benötigt man einen routed port. Dies gewährleistet, dass jegliche Kommunikation unterhalb des 3er-Layers an diesem physikalischen Interface endet.