Cisco: switches, routers and comms rooms of a site with a trading floor

Qué vas a conseguir

Una sala de comunicaciones en la que un fallo de una fuente, de un switch o de un circuito no deja a nadie sin red, y en la que cualquier técnico del equipo sabe qué hay, dónde está cada cable y cómo entrar a un equipo aunque la red esté caída. En una sede con sala de trading la red no puede pararse en horario de mercado: cada minuto sin red en una mesa es una posición que nadie puede gestionar. Esta guía no repite VLANs ni troncales (están en la guía de Cisco del Nivel 4); se centra en cómo se diseña y se opera la sala para que esa exigencia se cumpla.

Antes de empezar

El inventario de la sala: núcleo, pilas de acceso, routers, firewalls, servidor de consolas, SAI y PDU, con su número de serie y su contrato de soporte.
El calendario de mercado que aplica a la sede (apertura, cierre, festivos de cada mercado en el que se opera) y la ventana de cambios acordada con el negocio.
Los identificadores de circuito de cada operadora y su teléfono de incidencias 24x7.
Acceso al gestor de contraseñas del equipo, con las credenciales locales de los equipos y del servidor de consolas.

1. Energía y redundancia

La regla es que nada crítico dependa de un solo elemento:

Dos fuentes en cada switch y router, cada una a una PDU distinta, y cada PDU a un SAI distinto (o a dos ramas del mismo sistema de alimentación de la sede). Una fuente a la PDU A y otra a la PDU A no es redundancia.
Núcleo en pareja: dos switches de núcleo (StackWise Virtual o una pareja con HSRP/VRRP, según el diseño), con los uplinks de cada pila de acceso repartidos entre los dos.
Pilas de acceso con el cable de pila cerrado en anillo y, si el modelo lo permite, StackPower. Si un miembro cae, la pila sigue con los demás.
Los puestos de una mesa repartidos entre miembros de la pila: si el puesto principal de un trader va al switch 2, su segundo equipo o su teléfono de mesa va al switch 3. Así, perder un miembro deja a la mesa a medio gas, no a oscuras.
Dos routers o circuitos de operadoras distintas, con entradas al edificio por caminos distintos cuando el edificio lo permite.

Pide al responsable de instalaciones la autonomía real del SAI con la carga actual y la prueba del grupo electrógeno. El dato de la placa no sirve si se añadieron racks desde la instalación.

2. Etiquetado y cableado

Elemento	Norma	Ejemplo
Rack	Fila y posición	`R02`
Equipo	Nombre de host en el frontal y en la trasera	`sw-acc-p3-01`
Panel de parcheo	Rack, panel y puerto	`R02-PP04-17`
Toma de puesto	Planta, zona y número, igual en el panel	`P3-TR-042`
Latiguillo	Etiqueta en ambos extremos con origen y destino	`PP04-17 / Gi2/0/17`
Circuito de operadora	Identificador del circuito y operadora	`CIRC-A-77310`

Colores fijos: por ejemplo, azul para puestos, amarillo para enlaces entre equipos, rojo para gestión y consola.
La hoja de puertos (toma, panel, switch, puerto, VLAN) vive en un sitio único y se actualiza en el mismo cambio que mueve el cable. Una hoja desactualizada es peor que ninguna, porque alguien la creerá.
Nada de latiguillos colgando entre racks ni cableado que tape las fuentes: cambiar una fuente en caliente no debe exigir mover cables de producción.

3. Consola fuera de banda y copias de configuración

Si el núcleo se cae, no vas a llegar a él por la red que él mismo da. El servidor de consolas tiene un cable de consola a cada equipo de la sala, su propia salida (una línea de datos móviles o un circuito independiente) y acceso solo para el equipo de redes, con MFA. Los puertos de gestión de los equipos van a una red de gestión separada.

Cada equipo guarda copias locales de su configuración al guardarla, y además una herramienta central (la de monitorización o un script programado) las recoge cada noche.

sw-core-01 · copias locales de configuración

›show running-config | section archivearchive path flash:/archive/cfg maximum 10 write-memory time-period 1440›show archiveThe maximum archive configurations allowed is 10.There are currently 3 archive configurations saved.The next archive file will be named flash:/archive/cfg-4 Archive #  Name   1        flash:/archive/cfg-1   2        flash:/archive/cfg-2   3        flash:/archive/cfg-3 <- Most Recent

Con write-memory se guarda una copia cada vez que alguien hace write memory, y con time-period también una al día. Compara la copia central de anoche con la configuración actual antes de cualquier cambio: así sabes si alguien tocó algo fuera de procedimiento.

4. Ventanas de cambio y visitas de operadoras

Fuera del horario de mercado: los cambios en núcleo, routers y pilas que dan servicio a la sala de trading se hacen por la noche o en fin de semana, con el calendario de festivos a la vista. Un día festivo en un mercado puede ser laborable en otro en el que la sede opera.
Congelación en fechas sensibles: cierres de trimestre, vencimientos y días de publicación de datos macroeconómicos relevantes para la mesa. El negocio te dirá cuáles.
Cada cambio con plan de vuelta atrás probado, persona de redes en la sala o con consola, y una prueba de humo al terminar: un puesto de cada mesa con red, plataformas de mercado conectadas, telefonía de mesa con tono.
Visitas de operadoras: siempre con ticket previo, nombre del técnico, identificador del circuito y alguien de IT acompañando. El técnico de una operadora toca su equipo, no el tuyo; si para su trabajo hay que reiniciar tu router, eso es un cambio y va en ventana.

Una intervención "sin impacto" de una operadora a las 10:00 en un día de mercado no existe. Pide que se haga en ventana aunque digan que no corta.

5. El ticket: "una mesa de trading se ha quedado sin red a las 8:55"

Cinco minutos antes de la apertura, seis puestos de la mesa de renta fija no tienen red. Los teléfonos de la misma mesa sí funcionan.

Acota: seis puestos de una misma fila y los teléfonos funcionando apunta a un elemento común, no a seis cables.
La hoja de puertos dice que esos seis puestos van todos al switch 3 de la pila de la planta 3, y los teléfonos al switch 2.
La pila:

sw-acc-p3-01 · estado de la pila y alimentación

›show switchSwitch/Stack Mac Address : 0c11.6700.1a00 - Local Mac AddressMac persistency wait time: Indefinite                                             H/W   CurrentSwitch#   Role    Mac Address     Priority Version  State-------------------------------------------------------------*1       Active   0c11.6700.1a00     15     V02     Ready 2       Standby  0c11.6700.2b00     14     V02     Ready 3       Member   0000.0000.0000      0             Removed›show logging | include STACKMGROct 28 08:53:12: %STACKMGR-6-SWITCH_REMOVED: Switch 1 R0/0: stack_mgr: Switch 3 has been removed from the stack.

En la sala: el switch 3 está apagado. Tiene una sola fuente instalada (la segunda nunca se llegó a pedir) y está conectada a la PDU B, que ha saltado.
Recuperar ya: rearma la PDU si instalaciones confirma que es seguro; si no, mueve los seis latiguillos a puertos libres del switch 1 o 2 en la misma VLAN (consulta la hoja) y anota el cambio. Prioridad: la mesa operando a las 9:00.
Después: pide la segunda fuente, revisa qué más tiene una sola fuente o una sola PDU, y reparte los puestos de esa mesa entre miembros, como en la sección 1. El informe de la incidencia dice causa, tiempo sin servicio y qué se cambia para que no se repita.

6. Lo que revisas cada mes

Fuentes y PDU: que cada equipo tiene dos fuentes en estado correcto (show environment power) y cada una en una PDU distinta.
El estado del SAI y su autonomía, con instalaciones.
Que la copia central de configuración de anoche existe para todos los equipos y que no hay diferencias sin cambio aprobado.
El servidor de consolas: que llegas a cada equipo y que su línea de salida funciona.
La hoja de puertos contra la realidad en una muestra de tomas.
El soporte y el fin de vida de los equipos de la sala.

Siguientes pasos

La guía de Cisco: switches y routers del Nivel 4 cubre VLANs, troncales, el router con circuito de respaldo y los cambios en remoto con red de seguridad.
La guía de Fortinet FortiGate cubre el firewall que suele estar en la misma sala.
La guía de SolarWinds sirve para vigilar fuentes, pilas y circuitos y guardar las configuraciones.
La guía de Backup y DR/BCP sitúa la sala en el plan de continuidad de la sede.

¿Falta algo o en tu entorno es distinto? Escríbeme y lo corrijo.

What you'll get

A comms room where the failure of a power supply, a switch or a circuit leaves nobody without network, and where any technician on the team knows what is there, where each cable goes and how to reach a device even with the network down. On a site with a trading floor the network cannot stop during market hours: every minute a desk is offline is a position nobody can manage. This guide does not repeat VLANs or trunks (they are in the Level 4 Cisco guide); it focuses on how the room is designed and run so that requirement is met.

Before you start

The room's inventory: core, access stacks, routers, firewalls, console server, UPS and PDUs, with serial numbers and support contracts.
The market calendar that applies to the site (open, close, holidays of each market traded) and the change window agreed with the business.
The circuit IDs of each carrier and their 24x7 fault line.
Access to the team's password manager, with local credentials for the devices and the console server.

1. Power and redundancy

The rule is that nothing critical depends on a single element:

Two power supplies in every switch and router, each to a different PDU, and each PDU to a different UPS (or two branches of the site's power system). One supply to PDU A and the other also to PDU A is not redundancy.
A core pair: two core switches (StackWise Virtual or a pair with HSRP/VRRP, depending on the design), with each access stack's uplinks split between them.
Access stacks with the stack cable closed in a ring and, where the model supports it, StackPower. If a member fails, the stack carries on with the rest.
A desk's seats spread across stack members: if a trader's main PC goes to switch 2, their second PC or desk phone goes to switch 3. Losing a member then leaves the desk running at half capacity, not in the dark.
Two routers or circuits from different carriers, entering the building by different paths where the building allows it.

Ask facilities for the UPS's real runtime with the current load and the generator test results. The figure on the nameplate is no use if racks have been added since installation.

2. Labelling and cabling

Element	Standard	Example
Rack	Row and position	`R02`
Device	Hostname on the front and the back	`sw-acc-p3-01`
Patch panel	Rack, panel and port	`R02-PP04-17`
Desk socket	Floor, zone and number, the same on the panel	`P3-TR-042`
Patch lead	Label at both ends with source and destination	`PP04-17 / Gi2/0/17`
Carrier circuit	Circuit ID and carrier	`CIRC-A-77310`

Fixed colours: for example, blue for desks, yellow for links between devices, red for management and console.
The port sheet (socket, panel, switch, port, VLAN) lives in one place and is updated in the same change that moves the cable. An out-of-date sheet is worse than none, because someone will believe it.
No leads hanging between racks and no cabling covering the power supplies: hot-swapping a supply must not require moving production cables.

3. Out-of-band console and configuration backups

If the core goes down, you won't reach it through the network it provides. The console server has a console cable to every device in the room, its own uplink (a mobile data line or an independent circuit) and access only for the network team, with MFA. Device management ports go to a separate management network.

Each device keeps local copies of its configuration whenever it is saved, and a central tool (the monitoring one or a scheduled script) also collects them every night.

sw-core-01 · local configuration archive

›show running-config | section archivearchive path flash:/archive/cfg maximum 10 write-memory time-period 1440›show archiveThe maximum archive configurations allowed is 10.There are currently 3 archive configurations saved.The next archive file will be named flash:/archive/cfg-4 Archive #  Name   1        flash:/archive/cfg-1   2        flash:/archive/cfg-2   3        flash:/archive/cfg-3 <- Most Recent

With write-memory a copy is saved every time someone runs write memory, and with time-period one a day as well. Compare last night's central copy with the current configuration before any change: that tells you whether someone touched something outside the process.

4. Change windows and carrier visits

Outside market hours: changes to the core, routers and stacks serving the trading floor are done at night or at the weekend, with the holiday calendar in view. A holiday in one market can be a working day in another the site trades.
Freezes on sensitive dates: quarter-ends, expiries and days with macroeconomic releases relevant to the desk. The business will tell you which.
Every change with a tested rollback plan, someone from networks in the room or on the console, and a smoke test at the end: one seat per desk with network, market platforms connected, desk telephony with a dial tone.
Carrier visits: always with a prior ticket, the engineer's name, the circuit ID and someone from IT escorting. A carrier engineer touches their equipment, not yours; if their work requires rebooting your router, that is a change and goes in a window.

A carrier intervention "with no impact" at 10:00 on a market day does not exist. Ask for it to be done in a window even if they say it won't cut service.

5. The ticket: "a trading desk lost network at 8:55"

Five minutes before the open, six seats on the fixed income desk have no network. The phones on the same desk work.

Narrow it down: six seats in the same row with phones working points to a common element, not six cables.
The port sheet says those six seats all go to switch 3 of the floor 3 stack, and the phones to switch 2.
The stack:

sw-acc-p3-01 · stack and power status

›show switchSwitch/Stack Mac Address : 0c11.6700.1a00 - Local Mac AddressMac persistency wait time: Indefinite                                             H/W   CurrentSwitch#   Role    Mac Address     Priority Version  State-------------------------------------------------------------*1       Active   0c11.6700.1a00     15     V02     Ready 2       Standby  0c11.6700.2b00     14     V02     Ready 3       Member   0000.0000.0000      0             Removed›show logging | include STACKMGROct 28 08:53:12: %STACKMGR-6-SWITCH_REMOVED: Switch 1 R0/0: stack_mgr: Switch 3 has been removed from the stack.

In the room: switch 3 is off. It has a single power supply fitted (the second was never ordered) and it is plugged into PDU B, which has tripped.
Recover now: reset the PDU if facilities confirms it is safe; if not, move the six leads to free ports on switch 1 or 2 in the same VLAN (check the sheet) and log the change. Priority: the desk trading at 9:00.
Afterwards: order the second supply, check what else has a single supply or a single PDU, and spread that desk's seats across members, as in section 1. The incident report states the cause, the time without service and what changes so it doesn't happen again.

6. What you review each month

Supplies and PDUs: that every device has two supplies in a good state (show environment power) and each on a different PDU.
The UPS status and runtime, with facilities.
That last night's central configuration copy exists for every device and there are no differences without an approved change.
The console server: that you reach every device and its uplink works.
The port sheet against reality on a sample of sockets.
Support and end-of-life dates of the devices in the room.

Next steps

The Level 4 Cisco: switches and routers guide covers VLANs, trunks, the router with a backup circuit and remote changes with a safety net.
The Fortinet FortiGate guide covers the firewall usually found in the same room.
The SolarWinds guide helps watch supplies, stacks and circuits and keep the configurations.
The Backup and DR/BCP guide places the room in the site's continuity plan.

Is something missing, or different in your environment? Get in touch and I'll fix it.

Tech Career Lab · newsletter

¿Te ha servido? Cada dos semanas envío una idea práctica para perfiles IT: LinkedIn, proyectos, networking y procesos de selección.Found this useful? Every two weeks I send one practical idea for IT professionals: LinkedIn, projects, networking and hiring processes.

Apúntate y llévate las 33 ideasSign up and get the 33 ideas →