Qué vas a conseguir
Que cuando un circuito cae no pierdas los primeros veinte minutos buscando el identificador, el teléfono del operador o el contrato. En una sede con sala de trading la conectividad es parte del negocio: Internet, la red con el centro de datos, las líneas de datos de mercado y la voz. Cada una tiene su operador, su SLA y su forma de abrir averías, y quien está de guardia a las 8:00 tiene que tenerlo todo en una página.
Antes de empezar
- Los contratos de cada servicio, con su anexo de SLA (disponibilidad, tiempo de respuesta, tiempo de reparación, penalizaciones).
- Acceso al portal de averías de cada operador con usuarios nominales del equipo, no una cuenta compartida.
- El plano de la sede: sala de comunicaciones, por dónde entran los circuitos al edificio y qué equipo termina cada uno.
- La monitorización de los enlaces (SolarWinds, Grafana o la que uses) con alertas al equipo de guardia.
1. El inventario de circuitos
Una tabla por sede, mantenida en la CMDB o en Confluence, y una copia impresa en la sala de comunicaciones:
| Campo | Ejemplo |
|---|---|
| Servicio | Internet principal |
| Operador | Operador A |
| ID de circuito | OPA-MAD-0048213 |
| Ancho de banda | 1 Gbps simétrico |
| Terminación | NTE en rack R02, puerto 1 → rtr-mad-01 Gi0/0/0 |
| Direccionamiento | 192.0.2.0/29 (pública), vecino BGP 192.0.2.1 |
| SLA | 99,95 %, reparación 4 h, 24x7 |
| Averías | Portal + teléfono del NOC 24x7 |
| Escalado | Nivel 1 NOC → nivel 2 jefe de turno (1 h) → nivel 3 gestor de cuenta (2 h) |
| Ruta | Entrada norte, central X |
- Matriz de escalado actualizada: los nombres cambian y nadie avisa. Pide al operador que la confirme cada trimestre.
- El ID de circuito también en una etiqueta en el NTE (el equipo del operador) y en la descripción de la interfaz del router.
- Las fechas de fin de contrato: una renovación que se pasa suele acabar con un circuito más caro o con una baja que nadie pidió.
2. Rutas diversas: comprobarlo, no suponerlo
Dos circuitos de dos operadores no garantizan nada si los dos van por la misma zanja. La diversidad real se mira en tres puntos:
- Entrada al edificio: por fachadas o accesos distintos.
- Central o nodo: cada circuito llega a una central distinta del operador.
- Trazado: pide a cada operador el mapa de ruta del circuito y compáralos. Si un tramo coincide, una sola obra en la calle corta los dos.
Un operador puede alquilar la última milla a otro. Pregúntalo por escrito al contratar: dos marcas distintas en el contrato pueden ser el mismo cable.
Del lado de la red, el router conmuta solo cuando cae el principal (ruta por defecto con seguimiento, guía de Cisco: switches y routers), y esa conmutación se prueba en una ventana planificada, no por primera vez en una avería.
3. Líneas de datos de mercado y extranets
Además de Internet, la sede suele tener líneas dedicadas hacia proveedores de datos de mercado, centros de contratación o redes extranet del sector financiero. Lo que cambia respecto a un circuito normal:
- Van en pareja, por rutas separadas, y la aplicación de mercado suele estar preparada para usar las dos.
- El operador o el proveedor de datos gestiona su propio equipo en tu rack: tú no lo configuras, pero sí das acceso al técnico y anotas cada visita.
- La latencia importa tanto como la disponibilidad. Una línea que sigue arriba pero ha pasado por una ruta más larga también es una avería.
- Hay requisitos de contrato y de cumplimiento sobre quién accede a esos datos. Cualquier cambio de red en ese segmento pasa por el comité de cambios.
4. Abrir una avería con el operador
Lo que el operador necesita para no hacerte perder tiempo:
- ID de circuito y dirección de la sede.
- Hora de inicio exacta (la de la alerta, no la de la llamada).
- Síntoma: caída total, pérdida de paquetes, latencia, cortes intermitentes.
- Lo que ya has comprobado: alimentación y luces del NTE, estado de la interfaz, si hay luz en la fibra, reinicio del NTE si el operador lo autoriza.
- Contacto en la sede y horario de acceso: quién abre la sala a un técnico y si hace falta acreditación previa del edificio.
- Impacto: si afecta a la sala de trading, dilo. Muchos operadores tienen una prioridad distinta para clientes con servicios críticos.
Apunta el número de incidencia del operador en tu ticket interno. Sin él, cualquier llamada posterior empieza de cero.
5. El ticket: "el circuito principal de Internet está caído a las 8:00"
Lunes, 7:52, salta la alerta. La sala empieza a llegar a las 8:00.
- ¿Ha conmutado? Lo primero es saber si los usuarios tienen servicio por el respaldo:
show ip sla statistics 10 | include LatestLatest RTT: NoConnection/Busy/TimeoutLatest operation return code: Timeoutshow track 10Track 10 IP SLA 10 reachability Reachability is Down 1 change, last change 00:07:41show ip route 0.0.0.0Routing entry for 0.0.0.0/0, supernet Known via "static", distance 10, metric 0, candidate default path * 198.51.100.9show interfaces GigabitEthernet0/0/0 | include line protocolGigabitEthernet0/0/0 is down, line protocol is downLa ruta por defecto ya va por el respaldo (198.51.100.9, distancia administrativa 10 en vez de la 1 del principal). Los usuarios tienen Internet, con menos ancho de banda.
- Avisa: un mensaje breve al responsable de la sala y a la mesa de soporte. "Internet funciona por la línea de respaldo; puede ir más lento; el operador está avisado."
- Abre la avería con lo del apartado anterior y anota el número.
- Reduce el consumo del respaldo si se queda corto: aplaza las actualizaciones de Windows y las copias que salen por Internet hasta que vuelva el principal.
- Sigue la avería: pide una hora estimada y vuelve a llamar al vencer. Si se pasa el tiempo de la matriz, escala al siguiente nivel sin esperar.
- Al volver: comprueba que el tráfico vuelve al principal, pide al operador la causa por escrito y cierra el ticket con las horas de inicio y fin.
Si el respaldo también cae, el impacto ya no es de IT de la sede: abre el procedimiento de incidente mayor y avisa a continuidad de negocio.
6. La revisión mensual del SLA
- Disponibilidad medida por tu monitorización frente a la que reporta el operador. Si no coinciden, gana la que tenga datos.
- Cada avería del mes: tiempo de respuesta y de reparación frente al SLA. Las que lo incumplen se reclaman según el contrato, con las fechas y números de incidencia.
- Averías repetidas en el mismo circuito: más de dos en un trimestre es una conversación con el gestor de cuenta, no otro ticket.
- La matriz de escalado y los contactos, comprobados.
- La prueba de conmutación del trimestre, registrada.
Siguientes pasos
- La guía de Cisco: switches y routers explica la ruta por defecto con respaldo automático.
- La guía de SolarWinds o la de Grafana cubren la monitorización de los enlaces que alimenta esta revisión.
- La guía de Backup y DR/BCP sitúa la conectividad dentro del plan de continuidad.
- La guía de Fortinet FortiGate cubre el cortafuegos que suele terminar los circuitos de Internet.
¿Falta algo o en tu entorno es distinto? Escríbeme y lo corrijo.
What you'll get
When a circuit goes down, you don't lose the first twenty minutes looking for the identifier, the carrier's phone number or the contract. At a site with a trading floor, connectivity is part of the business: Internet, the network to the data centre, the market data lines and voice. Each has its carrier, its SLA and its own way of raising faults, and whoever is on call at 8:00 needs all of it on one page.
Before you start
- The contracts for each service, with their SLA schedule (availability, response time, time to repair, service credits).
- Access to each carrier's fault portal with named team users, not a shared account.
- The site plan: comms room, where circuits enter the building and which device terminates each one.
- Link monitoring (SolarWinds, Grafana or whatever you use) with alerts to the on-call team.
1. The circuit inventory
One table per site, kept in the CMDB or in Confluence, and a printed copy in the comms room:
| Field | Example |
|---|---|
| Service | Primary Internet |
| Carrier | Carrier A |
| Circuit ID | OPA-MAD-0048213 |
| Bandwidth | 1 Gbps symmetric |
| Termination | NTE in rack R02, port 1 → rtr-mad-01 Gi0/0/0 |
| Addressing | 192.0.2.0/29 (public), BGP neighbour 192.0.2.1 |
| SLA | 99.95%, 4 h repair, 24x7 |
| Faults | Portal + 24x7 NOC phone |
| Escalation | Level 1 NOC → level 2 shift lead (1 h) → level 3 account manager (2 h) |
| Route | North entry, exchange X |
- An up-to-date escalation matrix: names change and nobody tells you. Ask the carrier to confirm it every quarter.
- The circuit ID also on a label on the NTE (the carrier's device) and in the router interface description.
- Contract end dates: a missed renewal usually ends with a more expensive circuit or a cancellation nobody asked for.
2. Diverse routing: check it, don't assume it
Two circuits from two carriers guarantee nothing if both run down the same trench. Real diversity is checked at three points:
- Building entry: through different façades or entry points.
- Exchange or node: each circuit reaches a different carrier exchange.
- Path: ask each carrier for the circuit's route map and compare them. If one section overlaps, a single roadworks cuts both.
A carrier may rent the last mile from another. Ask in writing when contracting: two different brands on the contract can be the same cable.
On the network side, the router fails over only when the primary drops (default route with tracking, Cisco: switches and routers guide), and that failover is tested in a planned window, not for the first time during a fault.
3. Market data lines and extranets
Besides Internet, the site usually has dedicated lines to market data providers, trading venues or financial-sector extranet networks. What changes from a normal circuit:
- They come in pairs, on separate routes, and the market data application is usually built to use both.
- The carrier or data provider manages its own device in your rack: you don't configure it, but you do give the engineer access and log every visit.
- Latency matters as much as availability. A line that stays up but has moved to a longer path is also a fault.
- There are contractual and compliance requirements on who accesses that data. Any network change in that segment goes through the change board.
4. Raising a fault with the carrier
What the carrier needs so it doesn't waste your time:
- Circuit ID and site address.
- Exact start time (the alert's, not the call's).
- Symptom: total outage, packet loss, latency, intermittent drops.
- What you've already checked: NTE power and lights, interface status, whether there is light on the fibre, NTE reboot if the carrier authorises it.
- Site contact and access hours: who opens the room to an engineer and whether the building needs advance accreditation.
- Impact: if it affects the trading floor, say so. Many carriers have a different priority for customers with critical services.
Note the carrier's incident number in your internal ticket. Without it, every later call starts from scratch.
5. The ticket: "the primary internet circuit is down at 8:00"
Monday, 7:52, the alert fires. The floor starts arriving at 8:00.
- Has it failed over? The first thing is to know whether users have service over the backup:
show ip sla statistics 10 | include LatestLatest RTT: NoConnection/Busy/TimeoutLatest operation return code: Timeoutshow track 10Track 10 IP SLA 10 reachability Reachability is Down 1 change, last change 00:07:41show ip route 0.0.0.0Routing entry for 0.0.0.0/0, supernet Known via "static", distance 10, metric 0, candidate default path * 198.51.100.9show interfaces GigabitEthernet0/0/0 | include line protocolGigabitEthernet0/0/0 is down, line protocol is downThe default route already goes over the backup (198.51.100.9, administrative distance 10 instead of the primary's 1). Users have Internet, with less bandwidth.
- Tell people: a short message to the floor manager and the service desk. "Internet is running on the backup line; it may be slower; the carrier has been notified."
- Raise the fault with the details from the previous section and note the number.
- Cut load on the backup if it falls short: defer Windows updates and backups going over the Internet until the primary returns.
- Track the fault: ask for an estimated time and call back when it passes. If the matrix time is exceeded, escalate to the next level without waiting.
- When it's back: check traffic returns to the primary, ask the carrier for the root cause in writing and close the ticket with start and end times.
If the backup also drops, the impact is no longer site IT's: open the major incident procedure and alert business continuity.
6. The monthly SLA review
- Availability measured by your monitoring against what the carrier reports. If they differ, the one with data wins.
- Every fault in the month: response and repair time against the SLA. Breaches are claimed under the contract, with dates and incident numbers.
- Repeat faults on the same circuit: more than two in a quarter is a conversation with the account manager, not another ticket.
- The escalation matrix and contacts, checked.
- The quarter's failover test, recorded.
Next steps
- The Cisco: switches and routers guide explains the default route with automatic failover.
- The SolarWinds or Grafana guides cover the link monitoring that feeds this review.
- The Backup and DR/BCP guide places connectivity within the continuity plan.
- The Fortinet FortiGate guide covers the firewall that usually terminates the Internet circuits.
Is something missing, or different in your environment? Get in touch and I'll fix it.
Tech Career Lab · newsletter
¿Te ha servido? Cada dos semanas envío una idea práctica para perfiles IT: LinkedIn, proyectos, networking y procesos de selección.Found this useful? Every two weeks I send one practical idea for IT professionals: LinkedIn, projects, networking and hiring processes.
Apúntate y llévate las 33 ideasSign up and get the 33 ideas →