Una interrupción importante de Fastly que provocó la caída de gran parte de Internet se atribuyó a un error de software provocado por un cambio válido en la configuración del cliente.
La interrupción del 8 de junio hizo caer a Amazon.com, Twitch, Reddit, la cartera de sitios web del gobierno del Reino Unido y muchos más sitios y servicios.
Fastly ha informado que identificó el problema en un minuto y que había restaurado el 95 por ciento de su red en 49 minutos. Sin embargo, algunos clientes experimentaron interrupciones más prolongadas debido a una mayor carga de origen y una menor proporción de aciertos de caché.
La Red de entrega de contenido ejecuta rápidamente una nube perimetral entre los centros de datos de las empresas y el usuario final, lo que reduce la latencia, protege de los ataques DDoS y ayuda a manejar los picos de tráfico.
Parece que Fastly introdujo inadvertidamente una trampa explosiva en su sistema, al implementar una versión de su software que podría ser desactivada por un cuctómero: "El 12 de mayo, comenzamos una implementación de software que introdujo un error que podría ser provocado por un configuración del cliente en circunstancias específicas", dijo el vicepresidente senior de ingeniería e infraestructura Nick Rockwell en una publicación explicativa.
"A primera hora edl 8 de junio, un cliente impulsó un cambio de configuración válido que incluía las circunstancias específicas que desencadenaron el error, lo que provocó que el 85 por ciento de nuestra red devolviera errores".
La interrupción comenzó a las 9:47 UTC, y los servicios comenzaron a recuperarse a partir de las 10:36. A las 12:35 se mitigó por completo y, a las 17:25, comenzó a implementarse una solución para el error.
"Estamos realizando una autopsia completa de los procesos y prácticas que seguimos durante este incidente", dijo Rockwell. "Descubriremos por qué no detectamos el error durante nuestros procesos de prueba y control de calidad del software". Y añadió que la empresa "debería haber anticipado" el problema y se disculpó con los clientes de Fastly.
Para los inversores, sin embargo, tuvo el efecto contrario, con un amento en las acciones de la compañía, tal vez debido a la atención que atrajo la interrupción, o porque reveló cuántos clientes tiene Fastly. Incluso su rival Amazon, que tiene su propio CloudFront CDN, es un cliente de Fastly. Al momento de escribir este artículo, las acciones han subido alrededor de un 10 por ciento, sumando poco menos de 600 millones de dólares a su valoración. Antes del pico relacionado con la interrupción, el precio de las acciones de la compañía había estado en una caída constante, hasta un 42 por ciento hasta la fecha.