Esto es una consulta que lanzamos a otros webmasters que puedan estar en una situación similar, porque ya nos estamos volviendo locos.
Ayer tuvimos un rato de inestabilidad en el servidor web de Microsiervos hacia las 22.00-23.30 hora de Madrid. El síntoma era que las páginas se servían muy lentas. Recientemente ampliamos nuestro alojamiento a uno más potente. Que esto suceda esto nos parece un poco extraño, porque ya ampliamos el espacio en disco, la transferencia, incluso la RAM. De hecho en ese servidor tenemos otros webs alojados y todos van muy bien, pero cuando aparece el problema casi todas se quedan como atontadas. Este problema no coincide con que estemos enlazados sufriendo un efecto barrapunto (o «efecto yonkis» o «efecto escolar» ;-) desde ningún lado. El número de peticiones es el normal de muchos días. Incluso ha habido días con más peticiones y sin problemas. La carga de CPU tambíen parece normal: 0,08 a 0,20. Aun así algo extraño sucede. El síntoma es que el servidor Apache se vuelve más lento que una tortuga: no se muere del todo pero algunas peticiones tardan 10, 30 y hasta 60 segundos en servirse. En cambio el FTP, correo y otros servicios funcionan. Debido a esa lentitud el Apache a veces da algunos errores 408, que son timeouts HTTP. Es como si hubiera muchas peticiones a la vez y entraran en cola y tardaran más de lo normal, que debería ser una fracción de segundo o unos pocos segundos. Además, todo nuestro site es completamente estático: HTML y JPEGs, lo cual que tuviera algo que ver con la base de datos. (Todo esto ha sucedido alguna otra vez antes de tener el Wiki, así que hemos descartado que sea debido a eso. Y no hemos hecho muchos más cambios últimamente.)
Después de darle muchas vueltas hemos pensado que podría ser un robot haciendo peticiones de páginas ciertos días a ciertas horas, o alguna persona usando algún software de esos que «chupan» toda una web entera. Si cuando pasa esto reciniciamos el Apache, todo vuelve a funcionar. Pero al cabo de un rato se vuelve lento de nuevo, poco a poco. Hemos mirado en los logs del servidor y aparecen algunos user-agent extraños, como FunWebProducts que es una especie de plug-in para Explorer (parece spyware pero seguramente no lo sea) y .NET CLR 1.1.4322 que no sabemos lo que es pero tampoco parece ser el causante. Aparece el Googlebot, aparece Slurp que es la araña de Yahoo, pero no hacen demasiadas peticiones a la vez y además leen el robots.txt y lo respetan (de todos modos hemos ampliado ese archivo con muchos más bots, tomados de la Wikipedia). En fin, no hemos encontrado por desgracia muchas peticiones desde la misma IP lo cual podría indicar que había un robot araña o alguna persona concreta fastidiando. También hemos pensado en un ataque de algún tipo pero lo hemos descartado porque en los logs no se ve nada raro.
De momento todo vuelve a funcionar normalmente, el caso es que tras algunas horas de inestabilidad y lentitud todo termina y vuelve a funcionar 100% normal.
En fin, este es el expediente X que tenemos. Si a alguien que sepa sobre el tema se le ocurre algo, que comente, se lo agradeceremos mucho.
Actualización (2015) – Fuckin' FunWebProducts… Grrr…
