Caída del menéame
13:50 hs. Actualización: El servidor ya está en marcha. Parece que hemos topado con un bug grave del kernel linux + Xen. El sistema de ficheros estaba inusable y el hosting lo ha reconstruido del backup del día 25. Sobre ello he tenido que recuperar nuestros propios backups que hacemos en servidores remotos, el último de hoy a las 8 de la mañana, así que se han perdido unos 5-6 enlaces (perdón). Para obtener alguna ventaja del desastre, he actualizado el mysql y el php4 con backports, ya que el mysql de Debian Serge tenía un bug grave que corrompía los índices fulltext cuando en el texto aparecía una cadena en particular: una palabra cuyo primer caracter sea un apóstrofe. Bueno, supongo que los de rimuhosting ya nos darán más detalles de lo que ha pasado con el kernel y el sistema de ficheros (sobre todo para que no vuelva a ocurrir). De todas formas se han portado muy bien y me han hecho caso aunque yo no soy el que tiene el contrato con ellos.
Nota: tengo la impresión que nos han cambiado el hardware, o que el nuevo mysql instalado (4.1.15) cachea mucho mejor las [centenares por segundo] consultas SQL. La carga media del servidor no llega ni a la mitad que antes con el mismo número de hits que ahora mismo. O quizás sea sólo una ilusión del que ha vuelto a nacer :-).
11:05 hs: meneame.net está caído. Al principio no sabíamos qué problema era, aunque suponíamos grave.
11:50 hs. La compañía de hosting, Rimuhosting, están trabajando en ello e informando de las novedades. Parece ser de lo más grave que podía ocurrir:
12:20 hs. En particular, la que afecta al servidor meneame.net es la de Host57, que ahora mismo dice:
Host57 Restart
Last Update: Wednesday, March 29, 2006 10:20:11 AM UTC (14 minutes ago) Status: Current/Ongoing Affected Server: host57.rimuhosting.com
Host57 hit kernel bug. We are restarting it.
12:45 hs. Después que han intentado reiniciarlo, el servidor murió del todo…
Por ahora ni siquiera tenemos acceso a la “consola”, así que estamos dependiendo ciega y totalmente de rimuhosting. Para completar la Ley de Murphy, Guillem está en el trabajo –él es el responsable del contrato y tiene todas las claves y números– y no puede hacer nada hasta después de las 15 hs, tampoco tiene los datos a mano para que yo pueda adelantar algo (aunque estoy en contacto vía email informal con el responsable máximo de Rimuhosting).
En el estado de nervios que estoy, voy a ver si hago algo para mantenerme ocupado. Si este servidor –mi blog– está inaccesible por unos minutos es porque decidí migrarlo al WP2…. grrrrrrrrrrrr….
13:30 hs. Actualización: han tenido que reconstruir todo el sistema de ficheros desde un backup del día 25. Ahora estoy actualizando con el último backup nuestro, de hoy a las 8 de la mañana.
El pan de cada día
Animo y paciencia, por cierto ya funciona
Comment by aNieto2k — Wednesday 29/3/2006 @ 12:10
¿Por queeeeeeeeeeeee? Venga a recargar y recargar y nada…
¡¡¡No puedo vivir sin meneos!!!
Dispongo: Meneame por decreto
Comment by lechugas — Wednesday 29/3/2006 @ 12:12
He hablado muy rápido, sigue sin ir, habrá sido un flash.
Comment by aNieto2k — Wednesday 29/3/2006 @ 12:12
a mi no….
Comment by lechugas — Wednesday 29/3/2006 @ 12:13
Estoy en ello. Verificando todo…
Comment by gallir — Wednesday 29/3/2006 @ 12:13
Bueno, hombre, ánimo. Todo saldrá de una forma u otra…
Comment by Alberto A-P — Wednesday 29/3/2006 @ 12:14
Yo a las 13:00 he entrado y parecia como si meneame hubiera o hubiese retrocedido en el tiempo
3 dias atras…
Comment by dani — Wednesday 29/3/2006 @ 12:18
Ya me estoy acostumbrando,,, en fin ánimos xD
Comment by Kowalski — Wednesday 29/3/2006 @ 12:32
Qué mal rato he pasado… creo que tengo meneitis aguda (he tenido hasta un ataque de angustia y todo)
Comment by loretahur — Wednesday 29/3/2006 @ 12:45
No veas cómo lo he pasado yo… todavía me tiemblan las manos.
Comment by gallir — Wednesday 29/3/2006 @ 12:47
bienvenido al apasionante mundo del hosting
Uno de los posts que se ha perdido era mio…..snif snif
To+
Comment by txisparro — Wednesday 29/3/2006 @ 13:09
Ricardo(si me permite) te envie el primer post eh!!?
SaludoS
Comment by txisparro — Wednesday 29/3/2006 @ 13:11
Ya puestos… y aunque no tiene mucho que ver con esto… pero… ¿hay alguna forma oficial para enviar bugs del menéame?
Enga, y ánimo que ya pasó…
Comment by Juan — Wednesday 29/3/2006 @ 14:37
Mañana rara en meneame.net
Meneame.net tuvo ayer la mañana un poco rara.
Algunas noticias quedaban sin contenido, como ésta:
Y otras aparecían así de peculiares en el fisgón:
Nada serio, por supuesto, pero curioso al fin y al cabo…
(H…
Trackback by Ondas, cables, luces, cacharritos y cachivaches — Wednesday 29/3/2006 @ 14:40
Buf, menudo desastre, se han perdido algunos comentarios que mandé poco antes del castañazo. Es la putada del hosting en este plan, que cuando funciona, de puta madre, pero cuando falla, montan unos estropicios del carajo.
Ánimo y suerte para la próxima.
Comment by CarlosGarcia — Wednesday 29/3/2006 @ 14:40
Juan, los puedes enviar aquí: http://meneame.wikispaces.com/Bugs
Comment by Jope — Wednesday 29/3/2006 @ 14:41
Caída del Menéame
Ricardo Galli nos cuenta por qué hemos estado toda la mañana sin poder menearla.
Trackback by meneame.net — Wednesday 29/3/2006 @ 14:51
Desastre aparte, ¿qué conclusiones positivas pueden sacarse?
1ª Ricardo ha actuado ejemplarmente, al realizar COPIAS DE SEGURIDAD de la base de datos en servidores remotos, es decir, ajenos al del hosting contratado. ¿Por qué esa misma política de seguridad no es seguida por otros? Ya estáis tardando en hacer vuestra copia de seguridad, tanto de los datos más importantes de vuestro HD o del CMS en cuestión (muchos la reenvían a una cuenta de correo en GMail).
2ª Es IMPORTANTISIMO la profesionalidad de los responsables del hosting. Muchos sólo buscan lo más barato, sin tener en cuenta este factor. OJO, no necesariamente pagando más se tiene mejor servicio. Lo mejor es ir preguntando a personas que lidien habitualmente con ellos, contrastando opiniones, de personas "entendidas"…
3ª La TRANSPARENCIA en la gestión del problema, explicando los pasos seguidos (en tiempo real), para no dar pábulo a teorías conspiratorias y demás.
A MEJORAR
Guillem debe estar más accesible, compartiendo los datos primordiales con Ricardo y Benjamí. ¿Qué tal un contenedor bajo cifrado fuerte en la red, compartido por la "santísima trinidad"? De todas formas, Menéame y Ricardo son muy conocidos, pero otros grupos de personas en situaciones similares no, así que algo deberían pensar para afrontar rápidamente un problema similar.
PD: Tampoco era para estar tan nervioso, ya que había copias de seguridad y no había operaciones dinerarias de por medio, digo.
Comment by maty — Wednesday 29/3/2006 @ 15:40
Te felicito Ricardo por la gestión de la caida, estos momentos son chungos y t elo digo por experiencia.
La verdad es que según cuenta los rsponsabls del hosting se han portado con profesionalidad y vosotros bien por suerte bien por buena previsión teniais un backup más que reciente y habeis sabido solucionar todo con rapidez.
Un 10
Comment by Spacebom — Wednesday 29/3/2006 @ 18:06
Maty: Hay que decir que lo de las copias de seguridad off-site (via FTP+SSL a una máquina de fuera del datacenter) es un servicio que RimuHosting incluye en el precio. Aunque sí, nosotros también tenemos mérito por acordarnos de usarlo a diario para los datos más importantes. Los backups totales que se hacen automáticamente on-site de las máquinas virtuales solo son semanales
Ah! Y ahora trabajo en un lugar donde uno no está accesible sin más. Ricardo ya tiene una clave por si vuelve a pasar algo así justo cuando yo no tengo acceso a Internet ni a mis máquinas ni a mis datos…
Comment by guillem — Wednesday 29/3/2006 @ 18:45
y ahora la tipica pregunta, ¿cuanto ocupa una copia de seguridad del meneame?.
Comment by rbt — Wednesday 29/3/2006 @ 19:07
Puedes indicar la version de MySQL utilizada, el tipo de indice, el string que hace colapsar el motor? algo de data para ver como se resuelve?
quizas le sirva a alguien mas eso…
Comment by dcialdella — Wednesday 29/3/2006 @ 20:38
http://bugs.mysql.com/bug.php?id=11336
http://bugs.mysql.com/bug.php?id=13712
http://bugs.mysql.com/bug.php?id=16489
Comment by gallir — Wednesday 29/3/2006 @ 20:48
Gràcias por las explicaciones, siempre es un detalle recibirlas pork poca gente las da cuando hay algún problemilla o problemón. Yo como sólo puedo veros por la noche, ni me he enterado…
Comment by manu_drac — Wednesday 29/3/2006 @ 22:23
Una cosa que si te puede servir para mejorar el rendimiento y la carga de CPU (de forma notable), que no sé si estas empleado es utilizar el DELAY_KEY_WRITE=1 en la definicion de las tablas que tienen un uso intensivo. Básicamente ahorra el tiempo de escribir los indices en disco de aquellas tablas que estan siempre abiertas. Puedes encontrar más info aqui http://www.petefreitag.com/item/441.cfm
Un saludo.
Comment by alidhaey — Wednesday 29/3/2006 @ 23:41
ricardo, me quedó picando ese comentario que haces sobre semejante carga de servidor. Muy complicado será adaptar un sistema de cacheo que genere páginas estáticas cada cierto lapso y/o actualice automaticamente cuando se agregan comentarios/meneos o hay alguna modificacion en la bbdd?
Generar la página dinámicamente por cada visitante pone de culo a cualquier servidor.
Comment by tin — Thursday 30/3/2006 @ 2:07
No se puede tener una página cache, ya que las cajas de votos deben ser generadas para cada usuario y dirección IP que se conecta. Por eso no puede ser estática.
Pero el servidor aguanta muy bien, la carga media no supera ahora 0.40 y los tiempos de respuestas son muy buenos.
Comment by gallir — Thursday 30/3/2006 @ 10:03
Deja vu
Leyendo el post de Ricardo Galli sobre la caída y reestablecimiento del server que ha tenido Menéame esta semana, que además ha coincidido con la migración completa de servers de Bitacoras.com (Page Rank 7) con la que ya resuelven la…
Trackback by Sentido Web — Saturday 1/4/2006 @ 19:17