soul^keeper

Administrateur

Niveau : 5
N° de Membre : 1

Ancienneté : 100% Participation : 19% Inscription: 22 Feb 2002
Localisation: Paris
Age: 48
Messages: 16611
Sujets Lancés : 2412

[FORUM] Incident du 15/12/2007 entre 12h30 et 15h50

Salut,

Comme promis, voici le compte rendu de l'incident d'hier.

En fait, le serveur s'est éteint brutalement à 12h30, un peu comme une coupure de courant.
C'est en fait la 2ème fois qu'il me fait le coup en 3 semaines.

La première fois (samedi 24/11/2007), je n'avais pas vraiment expliqué la cause, je sais juste que quand j'ai rallumé le serveur, le lecteur de disquette n'était plus reconnu ("Type error")... Rien n'y a fait, j'ai été contraint de débrancher le lecteur pour pouvoir démarrer correctement le serveur.

Vendredi 30/11/2007, je ne sais plus pour quelle raison, j'ai redémarré le serveur, j'en ai profité pour rebrancher le lecteur de disquette, qui curieusement ne déclenchait plus d'erreur au boot... allez comprendre...

Et donc hier midi, même scénario : le serveur s'éteint, et au rallumage, plus de lecteur de disquette ("Type error")... J'en conclus donc que le lecteur de disquette est défectueux et qu'il fait "disjoncter" l'alimentation du serveur. Il est donc de nouveau débranché et le restera...

Bref, un incident qui n'aurait dû durer que le temps d'un reboot, sauf que..... plus possible de booter ! Pas de menu de démarrage... rien qu'un écran noir avec un curseur clignotant, sans message d'erreur, rien...

C'est là que les problèmes ont commencé : j'ai d'abord pensé que le loader (grub) s'était corrompu. Il me fallait donc un disque d'amorçage "Rescue Disk" pour pouvoir réparer cela. Sauf que je n'avais pas de CD Rescue Disk à disposition... et évidemment plus de connexion internet pour aller en télécharger un puisque la connexion internet est gérée par le serveur... Bref, obligé de raccorder la freebox à un autre PC, le sécuriser un minimum quand même, télécharger le CD sur le net, le graver, etc...

Malgré une réinstallation de grub en bonne et due forme, toujours pas de menu de démarrage, même problème... J'ai essayé plusieurs méthodes... rien n'y a fait. En fait je me suis rapidement aperçu que le fichier grub.conf n'existait plus, et pire que le répertoire /boot ne contenait plus rien de valide (que de vieux kernels plus utilisés... et logiquement effacés depuis longtemps...)... En cherchant un peu plus, je me suis rendu compte que la PARTITION /boot n'était même plus reconnue (file system unknown...) ... alors comment pouvais-je quand même accéder au répertoire /boot et à son contenu "obsolète" ? Et bien simple: un répertoire /boot existait dans la partition / ... je voyais donc un /boot "invisible" en temps normal puisque la vraie partition /boot est monté par le système au même endroit... bonjour la confusion..........

Donc finalement, après avoir bataillé longuement à essayer de reconstruire un fichier grub.conf à la main, réinstaller les rpm des kernels, réinstaller grub, etc... j'ai fait un fsck de la partition /boot ... et là bingo ! plein d'erreurs, heureusement rattrapées par le journal ext3... Bref la coupure brutale du serveur m'avait scratché littéralement la partition de démarrage... sympa !

Une fois le système de fichier réparé, je retrouve mon menu de démarrage (par contre comment accéder au contenu et supprimer le /boot de l'autre partition, j'en ai aucune idée... à part en démontant la partition éventuellement...) ... Bref, le grub.conf réapparait, les kernels récents aussi, etc... fin de l'incident "boot impossible".

S'en est suivi le check habituel que je fais des bases SQL quand un incident de ce type survient, car le plus souvent, les tables sont en mauvais état... ça n'a pas loupé : les tables de users, de posts, et d'index de recherche étaient toutes les 3 corrompues. La réparation entrainera 4 suppressions de comptes, le réalignement des tables entrainant souvent ce type de "suppression sauvage"... Pareil pour les posts et l'index.

Concernant les users, pas de pb car pas d'inscription entre la dernière sauvegarde et le plantage, donc j'ai restauré la base sans me poser de questions (dans ce cas, seules les infos de dernière connexions et quelques champs sans importances sont remodifiées) => en conséquence, aucune perte d'info.

Concernant les posts, j'ai dû m'y prendre autrement, car il est impossible de savoir les posts qui ont sautés, donc j'ai passé un moment pour sauvegarder la table de posts "réparée" et en faire le delta avec la dernière sauvegarde du matin, et ce afin de pouvoir restaurer la sauvegarde puis passer "le delta" (de cette façon, je suis sûr de n'avoir rien perdu, enfin à part éventuellement les posts supprimés par la réparation, mais en tout cas aucun d'avant la sauvegarde...). Ce sont des opérations assez sensibles car on joue avec des backups qu'on "bidouille" pour nos besoins. C'est à ce moment là que j'ai été interrompu, et quand j'ai repris, j'ai oublié de supprimer une malheureuse petite ligne de commande ayant pour effet de REMPLACER le contenu présent par le delta, au lieu de RAJOUTER le delta au contenu existant. Conséquence: suppression immédiate de l'intégralité des posts de la base, moins les quelques dizaines postés entre 4h et 12h30 ... tu m'étonnes que vous n'arriviez plus à lire vos anciens messages lol....

Bref, je me suis pas rendu compte du hic sur le moment, car comme vous, je me connecte sur la page d'accueil, j'ai regardé les "derniers messages", qui biensûr fonctionnaient... idem pour les posts du top-10 etc... pour moi tout était normal. J'ai pu aller vaquer à mes occupations...

Et le soir... petite vérification "just in case", et je tombe sur vos appels au secours lol.... J'ai vite réalisé le soucis, il m'a suffit donc de recommencer l'opération : restauration du backup du matin, puis ajout du delta, non plus entre 4h et 12h30, mais entre 4h et le soir... J'ai préparé un message de "maintenance" mais oublié de l'activer pendant l'opération, donc s'il y a eu des posts de perdus, c'est sur cette fenêtre de 3mn... je ne pense pas qu'il y ait eu de nouveaux posts à ce moment là, mais qui sait...

Voilà donc... Au final retour à la normale cette nuit, j'ai tout de même vider l'index et lancer une reconstruction pour être sûr de récupérer les quelques entrées perdues le matin. C'est encore en train de tourner à l'heure qu'il est.

Bilan: Aucune perte de données, récupération de la partition crashée, mais lecteur de disquette définitivement déclaré HS.

+++

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 92 Jours, 18 Heures, 34 Minutes, 34 Secondes en ligne

polkaïna

Guru

Niveau : 5
N° de Membre : 13281

Ancienneté : 88% Participation : 15% Inscription: 04 Apr 2005
Localisation: Région parisienne
Age: 47
Messages: 10928
Sujets Lancés : 560

Merci de toutes ces explications et du temps que tu passes pour notre forum sans lequel on ne pourrait pas vivre!

Profite bien des derniers moments de ce week-end qui a dû bien être pourri du coup pour toi!

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 99 Jours, 11 Heures, 29 Minutes, 33 Secondes en ligne

guegouli

Expert

Niveau : 3
N° de Membre : 3977

Ancienneté : 98% Participation : 3% Inscription: 27 Aug 2002
Localisation: fr
Age: 51
Messages: 2177
Sujets Lancés : 328

wow, c est quand meme du taff de gerer oxmo, et loin d etre evident en plus...
simlple question, il est "lourd" oxmo? je presume que oui pour la partie logiciel mais la base de donnees (tt le texte brut) ne doit pas peser enormement...
bon taff en tout cas soul

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 15 Jours, 19 Heures, 28 Minutes, 11 Secondes en ligne

soul^keeper

Administrateur

Niveau : 5
N° de Membre : 1

Ancienneté : 100% Participation : 19% Inscription: 22 Feb 2002
Localisation: Paris
Age: 48
Messages: 16611
Sujets Lancés : 2412

Justement, le backup sql est très lourd (~1Go) donc quand il s'agit de ne garder que ce qui nous intéresse, c'est tout de suite fastidieux car éditer des fichiers texte aussi lourds et s'y balader n'est pas une mince affaire... C'est pour ça que je fais aussi un backup "indépendant" de la table des users, comme ça si seule celle là est impactée, je retrouve mes petits plus facilement sans avoir à éditer le gros backup... mais bon là c'était les posts donc impossible d'y échapper

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 92 Jours, 18 Heures, 34 Minutes, 34 Secondes en ligne

Cybernet

Guru

Niveau : 5
N° de Membre : 1542

Ancienneté : 100% Participation : 13% Inscription: 08 May 2002
Localisation: Sydney
Messages: 11326
Sujets Lancés : 299

et ben, que d'aventures....en tout cas, encore une fois, super soul a pu identifier le problème assez sournois et tout remettre en ordre

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 44 Jours, 0 Heure, 59 Minutes, 46 Secondes en ligne

soul^keeper

Administrateur

Niveau : 5
N° de Membre : 1

Ancienneté : 100% Participation : 19% Inscription: 22 Feb 2002
Localisation: Paris
Age: 48
Messages: 16611
Sujets Lancés : 2412

reste juste cette histoire de posts disparus... ça me turlupine, pour moi il ne devrait rien y avoir de perdu, sauf peut être 1 post s'il a été validé au moment du crash... mais tu parles d'une dizaine de posts....

J'ai vérifie dans la base, il n'y a pas de "trous" dans les ID avant/apres. Donc je ne comprend pas...

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 92 Jours, 18 Heures, 34 Minutes, 34 Secondes en ligne

Cybernet

Guru

Niveau : 5
N° de Membre : 1542

Ancienneté : 100% Participation : 13% Inscription: 08 May 2002
Localisation: Sydney
Messages: 11326
Sujets Lancés : 299

Citation: Message écrit par soul^keeper, le 16-12-2007 à 13:19 reste juste cette histoire de posts disparus... ça me turlupine, pour moi il ne devrait rien y avoir de perdu, sauf peut être 1 post s'il a été validé au moment du crash... mais tu parles d'une dizaine de posts.... J'ai vérifie dans la base, il n'y a pas de "trous" dans les ID avant/apres. Donc je ne comprend pas...

Là par contre je confirme.
J'ai pas mal posté juste avant le crash, et il y a notamment une série de posts dans le topic "cartes graphiques" avec heros et moi ou "pose une question à la personne au dessus" avec polka et moi qui ont totalement disparus.
C'est pas du tout "grave" en soi, mais je sais que tu aimerais qu'il n'y ai 0 pertes

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 44 Jours, 0 Heure, 59 Minutes, 46 Secondes en ligne

king

Maitre

Niveau : 4
N° de Membre : 4686

Ancienneté : 98% Participation : 5% Inscription: 26 Sep 2002
Localisation:
Age: 50
Messages: 3967
Sujets Lancés : 205

un grand merci pour tout ton taf soul...
chapeau

__________________
Les relations sont certainement le miroir dans lequel on se découvre soi-même.

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 11 Jours, 6 Heures, 36 Minutes, 35 Secondes en ligne

Habemuspampam

Guru

Niveau : 5
N° de Membre : 13562

Ancienneté : 85% Participation : 11% Inscription: 28 Oct 2005
Localisation: Sébécourt
Age: 72
Messages: 7807
Sujets Lancés : 322

"Turlupine"...

J'aime bien ce mot!

Bravo et merci Soul.

__________________

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 51 Jours, 9 Heures, 33 Minutes, 59 Secondes en ligne

bzh

Maitre

Niveau : 4
N° de Membre : 13139

Ancienneté : 93% Participation : 7% Inscription: 13 Jan 2004
Localisation: A l'Ouest
Age: 73
Messages: 4995
Sujets Lancés : 106

Je confirme les dires de Cybernet quels posts de perdu à partir de 12h30 , mais rien de grave 99.99% du forum sont la . Re-merci pour ton job Soul

Tu as bien dormi cette nuit et les paypal tu ne les a pas perdu ?

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 119 Jours, 17 Heures, 19 Minutes, 27 Secondes en ligne

SSSputnik

Guru

Niveau : 5
N° de Membre : 3777

Ancienneté : 99% Participation : 9% Inscription: 17 Aug 2002
Localisation:
Age: 59
Messages: 7052
Sujets Lancés : 117

j ai pas tout compris mais je pense que c est bien ce que tu as fait !!
merci pour ta devotion sur ce forum!!

__________________
Celui qui n'est plus ton ami ne l'a jamais été. Aristote
Membre du Dsp'Fan'Club'Europe

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 25 Jours, 6 Heures, 25 Minutes, 57 Secondes en ligne

Sérial posteur

Guru

Niveau : 5
N° de Membre : 13402

Ancienneté : 87% Participation : 11% Inscription: 05 Jun 2005
Localisation: Lille
Age: 55
Messages: 8223
Sujets Lancés : 29

__________________
Dites moi de quoi vous avez besoin;
Je vous dirai comment vous en passer.

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 64 Jours, 8 Heures, 24 Minutes, 35 Secondes en ligne

Zorba

Expert

Niveau : 3
N° de Membre : 11422

Ancienneté : 96% Participation : 3% Inscription: 31 Mar 2003
Localisation: Nal Hutta
Messages: 2323
Sujets Lancés : 98

A prévoir sur la liste d'achat de Noël : une alim silencieuse et un lecteur de disquette. (Ca existe encore ces trucs là ? )

Blague à part, bravo pour le taf accompli même si il a fallu que je lise deux fois ton post avant d'en comprendre un dizième...

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 32 Jours, 7 Heures, 23 Minutes, 43 Secondes en ligne

Aragorn

Confirmé

Niveau : 2
N° de Membre : 13867

Ancienneté : 83% Participation : 1% Inscription: 28 Apr 2006
Localisation:
Age: 61
Messages: 622
Sujets Lancés : 38

Il est vrai que le forum ne serait rien sans toi.
Donc "spécial remerciement" pour ton travail.

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 6 Jours, 4 Heures, 40 Minutes, 5 Secondes en ligne

olivebrazil

Guru

Niveau : 5
N° de Membre : 4155

Ancienneté : 98% Participation : 20% Inscription: 03 Sep 2002
Localisation:
Messages: 16926
Sujets Lancés : 618

j ai rien compris "concretement" a l explication technique, mais je dis ..chapeau bas..

et merci !!

__________________

Signaler ce message à un modérateur | IP: Logguée
Temps en ligne : 75 Jours, 0 Heure, 49 Minutes, 20 Secondes en ligne