Monitorizando un Raid en Linux: Estado y Ocupación

   Enlazando con el artículo anterior del envío de alarmas al móvil utilizando el API de Google Calendar, le he dado utilidad al programa. Desde hace unos días lo utilizo para monitorizar el estado del raid 1 del servidor de backup y enterarme de manera instantánea de cualquier problema con algún disco.

   Utilizando mdadm en modo monitor lo configuré para que ejecutara un script cuando detectara algún evento del raid. De todos los eventos posibles, los que a mi me interesan son:

Fail: Cuando se produce un fallo en algún disco del raid.

DegradedArray: Si se ha producido un fallo en algún disco y se ejecuta de nuevo el mdadm, se genera este evento. El caso más típico para un raid 1 es que ha fallado un disco y hemos reiniciado la máquina y estamos trabajando sólo con el otro disco. Sirve a modo de recordatorio de que hay que cambiar el disco defectuoso y reconstruir el raid.

RebuildStarted: Este evento se genera cuando comienza la reconstrucción del raid.

RebuldFinished: Cuando se ha terminado de reconstruir el raid se lanza este evento.

   El resto de eventos no me afectan demasiado, así que simplemente los guardaré en un log. Para ejecutar un script cuando se produce un evento en el raid en lugar de la notificación por email, es necesario hacer un pequeño cambio en el archivo /etc/init.d/mdadm.

Definimos la ruta del script:

PROGRAM=/root/scripts/monitorRaid.sh

En "start" cambiamos la instrucción que viene por:

start-stop-daemon -S -p $PIDFILE -x $MDADM -- -F -i $PIDFILE -p $PROGRAM -f --scan

   El script monitorRaid.sh que he creado es el siguiente:

shian:~# cat scripts/monitorRaid.sh
#!/bin/sh
# Script de generación de alarmas según el estado del raid
#
# Iván López Martín
# http://lopezivan.blogspot.com
#####

RAID_EVENT=$1
LOG_DIR=/var/local/raid
LOG_FILE=monitor_raid.log
SMS_PROGRAM=/root/scripts/enviaSMS.sh
GMAIL_USER=usuario@gmail.com
GMAIL_PASS=mipassword

if [ $RAID_EVENT == "Fail" ]; then
  date >> $LOG_DIR/$LOG_FILE
  echo Fail >> $LOG_DIR/$LOG_FILE
  echo >> $LOG_DIR/$LOG_FILE
  
  # Envío del SMS
  $SMS_PROGRAM $GMAIL_USER $GMAIL_PASS "ERROR CRITICO: Ha fallado un disco del raid."

elif [ $RAID_EVENT == "DegradedArray" ]; then
  date >> $LOG_DIR/LOG_FILE
  echo DegradedArray >> $LOG_DIR/$LOG_FILE
  echo >> $LOG_DIR/$LOG_FILE
  
  # Envío del SMS
  $SMS_PROGRAM $GMAIL_USER $GMAIL_PASS "RECORDATORIO: El raid está funcionando con un solo disco."

elif [ $RAID_EVENT == "RebuildStarted" ]; then
  date >> $LOG_DIR/$LOG_FILE
  echo RebuildStarted >> $LOG_DIR/$LOG_FILE
  echo >> $LOG_DIR/$LOG_FILE

elif [ $RAID_EVENT == "RebuildFinished" ]; then
  date >> $LOG_DIR/$LOG_FILE
  echo RebuldFinished >> $LOG_DIR/$LOG_FILE
  echo >> $LOG_DIR/$LOG_FILE

  # Envío del SMS
  $SMS_PROGRAM $GMAIL_USER $GMAIL_PASS "INFO: Ha terminado la reconstrucción del raid."

else
  date >> $LOG_DIR/$LOG_FILE
  echo $RAID_EVENT >> $LOG_DIR/$LOG_FILE
  echo >> $LOG_DIR/$LOG_FILE
fi

   Para probar que está todo bien configurado, podemos ejecutar el monitor del raid en modo Test:

shian:~# mdadm -F -p /root/scripts/monitorRaid.sh --scan -t -1

shian:~# tail -3 /var/local/raid/monitor_raid.log
Mon May 21 18:15:17 CEST 2007
TestMessage

   Si vemos el mensaje de prueba significa que la monitorización es correcta, ahora sólo queda esperar a que falle algún disco (ojalá no ocurra) para que el programa de alarmas por sms cumpla su función.

   Adicionalmente he creado otro script que ejecuto por medio de crontab cada 10 minutos que monitoriza la ocupación de los filesystems (en este caso sólo el del raid) y cuando se supera un umbral se envía una notificación por SMS.

shian:~# cat monitorFS.sh
#!/bin/sh
# Script de monitorización del tamaño de un filesystem y envío de alarmas por SMS
#
# Iván López Martín
# http://lopezivan.blogspot.com
######

FILESYSTEM=$1
TMP_DIR=/root/scripts
SMS_PROGRAM=/root/scripts/enviaSMS.sh
GMAIL_USER=usuario@gmail.com
GMAIL_PASS=mipassword

SPACE_USED=`df | grep $FILESYSTEM | awk '{print $5}' | sed 's/%//g'`

if [ "$SPACE_USED" -gt 90 ] ; then
  if ! [ -f $TMP_DIR/.fs_90 ] ;then
    SEND_SMS=YES
    THRESHOLD=90
    touch $TMP_DIR/.fs_90
  fi
elif [ "$SPACE_USED" -gt 80 ] ; then
  if ! [ -f $TMP_DIR/.fs_80 ] ;then
    SEND_SMS=YES
    THRESHOLD=80
    touch $TMP_DIR/.fs_80
  fi
elif [ "$SPACE_USED" -gt 70 ] ; then
  if ! [ -f $TMP_DIR/.fs_70 ] ;then
    SEND_SMS=YES
    THRESHOLD=70
    touch $TMP_DIR/.fs_70
  fi
elif [ "$SPACE_USED" -gt 60 ] ; then
  if ! [ -f $TMP_DIR/.fs_60 ] ;then
    SEND_SMS=YES
    THRESHOLD=60
    touch $TMP_DIR/.fs_60
  fi
fi

if [ "$SEND_SMS" == "YES" ] ; then
  # Envio del SMS
  $SMS_PROGRAM $GMAIL_USER $GMAIL_PASS "El filesystem" $FILESYSTEM "supera el "$THRESHOLD"%."
fi