lunes, 26 de marzo de 2007

Servidor raid 1 en "Preproducción"

   El otro día estuve un tanto ocioso y quise hacer una pequeña prueba del raid 1 pero esta vez sin utilizar máquinas virtuales, sino con hardware real. Así podía hacer una prueba en "preproducción" antes de la implementación definitiva cuando tenga mi nuevo ordenador y reutilice el antiguo.

   Abrí una caja con diverso hardware (memorias, discos duros, cables ide, alguna placa base, procesadores,...) que tengo pendiente de subir al trastero y monté lo siguiente:


   El equipo es ya algo antiguo y fue lo mejor que pude hacer con el hardware que tenía:
  • Pentium II 300Mhz
  • 384 MB de Ram
  • Tarjeta Gráfica ATI Mach32 PCI
  • Tarjeta de red 3Com PCI 100 Mbps
  • Disco duro principal 1,6 GB
  • 2 discos duros adicionales para el raid

  •    El disco duro principal ya tenía una Debian Sarge recien instalada que utilicé hace algún tiempo en un pc de características similares, así que todo arrancó sin problemas. Para logarme como root y empezar a configurar el raid y hacer las pruebas utilicé el método que comenté el otro día para recuperar el password de root puesto que no me acordaba del password.

       Después de tener tanto el raid como samba configurados hice una pequeña prueba copiando un archivo de unos 700 MB de mi actual sobremesa a una carpeta compartida del raid y tomé tiempos. La copia de los 700 MB tardó algo menos de 2 minutos, por lo que me sale una transferencia de aproximadamente unos 6,5 MBytes por segundo. Aunque creo que para casa es más que suficiente he hecho una prueba similar en el trabajo (aunque con dos máquinas windows) para comparar y el tiempo ha sido prácticamente el mismo.

    domingo, 25 de marzo de 2007

    Recuperar Debian sin password de root

       Alguna vez me ha pasado que después de mucho tiempo he intentado entrar como root en algún linux antiguo pero no recordaba la contraseña. Haciendo memoria (de los tiempos de lilo) sé que se le puede pasar al kernel el parámetro single para arrancar el modo monousuario como root sin necesidad de utilizar password. Hacer esto con grub es algo distinto aunque la filosofía es la misma. Se edita la línea kernel y se añade al final, quedando así:
    /boot/vmlinuz-2.4.27-speakup root=/dev/hda1 ro single

       Aceptando el cambio y arrancando el sistema tendremos el prompt de root listo para lo que queramos. Esto me ha funcionado siempre en todas las distribuciones que he probado, sin embargo en Debian Sarge el sistema no termina de arrancar sino que muestra el siguiente mensaje:
    Give root password for maintenance
    (or type Control-D to continue):

       Así que hay que buscar otra solución. Después de descartar el tener que abrir el ordenador para conectar el disco duro a otro e incluso arrancar desde una distribución live-cd, no se me ocurría nada más. Miré si Alex estaba conectado en gtalk para que me echara una mano y la solución que me propuso (sin tener acceso a la consola) fue añadir al final de la línea kernel el parámetro init=/bin/sh, quedando así:
    /boot/vmlinuz-2.4.27-speakup root=/dev/hda1 ro init=/bin/sh

       De esta forma, según me dijo se arranca un kernel mínimo y se ejecuta el shell sh. Después tenemos que montar el filesystem en modo lectura-escritura y editar el archivo /etc/shadow para eliminar el password de root:
    sh-2.05b# mount -o remount,rw /
    sh-2.05b# vi /etc/shadow

       Y listo!. Ahora reiniciando de nuevo podemos logarnos como root y no tendremos que introducir ningún password :-D. Muchas gracias por la ayuda Alex!.

    viernes, 23 de marzo de 2007

    Compartir directorios con Samba

       En el artículo anterior configuré un raid 1 en debian listo para ser utilizado y aprovechar la redundancia que proporciona para almacenar información importante. Ahora lo que vamos a ver es cómo configurar Samba para poder compartir el raid entre máquinas windows. Además, utilizaremos autenticación de los usuarios y controlaremos los permisos de los directorios a nivel de sistema operativo y con samba.

       Voy a crear un grupo casa con los usuarios ivan y ana y la estructura de directorios será la siguiente.
       + Home
    - Ivan
    - Ana
    + Datos
    - Musica
    - Pelis
    - Fotos
    - Varios
    - Lo_que_sea

       Cada usuario tendrá permisos de sólo-lectura en el home del otro usuario y todo lo que cuelgue de Datos podrá ser modificado por cualquiera de nosotros dos. Como es algo muy básico no voy a mostrar ni la creación del grupo, usuarios, directorios, permisos con chmod y chown,... creo que hay muchas páginas en la red con ayuda y ejemplos. Sólo muestro cómo quedan al final:

    shian:/mnt/raid# ls -l
    total 24
    drwxrwxrwx 7 root root 4096 2007-03-15 09:53 Datos
    drwxr-xr-x 4 root root 4096 2007-03-15 09:46 Home
    drwx------ 2 root root 16384 2007-03-13 16:42 lost+found

    shian:/mnt/raid# ls -l Datos/
    total 20
    drwxrwx--- 3 ivan casa 4096 2007-03-15 09:54 Fotos
    drwxrwx--- 4 ivan casa 4096 2007-03-15 09:54 Musica
    drwxrwx--- 2 ana casa 4096 2007-03-15 09:53 Pelis
    drwxrwx--- 3 ivan casa 4096 2007-03-15 09:51 Papelera de reciclaje
    drwxrwx--- 3 root root 4096 2007-03-15 09:52 Varios

    shian:/mnt/raid# ls -l Home/
    total 8
    drwxr-x--- 3 ana casa 4096 2007-03-15 09:53 Ana
    drwxr-x--- 2 ivan casa 4096 2007-03-15 09:50 Ivan
  • Hay que añadir los usuarios a samba:
    shian:/# smbpasswd -a ivan
    New SMB password:
    Retype new SMB password:
    shian:/# smbpasswd -a ana
    New SMB password:
    Retype new SMB password:

  • El archivo de configuración de Samba es el siguiente:
    shian:/# cat /etc/samba/smb.conf
    # Global parameters
    [global]
    display charset = UTF-8
    server string = Shian server
    obey pam restrictions = Yes
    passdb backend = tdbsam, guest
    syslog = 0
    max log size = 1000
    socket options = IPTOS_LOWDELAY TCP_NODELAY SO_SNDBUF=16384 SO_RCVBUF=16384
    load printers = No
    local master = No
    dns proxy = No
    invalid users = root

    # Para habilitar la papelera de reciclaje
    recycle:directory_mode = 0770
    recycle:versions = Yes
    recycle:keeptree = Yes
    recycle:repository = Papelera de reciclaje
    vfs objects = recycle

    [temporal]
    comment = tmp
    path = /mnt/tmp
    read only = No
    create mask = 0660
    directory mask = 0770
    guest ok = No

    [datos]
    comment = Datos del raid
    path = /mnt/raid/Datos
    read only = Yes
    write list = @casa
    create mask = 0660
    directory mask = 0770
    guest ok = No

    [home]
    comment = Home usuarios
    path = /mnt/raid/Home
    read only = Yes
    write list = @casa
    create mask = 0640
    directory mask = 0750
    guest ok = No

  • Una opción interesante de Samba es la utilización del objeto recycle que implementa una papelera de reciclaje. Así, si borramos archivos de las carpetas de red éstos no se eliminan sino que se almacenan en la carpeta Papelera de reciclaje por si los queremos recuperar posteriormente.
  • Ahora, si nos conectamos desde una máquina windows tenemos lo siguiente:

  •    En fin, una configuración bastante sencilla y una manera muy simple de compartir los datos. La configuración de samba se podría hacer de muchas maneras puesto que proporciona mucha flexibilidad en cuanto a opciones de configuración y compartición de archivos pero para el uso que le vamos a dar en casa es más que suficiente con esto.

    miércoles, 21 de marzo de 2007

    El efecto barrapunto

       El sábado publicaron mi artículo del raid 1 en linux en portada de Barrapunto. Ha estado en portada desde las 22:27 del sábado a las 11:08 del martes y como consecuencia de esto tuve el conocido Efecto Barrapunto y las visitas al blog se dispararon. Normalmente recibo aproximadamente unas 50 visitas diarias y el domingo llegaron a las 2500!. En total en estos días han sido aproximadamente 4500 visitas, siendo la mayoría al artículo del raid.






       El haber aparecido en portada también me ha servido para que la gente conozca un poco este blog puesto que he recibido comentarios en otros artículos y he visto que en general hay gente curiosa que ha estado leyendo bastante del blog. En fin, me conformo con que algunos de ellos se vuelvan habituales del blog y que el artículo del raid haya ayudado a alguien.

    sábado, 17 de marzo de 2007

    Nuevo aspecto del blog

       Aunque estos últimos días he cambiado algún estilo del blog (gracias Alex por la ayuda), llevaba algún tiempo queriendo darle un lavado de cara. La plantilla que tenía antes estaba hecha de manera estática y adaptada a 800x600 pixels. Viendo las estadísticas (públicas por cierto) del blog me he dado cuenta de que la mayoría de las visitas son con una resolución de al menos 1024x768 pixels.

       Así, la antigua plantilla ha muerto y ha dejado paso a esta que estás viendo. Sigue siendo muy sencilla, con colores muy básicos y donde destaca el blanco. La principal ventaja es que está hecha de manera dinámica, por lo que de adapta a la resolución de tu monitor. Esto me permitirá poner las fotos a un tamaño un poco mayor, puesto que a veces no se apreciaban bien sin ampliarlas.

       En fin, iremos mejorándola poco a poco.

    Raid 1 en Linux

       Siguiendo el artículo anterior del servidor NAS para casa, aquí cuento todo lo que hice para configurar y probar el raid 1 en debian y las conclusiones finales a las que llegué. Este pequeño tutorial lo he hecho en una máquina virtual VMware por lo cómodo que es probar e instalar todo. El disco de sistema es hda con una única partición y los discos con los que se creará el raid 1 serán hdb y hdc. Muestro en rojo lo que he introducido en los diferentes menús.
  • Particionar los dos discos duros. El sistema de archivos debe ser Linux raid auto.
    shian:~# fdisk /dev/hdb
    Command (m for help): p

    Disk /dev/hdb: 1073 MB, 1073741824 bytes
    16 heads, 63 sectors/track, 2080 cylinders
    Units = cylinders of 1008 * 512 = 516096 bytes

    Device Boot Start End Blocks Id System

    Command (m for help): n
    Command action
    e extended
    p primary partition (1-4)
    p
    Partition number (1-4): 1
    First cylinder (1-2080, default 1):INTRO
    Using default value 1
    Last cylinder or +size or +sizeM or +sizeK (1-2080, default 2080):INTRO
    Using default value 2080

    Command (m for help): t
    Selected partition 1
    Hex code (type L to list codes): fd
    Changed system type of partition 1 to fd (Linux raid autodetect)

    Command (m for help): p

    Disk /dev/hdb: 1073 MB, 1073741824 bytes
    16 heads, 63 sectors/track, 2080 cylinders
    Units = cylinders of 1008 * 512 = 516096 bytes

    Device Boot Start End Blocks Id System
    /dev/hdb1 1 2080 1048288+ fd Linux raid autodetect

    Command (m for help): w
    The partition table has been altered!

    Calling ioctl() to re-read partition table.
    Syncing disks.
  • Repetimos los pasos para /dev/hdc.
  • Creamos el raid 1 con las dos particiones que acabamos de crear. En las opciones indicamos que el tipo de raid será 1 (mirror), que deseamos utilizar dos discos y que el nuevo dispositivo raid será /dev/md0.
    shian:~# mdadm --create /dev/md0 --verbose --level=1 --raid-devices=2 /dev/hdb1 /dev/hdc1
    mdadm: size set to 1048192K
    mdadm: array /dev/md0 started.

    NOTA: Si ya hemos usado el disco anteriormente para otro raid, es necesario reiniciar el superbloque para que se borre la información existente, puesto que sino, la creación puede fallar:
    shian:~# mdadm --zero-superblock /dev/sdXX
  • El raid 1 se está creando en segundo plano. En función del tamaño de los discos tardará más o menos. Se puede ver el estado en el archivo /proc/mdstat:
    shian:~# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus1/target0/lun0/part1[1] ide/host0/bus0/target1/lun0/part1[0]
    1048192 blocks [2/2] [UU]
    [===========>.........] resync = 58.2% (611196/1048192) finish=0.0min speed=101866K/sec
    unused devices: <none>
  • El porcentaje va subiendo hasta que finalmente el dispositivo está listo:
    shian:~# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus1/target0/lun0/part1[1] ide/host0/bus0/target1/lun0/part1[0]
    1048192 blocks [2/2] [UU]

    unused devices: <none>
  • A partir de este momento para cualquier manipulación que deseemos hacer del raid debemos utilizar /dev/md0 y no /dev/hdb1 ni /dev/hdc1.
  • Formateamos el raid
    shian:~# mkfs.ext3 /dev/md0
    mke2fs 1.37 (21-Mar-2005)
    Filesystem label=
    OS type: Linux
    Block size=4096 (log=2)
    Fragment size=4096 (log=2)
    131072 inodes, 262048 blocks
    13102 blocks (5.00%) reserved for the super user
    First data block=0
    8 block groups
    32768 blocks per group, 32768 fragments per group
    16384 inodes per group
    Superblock backups stored on blocks:
    32768, 98304, 163840, 229376

    Writing inode tables: done
    Creating journal (4096 blocks): done
    Writing superblocks and filesystem accounting information: done

    This filesystem will be automatically checked every 22 mounts or
    180 days, whichever comes first. Use tune2fs -c or -i to override.
  • Creamos el punto de montaje, añadimos la entrada correspondiente para que el raid se monte cuando se arranca la máquina y lo montamos:
    shian:~# mkdir /mnt/raid

    shian:~# echo "/dev/md0 /mnt/raid ext3 defaults 0 1" >> /etc/fstab

    shian:~# mount /mnt/raid

    shian:~# df -h /dev/md0
    Filesystem Size Used Avail Use% Mounted on
    /dev/md0 1008M 17M 941M 2% /mnt/raid
  • Aquí ya habríamos terminado la instalación del raid y podríamos utilizarlo, aunque tal y como está configurado y montado sólo tendría permisos el usuario root.

  •    A partir de aquí, lo que yo hice inicialmente fue simular que un disco duro se estropeaba y al arrancar la máquina quería montar el raid sólo con el otro disco y utilizarlo normalmente. Además, después de simular con la máquina virtual que añadía un nuevo disco duro, quería añadirlo al raid para volver a tener de nuevo la redundancia. Después de leer muchos tutoriales y foros no había manera de que funcionase. Si reiniciaba la máquina sin un disco del raid, éste no se montaba y no podía acceder a los datos. Además, el dispositivo /dev/md0 no era reconocido, por lo que era como si el raid no existiese!. Finalmente, encontré en un pequeño tutorial la solución a mis problemas.

  • Es necesario indicarle al sistema operativo cómo acceder a ese dispositivo raid para que sea capaz de utilizarlo. Esto que puede parecer tan obvio no venía en ningún tutorial ni en ninguna ayuda de las que consulté.
    shian:/# cd /etc/mdadm
    shian:/etc/mdadm# cp mdadm.conf mdadm.conf.`date +%y%m%d`
    shian:/etc/mdadm# echo "DEVICE partitions" > mdadm.conf
    shian:/etc/mdadm# mdadm --detail --scan >> mdadm.conf
    shian:/etc/mdadm#
    shian:/etc/mdadm# cat mdadm.conf
    DEVICE partitions
    ARRAY /dev/md0 level=raid1 num-devices=2 UUID=a48e6816:ea6e7f37:6cc50cdb:6fead399
    devices=/dev/hdb1,/dev/hdc1
  • Ahora ya podemos reiniciar la máquina y el raid arrancará y se montará automáticamente en el arranque.
  • Podemos probar a parar el dispositivo y a levantarlo de nuevo:
    shian:/etc/mdadm# umount /mnt/raid
    shian:/etc/mdadm# mdadm --stop /dev/md0
    shian:/etc/mdadm# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    unused devices: <none>

    shian:/etc/mdadm# mdadm --assemble /dev/md0 /dev/hdb1 /dev/hdc1
    mdadm: /dev/md0 has been started with 2 drives.
    shian:/etc/mdadm# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus0/target1/lun0/part1[0] ide/host0/bus1/target0/lun0/part1[1]
    1048192 blocks [2/2] [UU]

    unused devices: <none>

  •    Ahora sí, vamos a probar si realmente el podemos recuperar la información y el sistema funciona correctamente en caso de caída de un dispositivo. Además, veremos cómo reemplazar el disco defectuoso y recuperar de nuevo el raid 1 con los dos discos.
  • Creamos un archivo aleatorio de 25MB en el raid montando previamente de nuevo el raid:
    shian:/# mount /dev/md0 /mnt/raid
    shian:/# dd if=/dev/urandom of=/mnt/raid/random1 count=51200
    51200+0 records in
    51200+0 records out
    26214400 bytes transferred in 7.829523 seconds (3348148 bytes/sec)
  • Calculamos su CRC y lo apuntamos. Posteriormente nos servirá para comprobar que todo es correcto:
    shian:/# cksum /mnt/raid/random1
    1652310020 26214400 /mnt/raid/random1
  • Vamos a simular un fallo en uno de los dispositivos. Para ello apagamos el sistema, desconectamos uno de los discos duros (en este caso /dev/hdb) y arrancamos de nuevo.
  • Una vez arrancado de nuevo el sistema, si examinamos con detalle los mensajes de arranque encontraremos algo como lo siguiente. Como se puede ver el sistema ha detectado un disco falla y al no haber un disco de repuesto (spare) levanta el raid en modo degradado con un sólo disco. Podremos seguir utilizando el raid con total normalidad pero si este disco también fallase, perderíamos irremediablemente todos los datos.
    md: bind
    md: ide/host0/bus1/target0/lun0/part1's event counter: 00000006
    md0: former device hdb1 is unavailable, removing from array!
    md: raid1 personality registered as nr 3
    md0: max total readahead window set to 124k
    md0: 1 data-disks, max readahead per data-disk: 124k
    raid1: device ide/host0/bus1/target0/lun0/part1 operational as mirror 1
    raid1: md0, not all disks are operational -- trying to recover array
    raid1: raid set md0 active with 1 out of 2 mirrors
    md: updating md0 RAID superblock on device
    md: ide/host0/bus1/target0/lun0/part1 [events: 00000007]<6>(write) ide/host0/bus1/target0/lun0/part1's sb offset: 1048192
    md: recovery thread got woken up ...
    md0: no spare disk to reconstruct array! -- continuing in degraded mode
    md: recovery thread finished ...
  • En el archivo /proc/mdstat podemos ver el estado del raid. Ahora mismo se encuentra funcionando sólo con un dispositivo de dos posibles y nos indica que el que ha fallado es el primero de ellos:
    shian:~# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus1/target0/lun0/part1[1]
    1048192 blocks [2/1] [_U]

    unused devices: <none>
  • No obstante el raid está montado y el filesystem es accesible:
    shian:~# df -h /dev/md0
    Filesystem Size Used Avail Use% Mounted on
    /dev/md0 1008M 42M 916M 5% /mnt/raid
  • Ahora marcamos el disco /dev/hdb1 como fallo para proceder a cambiarlo:
    shian:~# mdadm --manage /dev/md0 --fail /dev/hdb1
    mdadm: set /dev/hdb1 faulty in /dev/md0

  •    Apagamos la máquina y cambiamos el disco duro defectuoso por uno nuevo. En el caso de VMware basta con crear un nuevo dispositivo de tipo disco duro. Además, este disco duro nuevo que añadimos va a ser de mayor tamaño que el anterior. Idealmente en un raid 1 los dos discos duros deben tener el mismo tamaño, pero linux nos proporciona la suficiente flexibilidad para que esto no sea así.

  • En el arranque de la máquina vemos que el raid sigue arrancando pero en modo degradado. Lo que vamos a hacer es crear la tabla de particiones del nuevo disco duro exáctamente igual que la del disco duro que aún funciona y que forma parte del raid:
    shian:~# sfdisk -d /dev/hdc | sfdisk /dev/hdb
    Checking that no-one is using this disk right now ...
    OK

    Disk /dev/hdb: 4161 cylinders, 16 heads, 63 sectors/track

    sfdisk: ERROR: sector 0 does not have an msdos signature
    /dev/hdb: unrecognized partition table type
    Old situation:
    No partitions found
    New situation:
    Units = sectors of 512 bytes, counting from 0

    Device Boot Start End #sectors Id System
    /dev/hdb1 63 2096639 2096577 fd Linux raid autodetect
    /dev/hdb2 0 - 0 0 Empty
    /dev/hdb3 0 - 0 0 Empty
    /dev/hdb4 0 - 0 0 Empty
    Warning: no primary partition is marked bootable (active)
    This does not matter for LILO, but the DOS MBR will not boot this disk.
    Successfully wrote the new partition table

    Re-reading the partition table ...

    If you created or changed a DOS partition, /dev/foo7, say, then use dd(1)
    to zero the first 512 bytes: dd if=/dev/zero of=/dev/foo7 bs=512 count=1
    (See fdisk(8).)
  • Como este nuevo disco duro es mayor que el anterior, podemos crear una partición /dev/hdb2 y formatearla para utilizarla sin problemas.
    shian:~# fdisk /dev/hdb

    The number of cylinders for this disk is set to 4161.
    There is nothing wrong with that, but this is larger than 1024,
    and could in certain setups cause problems with:
    1) software that runs at boot time (e.g., old versions of LILO)
    2) booting and partitioning software from other OSs
    (e.g., DOS FDISK, OS/2 FDISK)

    Command (m for help): n
    Command action
    e extended
    p primary partition (1-4)
    p
    Partition number (1-4): 2
    First cylinder (2081-4161, default 2081):INTRO
    Using default value 2081
    Last cylinder or +size or +sizeM or +sizeK (2081-4161, default 4161):INTRO
    Using default value 4161

    Command (m for help): p

    Disk /dev/hdb: 2147 MB, 2147483648 bytes
    16 heads, 63 sectors/track, 4161 cylinders
    Units = cylinders of 1008 * 512 = 516096 bytes

    Device Boot Start End Blocks Id System
    /dev/hdb1 1 2080 1048288+ fd Linux raid autodetect
    /dev/hdb2 2081 4161 1048824 83 Linux

    Command (m for help): w
    The partition table has been altered!

    Calling ioctl() to re-read partition table.
    Syncing disks.

    shian:~# mkfs.ext3 /dev/hdb2
    mke2fs 1.37 (21-Mar-2005)
    warning: 62 blocks unused.

    Filesystem label=
    OS type: Linux
    Block size=4096 (log=2)
    Fragment size=4096 (log=2)
    131328 inodes, 262144 blocks
    13110 blocks (5.00%) reserved for the super user
    First data block=0
    8 block groups
    32768 blocks per group, 32768 fragments per group
    16416 inodes per group
    Superblock backups stored on blocks:
    32768, 98304, 163840, 229376

    Writing inode tables: done
    Creating journal (8192 blocks): done
    Writing superblocks and filesystem accounting information: done

    This filesystem will be automatically checked every 30 mounts or
    180 days, whichever comes first. Use tune2fs -c or -i to override.

    shian:~# mkdir /mnt/tmp

    shian:~# mount /dev/hdb2 /mnt/tmp
  • Ahora vamos a reconstruir el raid:
    shian:~# mdadm --manage /dev/md0 --add /dev/hdb1
    mdadm: hot added /dev/hdb1
  • En este instante el raid 1 se está reconstruyendo. Toda la información del disco existente (/dev/hdc1) se está escribiendo en el nuevo disco (/dev/hdb1) para reconstruir el mirror y tener de nuevo la redundancia. Podemos comprobar el estado en el archivo /proc/mdstat:
    shian:~# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus0/target1/lun0/part1[2] ide/host0/bus1/target0/lun0/part1[1]
    1048192 blocks [2/1] [_U]
    [=======>.............] recovery = 39.5% (415488/1048192) finish=0.1min speed=69248K/sec
    unused devices: <none>
  • Finalmente, después de un tiempo tenemos el raid recuperado:
    shian:~# cat /proc/mdstat
    Personalities : [raid1]
    read_ahead 1024 sectors
    md0 : active raid1 ide/host0/bus0/target1/lun0/part1[0] ide/host0/bus1/target0/lun0/part1[1]
    1048192 blocks [2/2] [UU]

    unused devices: <none>
  • Si no nos fiamos de que todo esté correcto (yo tengo que verlo para creerlo), podemos hacer lo siguiente para comprobar que la recuperación se ha realizado satisfactoriamente. Lo que vamos a hacer es desmontar el raid, montar únicamente el nuevo dispositivo /dev/hdb1 y comprobar el CRC del archivo que generamos anteriormente para comprobar que la recuperación ha sido correcta.
    shian:~# umount /mnt/raid
    shian:~# mount /dev/hdb1 /mnt/raid
    shian:~# cksum /mnt/raid/random1
    1652310020 26214400 /mnt/raid/random1
  • Y listo!. El raid se ha recuperado correctamente y toda nuestra información está a salvo. Es importante dejarlo todo como estaba antes de utilizarlo puesto que ahora mismo en /mnt/raid se encuentra montado de manera temporal sólo un dispositivo del raid y no éste completo. Si ahora hiciéramos algún cambio, creásemos archivos,... perderíamos todos esos datos en cuanto montásemos de nuevo el raid. Mejor lo dejamos todo como estaba:
    shian:~# umount /mnt/raid/
    shian:~# mount /mnt/raid/
    shian:~# df -h /mnt/raid/
    Filesystem Size Used Avail Use% Mounted on
    /dev/md0 1008M 42M 916M 5% /mnt/raid
  • Si ahora reiniciamos la máquina vemos que el raid arranca correctamente con los dos discos de nuevo:
    md: ide/host0/bus0/target1/lun0/part1's event counter: 0000000c
    md: ide/host0/bus1/target0/lun0/part1's event counter: 0000000c
    md: raid1 personality registered as nr 3
    md0: max total readahead window set to 124k
    md0: 1 data-disks, max readahead per data-disk: 124k
    raid1: device ide/host0/bus0/target1/lun0/part1 operational as mirror 0
    raid1: device ide/host0/bus1/target0/lun0/part1 operational as mirror 1
    raid1: raid set md0 active with 2 out of 2 mirrors
    md: updating md0 RAID superblock on device
    md: ide/host0/bus0/target1/lun0/part1 [events: 0000000d]<6>(write) ide/host0/bus0/target1/lun0/part1's sb offset: 1048192
    md: ide/host0/bus1/target0/lun0/part1 [events: 0000000d]<6>(write) ide/host0/bus1/target0/lun0/part1's sb offset: 1048192

  •    Hemos visto una manera bastante sencilla y fiable de tener nuestros datos importantes a buen recaudo. No obstante este sistema raid no sirve de nada sin una buena política de backups, puesto que no protege del borrado accidental de archivos.

       Después de haber probado FreeNAS y el Raid en Debian puedo sacar en claro lo siguiente:
  • FreeNAS es mucho más sencillo y fácil de configurar, pero no ofrece toda la flexibilidad que linux. Por ejemplo, con FreeNAS no es posible crear un raid con dos discos de distinto tamaño y aprovechar el espacio restante. En linux eso no supone ningún problema. Simplemente hay que tener claro que los datos de esa nueva partición no tendrán respaldo, por lo que no se debe utilizar para almacenar información importante.
  • FreeNAS todavía es una versión beta y aunque parece muy robusta y hay mucha gente que la está utilizando (sólo hay que echar un vistazo a sus foros), los desarrolladores indican que no se debería utilizar en entornos de producción. Por contra, el raid por software en linux se lleva utilizando desde hace bastante tiempo.
  • Si tengo algún problema con FreeNAS será más complicado encontrar soporte. Sólo tendría el foro para preguntar. Si tengo un problema con linux tengo a mano a Alex que seguro está encantado de echarme una mano ;-)
  • Al utilizar un sistema linux "estandar" podemos montar un apache, scripts de monitorización del raid, avisos por correo electrónico,... cualquier cosa que se nos ocurra. Con FreeNAS esto sería muy complicado de hacer.

  •    Ahora ya sólo me queda cambiar mi actual Duron 1200Mhz (algo que voy a hacer en las próximas semanas) puesto que ya está algo viejo y cada vez lo noto más lento y utilizarlo como servidor NAS-Debian en casa.

       El siguiente capítulo será la configuración de Samba para compartir los nuevos dispositivos creados con una máquina windows así como la gestión de los distintos permisos de usuario.

       

    martes, 13 de marzo de 2007

    Servidor NAS para casa

       Hace un mes descubrí el proyecto FreeNAS. Es un proyecto para crer un servidor NAS basado en una distribución de FreeBSD y con una interfaz gráfica php. La instalación es muy sencilla he incluso en la web de sourceforge podemos descargar una máquina virtual de VMware ya preparada para probar.

       Me ha picado el gusanillo y he estado algún tiempo realizando bastantes pruebas (gracias a la máquina virtual) creando servidores con discos en raid 1, raid 5, (por software claro)... compartiendo los datos con máquinas windows,... y aunque todavía se trata de una versión beta (actualmente 0.68b3) el producto está muy logrado y me ha sorprendido gratamente. Me he planteado crear un pequeño servidor NAS en casa con raid 1 para poder tener todos los datos importantes centralizados y poder gestionar mejor las copias de seguridad. Actualmente es bastante complicado porque mi mujer trabaja con su portatil pero parte de su información está en mi sobremesa, luego otra copia está en mi disco duro externo,... y nunca tiene tiempo de sincronizar la información!! en fin, un caos!.

       Un aspecto muy importante cuando se configura un servidor NAS es la recuperación en caso de fallo. En mi caso, con la máquina virtual es muy fácil de simular y probar. Sólo hay que desconectar un disco duro y arrancar de nuevo el sistema para ver qué ocurre. En las pruebas no se perdió nada de información aunque se trabajase sólo con un único disco. Posteriormente conecté un nuevo disco a la máquina virtual y lo quise añadir al raid 1. Al principio me volví loco puesto que desde la interfaz gráfica no encontraba la forma de hacerlo. Finalmente, después de leer el foro descubrí que a los desarrolladores se les había olvidado la opción de añadir un disco al raid 1. Como FreeNAS utiliza la herramienta gmirror de FreeBSD, googleando un poco encontré los comandos necesarios para reconstruir el raid sin problemas desde la línea de comandos.

       Unos días después le conté este proyecto a Alex y aunque me dijo que tenía buena pinta me sugirió que hiciera lo mismo con linux, exactamente con Debian. La ventaja de utilizar FreeNAS es que ya está todo configurado y orientado al servidor NAS. Así, es muy sencillo compartir la información con clientes windows, utilizar un servidor ftp,... Pero esto también es un inconveniente. El sistema está tan pensado para hacer sólo esto que es muy dificil añadir alguna mejora o modificarlo para adaptarlo a nuestros gustos. Además, aunque no tengo los conocimientos de Alex en linux, me defiendo. Sin embargo, esto no lo puedo decir de FreeBSD que es el sistema operativo en el que se basa FreeNAS.

       Así, descargué la última versión de Debian Sarge que encontré (la 3.1r5) y lo instalé en VMware para poder hacer todas las pruebas. En breve publicaré el siguiente artículo con todo lo que tuve que hacer y cómo solucioné los problemas (que hubo bastantes) hasta que logré que todo funcionase correctamente.

    jueves, 1 de marzo de 2007

    La Fonera Hackeada (II)

       El otro día comentaba que había logrado abrir el ssh de mi fonera y que la había "capado" para que Fon no la pudiese actualizar. Hoy que he tenido más tiempo libre he estado jugueteando con el Chillispot. Para el que no lo conozca se trata del portal cautivo que utiliza Fon para controlar el acceso a la red. Cuando nos conectados a la red wifi de la fonera y ponemos cualquier página en el navegador, automáticamente esa petición pasa por Chillispot y si no está entre las urls permitida nos redirigirá a la url que hayamos indicado para autenticar el usuario por medio de Radius. En este caso nos redirige a la web de Fon y cuando nos conectamos con nuestro usuario y password ya podemos navegar libremente.

       Conectándome con el portatil a la red pública de la fonera pude comprobar que había algunas páginas a las podía conectar sin tener que pasar por chillispot. Por ejemplo, podía leer mi correo de gmail o visitar flickr. Editando el archivo de configuración del chillispot me encontré esto:
    root@OpenWrt:/etc# cat chilli.conf
    radiusserver1 radius01.fon.com
    radiusserver2 radius02.fon.com
    radiussecret garrafon
    dhcpif eth1
    uamsecret garrafon
    uamallowed 209.85.129.99,209.85.129.104,209.85.129.147
    uamanydns
    uamallowed www.martinvarsavsky.net,www.google.com,www.flickr.com,static.flickr.com,video.google.com,216.239.51.0/24,66.249.81.0/24
    uamallowed www.fon.com,www.paypal.com,www.paypalobjects.com,www.skype.com,66.249.93.0/24,72.14.207.0/24,72.14.209.0/24,84.96.67.0/24,213.91.9.0/24,80.118.99.0/24
    uamallowed shop.fon.co.kr,secure.nuguya.com,inilite.inicis.com,fon-en.custhelp.com,maps.fon.com,c20.statcounter.com

    uamallowed www.fon.com,acceso.fon.com,en.fon.com,es.fon.com
    uamallowed www.fon.com,www.paypal.com,www.paypalobjects.com

    uamserver https://login.fon.com/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/cp/index.php

       Es una lista de urls permitidas por las que se puede navegar sin tener que estar autenticado. Revisando algunas de esas ips he visto que la mayoría son de google, flickr,... pero hay otras que no tengo ni idea. Entonces he pensado que no quería que los Aliens que se conecten a mi punto de acceso Fon puedan navegar libremente por Google, Flickr, Skype,.... Lo primero que se me ha ocurrido ha sido comentar las líneas de las webs no permitidas y reiniciar el chillispot, pero cual ha sido mi sorpresa que no ha funcionado. Revisando con más detalle el script de chillispot (/etc/init.d/N50chillispot) he visto que cuando se arranca se descarga de Fon (en la función radconfig) el archivo de configuración, lo almacena en /tmp/chilli.conf y comprueba mediante un hash MD5 si el que acaba de descargar y el existente son iguales o no. En caso de que el existente haya sido modificado, lo borra y mueve el que se ha descargado a la ruta original. Así Fon tiene control total sobre las webs por las que los Aliens pueden o no navegar:
    radconfig() {
    /usr/sbin/chilli_radconfig \
    -c /dev/null \
    --radiusserver1="$RADIUSSERVER" \
    --radiussecret="$RADIUSSECRET" \
    --adminuser="$RADIUSADMUSR" \
    --adminpasswd="$RADIUSADMPWD" \
    --radiusnasid="$MAC" \
    --dhcpif $wifi_ifname \
    > $TMP_C
    [ -n "$(cat $TMP_C)" ] && {
    MD5SUM_TMP=$(md5sum $TMP_C | awk '{ print $1 }')
    MD5SUM_ETC=$(md5sum $ETC_C | awk '{ print $1 }')
    if [ ! "$MD5SUM_TMP" = "$MD5SUM_ETC" ]; then
    rm $ETC_C
    mv $TMP_C $ETC_C
    circular_log $LOG_LOOP_F "RELOAD"
    do_reload
    else
    circular_log $LOG_LOOP_F "NO RELOAD"
    fi
    return 0
    }
    circular_log $LOG_LOOP_F "NO RELOAD"
    }

       ¿Qué podemos hacer para evitar esto?. Muy sencillo, simplemente cambiamos el signo de la comparación (la línea comentada del if es la original):
    radconfig() {
    /usr/sbin/chilli_radconfig \
    -c /dev/null \
    --radiusserver1="$RADIUSSERVER" \
    --radiussecret="$RADIUSSECRET" \
    --adminuser="$RADIUSADMUSR" \
    --adminpasswd="$RADIUSADMPWD" \
    --radiusnasid="$MAC" \
    --dhcpif $wifi_ifname \
    > $TMP_C
    [ -n "$(cat $TMP_C)" ] && {
    MD5SUM_TMP=$(md5sum $TMP_C | awk '{ print $1 }')
    MD5SUM_ETC=$(md5sum $ETC_C | awk '{ print $1 }')
    # if [ ! "$MD5SUM_TMP" = "$MD5SUM_ETC" ]; then
    if [ "$MD5SUM_TMP" = "$MD5SUM_ETC" ]; then
    rm $ETC_C
    mv $TMP_C $ETC_C
    circular_log $LOG_LOOP_F "RELOAD"
    do_reload
    else
    circular_log $LOG_LOOP_F "NO RELOAD"
    fi
    return 0
    }
    circular_log $LOG_LOOP_F "NO RELOAD"
    }

       y ya está capado. Ahora editamos el archivo de configuración de Chillispot y comentamos las webs que no queremos que se puedan utilizar:
    root@OpenWrt:/etc# cat chilli.conf
    radiusserver1 radius01.fon.com
    radiusserver2 radius02.fon.com
    radiussecret garrafon
    dhcpif eth1
    uamsecret garrafon
    #uamallowed 209.85.129.99,209.85.129.104,209.85.129.147
    uamanydns
    #uamallowed www.martinvarsavsky.net,www.google.com,www.flickr.com,static.flickr.com,video.google.com,216.239.51.0/24,66.249.81.0/24
    #uamallowed www.fon.com,www.paypal.com,www.paypalobjects.com,www.skype.com,66.249.93.0/24,72.14.207.0/24,72.14.209.0/24,84.96.67.0/24,213.91.9.0/24,80.118.99.0/24
    #uamallowed shop.fon.co.kr,secure.nuguya.com,inilite.inicis.com,fon-en.custhelp.com,maps.fon.com,c20.statcounter.com

    uamallowed www.fon.com,acceso.fon.com,en.fon.com,es.fon.com
    uamallowed www.fon.com,www.paypal.com,www.paypalobjects.com

    uamserver https://login.fon.com/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/cp/index.php

       y finalmente reiniciamos Chillispot.

       Si ahora nos conectamos desde a la señal wifi de Fon y ponemos una web como http://www.google.com, Chillispot nos reenviará automáticamente al Portal de login de Fon.

       El próximo paso: Actualización de la Fonera a DD-WRT.