Problema con Oracle VM Manager

Recientemente tuvimos un problema con la consola de administración Oracle VM Manager,  resulta que cuando queríamos firmarnos se quedaba pensando y nada pasaba, evidentemente algo andaba mal por lo que tuve que abordar el tema a la brevedad ya que esta consola es importante para las gestiones diarias.

Las primeras acciones fueron las de revisar status de los servicios:

service ovmm status

El cual indicaba que no estaba corriendo, el sentido común me dice que debo lanzarlo.

service ovmm start
error: ovmm.service operation timed out. Terminating.

No podía iniciar, marcaba error, probando con otros comandos me arroja que el problema esta en el servicio de ovmm_mysql que no esta iniciado.

systemctl start ovmm.service

Reviso el estatus del servicio y en efecto el servicio no esta ejecutado, por lo que intento iniciarlo y resulta que no se puede inciar.

service ovmm_mysql status
service ovmm_mysql start

Revisando los logs veo porque no puede iniciar.

cat /u01/app/oracle/mysql/data/mysqld.err
2018-09-12 18:55:50 1185 [Note] Plugin 'FEDERATED' is disabled.
2018-09-12 18:55:50 1185 [Note] InnoDB: Using atomics to ref count buffer pool pages
2018-09-12 18:55:50 1185 [Note] InnoDB: The InnoDB memory heap is disabled
2018-09-12 18:55:50 1185 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
2018-09-12 18:55:50 1185 [Note] InnoDB: Memory barrier is not used
2018-09-12 18:55:50 1185 [Note] InnoDB: Compressed tables use zlib 1.2.3
2018-09-12 18:55:50 1185 [Note] InnoDB: Using Linux native AIO
2018-09-12 18:55:50 1185 [Note] InnoDB: Using CPU crc32 instructions
2018-09-12 18:55:50 1185 [Note] InnoDB: Initializing buffer pool, size = 1.0G
2018-09-12 18:55:51 1185 [Note] InnoDB: Completed initialization of buffer pool
2018-09-12 18:55:51 1185 [Note] InnoDB: Highest supported file format is Barracuda.
2018-09-12 18:55:51 1185 [Note] InnoDB: 128 rollback segment(s) are active.
2018-09-12 18:55:51 1185 [Note] InnoDB: Waiting for purge to start
2018-09-12 18:55:51 1185 [Note] InnoDB: 5.6.35 started; log sequence number 203216858145
2018-09-12 18:55:51 1185 [Note] RSA private key file not found: /u01/app/oracle/mysql/data//private_key.pem. Some authentication plugins will not work.
2018-09-12 18:55:51 1185 [Note] RSA public key file not found: /u01/app/oracle/mysql/data//public_key.pem. Some authentication plugins will not work.
2018-09-12 18:55:51 1185 [Note] Server hostname (bind-address): '*'; port: 49500
2018-09-12 18:55:51 1185 [Note] IPv6 is available.
2018-09-12 18:55:51 1185 [Note]   - '::' resolves to '::';
2018-09-12 18:55:51 1185 [Note] Server socket created on IP: '::'.
2018-09-12 18:55:51 1185 [ERROR] Can't start server: Bind on TCP/IP port: Address already in use
2018-09-12 18:55:51 1185 [ERROR] Do you already have another mysqld server running on port: 49500 ?
2018-09-12 18:55:51 1185 [ERROR] Aborting

El log indicaba que la causa del error era el puerto 49500 que estaba siendo usado por otro programa, para rastrear quien era el causante de esto intente un netstat, pero para mi sorpresa el no había resultados

netstat -utpan | grep 49500

El comando Netstat no podía ayudarme, tuve que instalar lsof para descubrir quién tenía el puerto ocupado.

yum install lsof
lsof -i TCP:49500

Y listo, el comando revelo el PID que tenía ocupado el proceso, ya solo procedí a matarlo

kill -9 3306

Nuevamente se intenta iniciar el servicio de OVMM Mysql

service ovmm_mysql start

Todo levanta bien y se procede a levantar el servicio de OVMM

service ovmm start

Y listo, con esto ya tenemos nuevamente el sistema funcional pero ¿Qué causo la falla de mysql y del ovmm?

Los logs de mysql revelan la causa de este problema

more /u01/app/oracle/mysql/data/mysqld.err
2018-02-18 04:49:54 2128 [Note] Server socket created on IP: '::'.
2018-02-18 04:49:54 2128 [Note] Event Scheduler: Loaded 0 events
2018-02-18 04:49:54 2128 [Note] /usr/sbin/mysqld: ready for connections.
Version: '5.6.35-enterprise-commercial-advanced'  socket: '/u01/app/oracle/mysql/data/mysqld.sock'  port: 49500  MySQL Enterprise Server - Advanced Edition (Commercial)
2018-09-08 18:37:34 7f533e6767002018-09-08 18:37:34 2128 [ERROR] InnoDB: Failure of system call pwrite(). Operating system error number is 28.
InnoDB: Error number 28 means 'No space left on device'.
InnoDB: Some operating system error numbers are described at
InnoDB: http://dev.mysql.com/doc/refman/5.6/en/operating-system-error-codes.html
2018-09-08 18:37:34 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:44:44 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:45:26 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:45:46 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:46:28 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:46:48 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:47:08 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:47:29 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:47:49 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:48:11 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:48:31 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:48:52 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:49:12 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:49:33 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:49:53 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:50:14 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 18:50:34 2128 [ERROR] /usr/sbin/mys2018-09-08 19:28:51 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
2018-09-08 19:29:11 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full

Resulta que la tabla ‘OVM_STATISTIC’ se llenó y no dejo espacio en la partición lo que causo un conflicto con el manejo de memoria e intercambio de datos y una clásica excepción no controlada apago el servicio de forma inesperada y por tal motivo algunos programas quedaron colgados.

Para evitar que esto vuelva a suceder y tomando como referencia lo indicado en el sitio de rm-rf.es decido vaciar la tabla.

mysql ovs -u ovs -p -S /u01/app/oracle/mysql/data/mysqld.sock
use ovs
truncate table OVM_STATISTIC;

Link al árticulo de rm-rf

Oracle VM manager: tabla OVM_STATISTIC y su crecimiento descontrolado

Y listo. Problema resuelto mientras la tabla no vuelva a llenarse.