Recientemente tuvimos un problema con la consola de administración Oracle VM Manager, resulta que cuando queríamos firmarnos se quedaba pensando y nada pasaba, evidentemente algo andaba mal por lo que tuve que abordar el tema a la brevedad ya que esta consola es importante para las gestiones diarias.
Las primeras acciones fueron las de revisar status de los servicios:
service ovmm status
El cual indicaba que no estaba corriendo, el sentido común me dice que debo lanzarlo.
service ovmm start error: ovmm.service operation timed out. Terminating.
No podía iniciar, marcaba error, probando con otros comandos me arroja que el problema esta en el servicio de ovmm_mysql que no esta iniciado.
systemctl start ovmm.service
Reviso el estatus del servicio y en efecto el servicio no esta ejecutado, por lo que intento iniciarlo y resulta que no se puede inciar.
service ovmm_mysql status service ovmm_mysql start
Revisando los logs veo porque no puede iniciar.
cat /u01/app/oracle/mysql/data/mysqld.err 2018-09-12 18:55:50 1185 [Note] Plugin 'FEDERATED' is disabled. 2018-09-12 18:55:50 1185 [Note] InnoDB: Using atomics to ref count buffer pool pages 2018-09-12 18:55:50 1185 [Note] InnoDB: The InnoDB memory heap is disabled 2018-09-12 18:55:50 1185 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins 2018-09-12 18:55:50 1185 [Note] InnoDB: Memory barrier is not used 2018-09-12 18:55:50 1185 [Note] InnoDB: Compressed tables use zlib 1.2.3 2018-09-12 18:55:50 1185 [Note] InnoDB: Using Linux native AIO 2018-09-12 18:55:50 1185 [Note] InnoDB: Using CPU crc32 instructions 2018-09-12 18:55:50 1185 [Note] InnoDB: Initializing buffer pool, size = 1.0G 2018-09-12 18:55:51 1185 [Note] InnoDB: Completed initialization of buffer pool 2018-09-12 18:55:51 1185 [Note] InnoDB: Highest supported file format is Barracuda. 2018-09-12 18:55:51 1185 [Note] InnoDB: 128 rollback segment(s) are active. 2018-09-12 18:55:51 1185 [Note] InnoDB: Waiting for purge to start 2018-09-12 18:55:51 1185 [Note] InnoDB: 5.6.35 started; log sequence number 203216858145 2018-09-12 18:55:51 1185 [Note] RSA private key file not found: /u01/app/oracle/mysql/data//private_key.pem. Some authentication plugins will not work. 2018-09-12 18:55:51 1185 [Note] RSA public key file not found: /u01/app/oracle/mysql/data//public_key.pem. Some authentication plugins will not work. 2018-09-12 18:55:51 1185 [Note] Server hostname (bind-address): '*'; port: 49500 2018-09-12 18:55:51 1185 [Note] IPv6 is available. 2018-09-12 18:55:51 1185 [Note] - '::' resolves to '::'; 2018-09-12 18:55:51 1185 [Note] Server socket created on IP: '::'. 2018-09-12 18:55:51 1185 [ERROR] Can't start server: Bind on TCP/IP port: Address already in use 2018-09-12 18:55:51 1185 [ERROR] Do you already have another mysqld server running on port: 49500 ? 2018-09-12 18:55:51 1185 [ERROR] Aborting
El log indicaba que la causa del error era el puerto 49500 que estaba siendo usado por otro programa, para rastrear quien era el causante de esto intente un netstat, pero para mi sorpresa el no había resultados
netstat -utpan | grep 49500
El comando Netstat no podía ayudarme, tuve que instalar lsof para descubrir quién tenía el puerto ocupado.
yum install lsof lsof -i TCP:49500
Y listo, el comando revelo el PID que tenía ocupado el proceso, ya solo procedí a matarlo
kill -9 3306
Nuevamente se intenta iniciar el servicio de OVMM Mysql
service ovmm_mysql start
Todo levanta bien y se procede a levantar el servicio de OVMM
service ovmm start
Y listo, con esto ya tenemos nuevamente el sistema funcional pero ¿Qué causo la falla de mysql y del ovmm?
Los logs de mysql revelan la causa de este problema
more /u01/app/oracle/mysql/data/mysqld.err 2018-02-18 04:49:54 2128 [Note] Server socket created on IP: '::'. 2018-02-18 04:49:54 2128 [Note] Event Scheduler: Loaded 0 events 2018-02-18 04:49:54 2128 [Note] /usr/sbin/mysqld: ready for connections. Version: '5.6.35-enterprise-commercial-advanced' socket: '/u01/app/oracle/mysql/data/mysqld.sock' port: 49500 MySQL Enterprise Server - Advanced Edition (Commercial) 2018-09-08 18:37:34 7f533e6767002018-09-08 18:37:34 2128 [ERROR] InnoDB: Failure of system call pwrite(). Operating system error number is 28. InnoDB: Error number 28 means 'No space left on device'. InnoDB: Some operating system error numbers are described at InnoDB: http://dev.mysql.com/doc/refman/5.6/en/operating-system-error-codes.html 2018-09-08 18:37:34 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:44:44 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:45:26 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:45:46 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:46:28 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:46:48 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:47:08 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:47:29 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:47:49 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:48:11 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:48:31 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:48:52 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:49:12 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:49:33 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:49:53 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:50:14 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 18:50:34 2128 [ERROR] /usr/sbin/mys2018-09-08 19:28:51 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full 2018-09-08 19:29:11 2128 [ERROR] /usr/sbin/mysqld: The table 'OVM_STATISTIC' is full
Resulta que la tabla ‘OVM_STATISTIC’ se llenó y no dejo espacio en la partición lo que causo un conflicto con el manejo de memoria e intercambio de datos y una clásica excepción no controlada apago el servicio de forma inesperada y por tal motivo algunos programas quedaron colgados.
Para evitar que esto vuelva a suceder y tomando como referencia lo indicado en el sitio de rm-rf.es decido vaciar la tabla.
mysql ovs -u ovs -p -S /u01/app/oracle/mysql/data/mysqld.sock use ovs truncate table OVM_STATISTIC;
Link al árticulo de rm-rf
Oracle VM manager: tabla OVM_STATISTIC y su crecimiento descontrolado
Y listo. Problema resuelto mientras la tabla no vuelva a llenarse.
Amigo, una pregunta, puedo encender una MV sin el manager, este se daño, esto con el fin de subir una MV de urgencia, se puede hacer algo?
Con la línea de comandos desde el Oracle Virtual Server pudieras lanzar la VM sin embargo no conozco los comandos necesarios para realizar esta operación.
Puedes subir la virtual desde el OVS usando: xm create ruta_archivo_vm.cfg