Pruebas del mecanismo de almacenamiento ClouSE

MySQL es una base de datos relacional que tiene la particularidad de que es posible utilizar distintos mecanismos de almacenamiento -propios o desarrollados por terceros- los cuales realizan la grabación de datos sobre un medio que les da a estos durabilidad.

ds data systems ha instalado y realizado pruebas del mecanismo de almacenamiento ClouSE en una base de datos MySQL. Este mecanismo permite utilizar S3 como dispositivo de almacenamiento. S3 es un servicio web proporcionado por Amazon que permite el almacenamiento y recuperación de datos en la nube. El mecanismo de almacenamiento ClouSE permite que al almacenamiento de una base de datos MySQL resida en la nube de Amazon. Este servicio de Amazon ha de estar contratado previamente y puede compatibilizarse para cualquier otro fin.

Los resultados de los tests aplicados sobre un número de operaciones realizadas comparando los mecanismos de almacenamiento ClouSE e InnoDB -este último residente en el ordenador local- indican un resultado con prestaciones aceptable que indican que en ciertos casos S3 además de poder utilizarse como un método de respaldo para copias de seguridad, también ofrece buenas prestaciones en uso como mecanismo primario de almacenamiento.

Las pruebas de carga se han realizado con la herramienta mysqlslap, y se han obtenido estos resultados:

### create.sql ####
CREATE TABLE foo (a int primary key, b int, c int, name varchar(10));
INSERT INTO foo VALUES (1, 1, 1, ‘Juan’);
INSERT INTO foo VALUES (2, 1, 1, ‘Ana’);
INSERT INTO foo VALUES (3, 1, 1, ‘Miguel’);
INSERT INTO foo VALUES (4, 1, 1, ‘Luisa’);
INSERT INTO foo VALUES (5, 1, 1, ‘Santiago’);
### /create.sql ###

### query.sql #####
SELECT * FROM foo ORDER BY name;
SELECT * FROM foo WHERE name LIKE ‘%uis%’;
### /query.sql ####

$ mysqlslap -uroot -p \
–engine=InnoDB \
–concurrency=100 –iterations=100 \
–query=query.sql \
–create=create.sql
Benchmark
Running for engine InnoDB

  • Average number of seconds to run all queries: 0.034 seconds
  • Minimum number of seconds to run all queries: 0.026 seconds
  • Maximum number of seconds to run all queries: 0.049 seconds
  • Number of clients running queries: 100
  • Average number of queries per client: 2

$ mysqlslap -uroot -p \
–engine=ClouSE \
–concurrency=100 –iterations=100 \
–query=query.sql \
–create=create.sql

Benchmark
Running for engine ClouSE

  • Average number of seconds to run all queries: 0.594 seconds
  • Minimum number of seconds to run all queries: 0.177 seconds
  • Maximum number of seconds to run all queries: 1.332 seconds
  • Number of clients running queries: 100
  • Average number of queries per client: 2

Los precios del servicio S3 son muy competitivos, la disponibilidad que garantiza es superior al 99.99 % y su durabilidad del 99.999999999 %.

Además, la transferencia de datos entre el servidor MySQL y AWS S3 se cifra en origen mediante el mecanismo AES.

1 Comment

Integración Perforce-Eclipse

El plug-in the Perforce para Eclipse P4Eclipse permite la integración de este IDE con el sistema de gestión de versiones Perforce. Está implementado como una solución pura en Java, y proporciona a los desarrolladores un amplio conjunto de funciones para desarrollar una metodología Agile.

Todas las operaciones de Perforce, además de las funciones merge/resolve, shelving, branching y seguimiento de defectos, se le presentan al usuario desde la propia herramienta Eclipse. Se accede a las operaciones mediante menúes contextuales (botón derecho…) bien desde el explorador de paquetes Java, desde el panel de sincronización Eclipse, desde las listas de cambio Perforce, desde el gestor de conexiones Perforce y desde el menú principal Eclipse.

P4Eclipse usa el entorno de refactorización para optimizar el control de versiones Perforce, asegurando la eficiencia y seguridad de cualquier refactorización por compleja que ésta sea. Esta funcionalidad permite mover y renombrar clases e interfaces múltiples veces antes de enviarlas al servidor (commit).

P4Eclipse ofrece abundantes operaciones gráficas, incluyendo:

  1. Merge Quest, una innovadora herramienta de visualización que modeliza la estrategia de ramificación en curso y permite mejor visibilidad de las potenciales integraciones.
  2. Time-lapse View, una herramienta que muestra la historia del contenido y evolución de los ficheros gestionados con Perforce.
  3. Folder Diff, una herramienta de comparación que ayuda en tareas de seguimiento y depuración cuando se comparan proyectos y ficheros en diferentes momentos y revisiones.

El conector con Mylyn es un interface que hace sencillo registrar cambios relevantes en Perforce cuando se trabaja en tareas múltiples. Se puede navegar fácilmente desde el código a una tarea relevante, así como ver y editar tareas perforce (jobs) desde la lista de Mylyn.

La última versión de P4Eclipse es compatible con:

Versiones Eclipse 4.2, 3.8 y 3.7
Servidor Perforce 2005.2 o mayor
Mylyn 3.8

No Comments

Pixar usa Perforce Perforce en VMware vSphere para versionar cualquier archivo

Para crear películas como Toy Story 3, Pixar usa millones de archivos, clips de video, archivos de audio y muchos más. Estos activos deben ser manejados, versionados y almacenados para que se puedan recuperar muy rápidamente. Pixar ha elegido el control de revisiones de Perforce (P4D) para llevar a cabo ésta tarea compleja y vital. Haciendo ésto han situado Perforce P4D software sobre VMware vSphere como una plataforma standard.

El administrador de recursos digitales de Pixar ha descrito éste ambiente virtual. Pixar ha estado virtualizando software Perforce P4D durante años, ahora tienen un gran éxito. Los casos de código de servidor de Perforce crecieron de 1 al empezar hasta 119 casos en Mayo de 2012.

En Mayo de 2012, por ejemplo tenían:
- 1000 usuarios aproximadamente.
- El servidor más grande es de 83 GB.
- 12 millones de operaciones en Perforce al día.
- 37 servidores VMware ESX.
- 20 millones de archivos de Perforce.
- 70 Terabytes de almacenamiento en P4 (incluyendo un único depósito de 27 TB)

Dada la industria en la que se encuentra la compañía, el tipo de datos que Pixar almacena en su sistema de versiones no son sólo archivos software sino también los siguientes:

- Arte -ambos referencia y conceptual- usado para inspiracion de objetivos para películas.
- Datos específicos sobre el Departamento, tales como datos sobre los recursos creativos de marketing con imágenes.
- Todas las librerías de referencia de la compañía, animación, archivos de configuración, fotos de la compañía.
- Archivos exóticos como datos de patentes, casting de audio, acción directa, story gags, conceptos de parques temáticos, shows artísticos, post producción, etc.

Esto muestra que el software de Perforce es capaz de versionar mucho más que artículos de desarrolladores de software, puede versionar casi cualquier cosa. La clave en el negocio de Pixar fue su capacidad para escalar la infraestructura del servidor para manejar esas enormes cantidades de diferentes tipos de datos que debían manejar. Un factor fundamental para conseguirlo fue el uso VMware.

Beneficios derivados de Virtualizing Perforce P4D

El equipo de Pixar fue capaz de girar rápidamente a los nuevos servidores Perforce desde un sitio remoto en una máquina virtual sobre hardware para atender una carga de usuarios cada vez mayor (clonar un VM, installar Perforce, ejecutar scripts de personalización y validar/comprobar, todo se completó en una hora). Su valioso espacio de centro de datos se conservó cuando usaron máquinas virtuales, con sus gastos de energía, sistemas de refrigeración y de administración. El sistema es estable y con tolerancia a los fallos. Si un hardware de un servidor debe ser eliminado, ejecutando VM se consigue migrar a otro host automática y transparentemente incluso sin que los usuarios finales lo noten.

Perforce Performance on Virtual Machines en vSphere

Pixar llevó a cabo varios ejercicios de evaluación comparativa para demostrar que forzosamente P4D podría ser virtualizado con seguridad y ofrecer respuestas adecuadas a sus usuarios. Los resultados del test esa vez fueron que la virtualización del sistema vino con un 15% de rendimiento de los servidores físicos en el peor de los casos y fue cercano al 95% del rendimiento nativo en muchos casos. Para llevar a cabo éstas prueba se utilizó la capacidad de presentar y examinar que tan familiares son para la gente de administración de Perforce. En resumen, los descubrimientos fueron que el rendimiento fue muy bueno para satisfacer las necesidades de la compañia.

Lecciones aprendidas de la implantación de la plataforma virtual.

Todavía es necesario asegurarse de que la carga de datos está repartida a lo largo de múltiples nodos para virtualización (como sucede en implementaciones nativas). VMware ayuda proporcionando la característica vMotion que permite mudarse a una máquina virtual desde un host ESX a otro. Sin embargo, con el fin de asegurarse de que los más altos servidores cargados P4D se distribuyen a través de diferentes servidores, hubo cierta administración manual.

Los síntomas como un llenado de disco por encima del 90% causan una desaceleración del rendimiento, éstos síntomas no son diferentes ya sean virtuales o nativos.

Pixar continúa virtualizando más y más sus servidores de Perforce y la plataforma vSphere es ahora el ambiente de instalación elegido para su uso futuro.

(publicado en http://blogs.vmware.com/alliances/2012/08/pixar.html)

No Comments

Migración Oracle –> MySQL

En ds data systems estamos trabajando en proyectos de migración de DB/aplicaciones en Oracle a MySQL.

Para estimar el coste de la migración es necesario distinguir entre los datos y la lógica del negocio.

La migración de los datos no tiene un gran impacto en el proceso total, siempre que se mantengan por debajo de un cierto volumnen.

Para la estimación es necesario conocer los datos incluídos en las tablas:

Estructura del esquema

Número de tablas
Número de columnas tipo LOB
Total filas en todas las tablas
Tamaño total de la DB

Los programas -ya estén éstos escritos en PL/SQL, Java o en scripts imbuídos en aplicaciones- tienen mucho más impacto. Para ello es necesario conocer:

Uso de los datos

Desde dónde se accede a la DB (PL/SQL, Java, C, SQL*forms…)

Número de paquetes y procedimientos (si PL/SQL)

Y cuanto a contenidos en la propia base de datos es importante conocer:

Lógica de negocio imbuída en la base de datos

Número de procedimientos almacenados

Número de triggers incluídos

Número de funciones

En cuanto a la copia de seguridad es necesario saber si:

  • en frío o en caliente

  • modo de funcionamiento NOARCHIVELOG o ARCHIVELOG

El proyecto se acometerá en una secuencia de fases:

  • Estudio y evaluación

  • Conversión y análisis

  • Chequeo

Para el desarrollo de alguna de estas fases -en función del volumen- puede estar aconsejado el uso de herramientas de automatización.

No Comments

Herramientas gráficas de gestión para MySQL

MySQL es un SGBDR que se suministra sin interfaz gráfico para la administración de los esquemas o gestión de datos. Su uso por defecto se basa emn línea de comandos. Sin embargo es posible descargar varios frontales gráficos para gestionar las bases de datos, construir esquemas o manejar los registros

Oficial

El MySQL Workbench es un entorno gráfico gratuito desarrollado por MySQL AB, que permite administrar de forma gráfica los esquemas, así como diseñar visualmente estructuras de datos. MySQL Workbench reemplaza a MySQL GUI Tools. Funciona de modo similar a otros paquetes de terceros, pero se le considera en interfaz oficial. Los usuarios pueden hacercon eĺ estas tareas:

  • Diseño y modelado de bases de datos
  • Desarrollo SQL
  • Administración de bases de datos
File:Mysqlwb-homepage.png
Está disponible en dos ediciones, la Community Edition que es gratuita -descargable del sitio web de MySQL- y la  Standard Edition con más funcionalidades.

De terceros

Aplicaciones gratuitas o de pago suministradas por terceros permiten la administración gráfica de MySQL. Los más conocidos se enumeran a continuación:

  • Adminer – gratuito, escrito en PHP, capaz de gestionar múltiples esquemas, con varias opciones de presentación CSS
  • DBEdit – frontal gratuito para MySQL y otras bases de datos
  • dbForge GUI Tools — conjunto de herramientas para gestión de bases de datos que incluye aplicaciones autónomas para comparación de esquemas y sincronización, comparación de datos y sincronización así como construcción de consultas
  • HeidiSQL – un frontal para Windows que puede conectarse a servidores MySQL locales o remotos, y gestiona tablas, columnas y registros. Manejo de estructuras especiales de fecha/hora y campos multi-valor
  • LibreOffice Base - permite la creación y gestión de bases de datos, formularios e informes. Del mismo modo que Access, puede utilizarse como un frontal para varias bases de datos incluyendo Access (JET), fuentes ODBC, MySQL y PostgreSQL
  • WebYog – basado en Windows, permite administrar remotamente distintas instancias de MySQL y acceder a Vistas, Programs almacenados y Triggers
  • Navicat – conjunto de aplicaciones gráficas disponible para Windows, Macintosh y Linux
  • OpenOffice.org – para gestionar bases de datos MySQL databases debe instalarse la suite completa
  • phpMyAdmin – un frontal basado en Web ampliamente instalado, desarrollado en PHP e incluido en los paquetes LAMP y WAMP
  • Toad para MySQL – frontal para administrar MySQL gráficamente

Entre otros frontales gráficos de pago encontramos dbForge Studio for MySQL, Epictetus, Oracle SQL Developer, SchemaBank, SQLPro SQL Client, Toad Data Modeler.

Línea de comando

MySQL incorpora un conjunto de herramientas basadas en comando para interrogar los esquemas, hacer copia de seguridad, ver el estado del servidor, crear bases de datos y más. Se pueden encontrar más funciones en Maatkit, escrito en Perl.

No Comments

Perforce en el mundo audiovisual-juegos

Mediante la gestión de todo tipo de archivos digitales (código fuente, este, audio, documentos, binarios…) el programa de gestión de configuración (SCM) Perforce acelera el desarrollo de juegos y permite controlar los proyectos en una industria muy exigente con los tiempos de entrega.

Permite potenciar la productividad del equipo, utilizando un mínimo de ancho de banda para permitir hacer un seguimiento detallado de los cambios y modificaciones.

Desarrolladores de juegos de más de 150 compañías -incluyedo Electronic Arts, Sony Online Entertainment, Nintendo, y Ubisoft- utilizan el SCM Perforce para gestionar sus activos digitales durante el desarrollo de juegos de consola, inalámbricos, para PC y juegos de rol on-line (MMORPG).

Consulte información y vídeos demostrativos en nuestras páginas de “productos/Perforce”

Tags: , , ,

No Comments

Representación de SkySQL

DS Data Systems ofrece los servicios de soporte, formación y consultoría para MySQL y MariaDB des SkySQL.

En SkySQL se han unido los componentes de la antigua MySQL AB de modo que aseguran servicios de primera categoría. Ya sea soporte para una base de datos MySQL® database, formación para los DBAs o consultoría para un despliegue de MySQL, SkySQL ofrece una asistencia imprescindible.

Opera en 21 países -y creciendo- en todos los husos horarios, proporcionamos soporte las 24 horas del día para las incidencias producidas en despliegues y desarrollos sobre MySQL.

No lo hacemos sólo para productos MySQL, sinó que también soportamos los productos ramificados, como MariaDB® y Drizzle™ estando en contacto con sus desarrolladores. En DS Data Systems nos esforzamos en presentar un único punto de acceso para todas sus consultas y necesidades relacionadas con sus bases de datos. También le podemos ofrecer ayuda para sacar el máximo partido a su instalación de bases de datos, como alta disponibilidad, recuperación de backup y optimización.

Los mecanismos de almacenamiento en los que tenemos el apoyo de SkySQL son:

ARIA

El objetivo es este mecanismo es hacer una alternativa a MyISAM pero resistente a caídas del sistema. No tiene todavía capacidad transaccinal pero está planeado añadirla en el futuro.

Originalmente se llamó María y luego se cambió el nomnre por Aria, para evitar confusiones con MaríaDB, la base de datos sucesora de la original MySQL y promovida por el mismo creador, Monty Widenius.

IBMDB2I

IBM proporciona el soporte para su mecanismo de almacenamiento para IBM serie i (AS/400). Con ese mecanismo de DB2, las aplicaciones escritas para MySQL pueden correr en IBM i almacenando datos en DB2. Esto permite implementar aplicaciones MySQL transaccionales y en línea almacenando los datos en un entorno DB2 único y fácil de gestionar.

InnoDB

InnoDB es un mecanismo de almacenamiento transaccional (ACID) para MySQL que permite COMMIT, ROLLBACK y recuperación frente a caídas. Esto aumenta la seguridad de los datos. Realiza bloqueo a nivel de filas y lecturas no bloqueantes MVCC tipo Oracle que aumentan la concurrencia y las prestaciones.

InnoDB almacena los datos agrupados para reducir el flujo de entrada/salida de consultas habituales basadas en claves primarias. Para mantener la integridad de los datos, InnoDB también soporta restricciones FOREIGN KEY para integridad referential. Se pueden mezclar tablas InnoDB con tablas de otros mecanismos de almacenamiento, incluso en la misma consulta.

MyISAM

El mecanismo MyISAM almacena cada tabla en tres ficheros:

  • .frm con el formato de la tabla
  • .MYD con los datos
  • .MYI con los índices

Ha sido el mecanismo de almacenamiento por defecto hasta la versión 5.1 de MySQL, y sigue siendo utilizado por la versión actual (5.5) para muchas tablas internas de metadatos.

Tags: , , , , , , , , , , , , ,

1 Comment

Streams en Perforce

El SCM Perforce ha incluido en su version 2011.1 la funcionalidad streams.

Esta funcionalidad presenta un nivel de abstracción mayor a la hora de crear ramificaciones, ya que se crean no de un fichero concreto sinó de todo el conjunto que forma la aplicación o desarrollo.

Siguiendo las buenas prácticas de la ingeniería SW, el funcionamiento con streams recomienda crear una línea de desarrollo principal en la que nos basamos. De la línea principal se ramifican versiones para desarrollo con nuevas características que tienen flujo bidireccional con la principal -llamadas fusiones o copias, según el sentido- y también pueden crearse ramas para evaluación, las que no pueden realimentar a la rama principal, sólo recibir copias de ella.

La macánica de funcionamiento simplica enormemente las tareas de ramificación y fusión y, sobre todo, las presenta mediante un interfaz gráfico que las hace muy intuitivas.

Se puede acceder a los vídeos de presentación en http://www.dsdata.es/es/partnership/perforce/perforce-docs.html

Además, Perforce se integra de modo nativo con JIRA, de modo que el workflow de seguimientode proyecto y de errores queda accesible a los gestores y desarrolladores

Tags: , , , , ,

1 Comment

DS DATA SYSTEMS es Partner de Atlassian

Atlassian es  la empresa desarrolladora de los proyectos de código abierto Jira y Confluence, utilizados por Ds DATA SYSTEMS como tecnología de soporte en el desarrollo de proyectos. Esta tecnología es una tecnología de código abierto, con libertad de instalación y modificación del código. Dependiendo del tipo de uso, se trata de productos gratuitos o no. DS DATA SYSTEMS ofrece la distribución de estos productos.

JIRA es una aplicación basada en web para el seguimiento de errores, de incidentes y para la gestión operativa de proyectos. Jira también se utiliza en áreas no técnicas para la administración de tareas.

Jira puede ser utilizado para la gestión de procesos y para la mejora de procesos gracias a sus funciones para la organización del flujo (Flujo de trabajo).

Jira está basado en Java EE que funciona en varios databases y sistemas operativos. La herramienta dispone también de paneles de control adaptables, filtros de búsqueda, estadísticas, RSS y función de correo electrónico.

Herramienta que permite la colaboración de documentos en línea, revisiones, controles de cambios y discusiones en línea.

Con Confluence se pueden compartir y gestionar todas las informaciones en línea de forma segura.

Más info sobre estos productos y nuestros servicios en www.dsdata.es

Tags: , , , , , , , , , , ,

No Comments

Oracle Enterprise Manager Ops Center disponible en el mercado

Oracle Enterprise Manager Ops Center es la versión más reciente de la familia de productos Oracle Enterprise Manager y ofrece amplias capacidades para administrar los entornos Sun físicos y virtuales.

Centralización y automatización de la gestión del ciclo vital del sistema

Oracle Enterprise Manager Ops Center también gestiona el ciclo vital de todo el sistema desde la detección hasta la administración, actualización, monitoreo y gestión.

Principales caracteristicas

  • Gestión completa del ciclo vital de Oracle Solaris Containers y Oracle VM Server for SPARC (anteriormente conocido como Logical Domains o LDoms )
  • Soporte para Oracle Solaris Live Upgrade
  • Oracle Enterprise Manager Management Connector

Tags: , , , , ,

No Comments