Comienza con una revisión a lo que ha sido el 2008 para a continuación presentar lo que se espera del mercado en 2009, según la TDWI Research.

En el apartado de Mejores Practicas , destaca “Strategies for Managing Spreadmarts” en el que se describe cómo elegir una solucion basada en hojas de calculo que sea un equilibrio entre los requisitos de IT y de negocio.

El artículo Ten Mistakes to Avoid muestra cómo evitar los típicos errores a la hora de recopilar los requisitos de un sistema BI, que no debe confuncirse con los requisitos del sistema de información de base. 

A partir de la información de los columnistas de TDWI’s e-newsletters, se recoge informe sobre datos no estructurados y rendimiento de consultas.

Para el apartado de “BI Solutions Strategy,” se ha elegido el articulo de Alex Chaves-Sanz and Ihsan Al-Awamy de la  Business Intelligence Journal, donde explica la consolidación del mercado de BI y cómo las grandes empresas estan adquiriendo a estas emrpesas de nicho para contar con este servicio.

Desde aquí se puede descargar el informe.

Entre las principales novedades que trae la nueva versión destaca el incremento de velocidad tanto en las operaciones de lectura como de escritura, ciertamente su objetivo es sacar provecho de las ventajas de una aproximación MOLAP frente a ROLAP para el almacenamiento de datos multidimensionales.

Al mismo tiempo, y al contrario de lo que paso en versiones anteriores, han lanzado el manual de PALO para la versión 2.5 aunque sólo la versión en Aleman (por 29,50€). Para los que no seamos germanoparlantes tendremos que esperar un poco mas a la versión inglesa (todavía no han sacado ninguna versión en Español).

Jedox, siguiendo con su enfoque de potenciar el PALO ETL Server, integra aun más su servidor MOLAP con esta herramienta con el objetivo de facilitar la posibilidad de drill-through. Reconozco que no he probado esta funcionalidad, pero sigo pensando que tiene algunas desventajas su enfoque:

1. Tecnológicas: Kettle (o Pentaho Data Integration) es una herramienta ETL Open Source mucho más madura y potente en todos los sentidos. Además, y gracias a Straterbi, hay un plugin de Kettle para PALO que permite usar toda la potencia de Kettle y cargar los datos en PALO.
2. De concepto: Cuando creas un cubo piensas en la información de mas bajo nivel que es interesante para el negocio, y de ahí sacas los elementos que tendrán las dimensiones. El resto de información estará en los sistemas transaccionales, es muy interesante poder tener utilidades que te muestren esta información, pero sin replicar el sistema transaccional.

Otras mejoras que incluye respecto a la versión 2.0 son:

• Supresión de ceros: Permite a los usuarios suprimir los ceros por celdas vacías en los informes, facilita la vida, pero era algo que ya se podía hacer fácilmente simplemente aplicando un formato a la celda.
• Consultas avanzadas: Posibilidad de realizar un análisis ABC de forma sencilla.
• Drill-Through: Permite ver los datos originales desagregados, esto es sólo posible si se utiliza PALO ETL Server.
• Soporte “Ribbon”: Soporte para la barra para de herramientas “Ribbon” de Microsoft Excel 2007.

• Plug-in de Kettle para PALO

En Xperimentos hemos hablado mucho sobre este tema, y por fin, disponemos de un verdadero plug-in de Kettle para importar y exportar datos de PALO. Recordad que Kettle es la herramienta ETL del suite BI Pentaho, y que su nombre actual es Pentaho Data Integration. Hace bastante tiempo que esperábamos esta noticia y debemos dar las gracias por el esfuerzo/contribución a la comunidad Open Source a StrateBi, empresa especializada en BI Open Source y que mantiene el conocido blog TodoBI.

Puedes descargar la primera versión del plug-in y un completo manual en la página del proyecto en SourceForge. El manual está aun a falta de un pequeño toque de formato, pero el contenido es bueno.

He intentado jugar un poco el plug-in, pero en mi PC tengo la versión 1.5 de PALO y no he conseguido que funcione al 100%. Probaré con la versión 2.0 de PALO en breve, finalmente he encontrado un buen motivo para pensar en una migración.

• PALO Web Client 2.0

El 9 de enero ha aparecido la segunda versión del Cliente Web para PALO. Con PALO Web Client tenemos las mismas funcionalidades para ver y editar datos (almacenados en un Servidor PALO) que el cliente JPalo, pero con la ventaja de que sólo necesita un navegador estándar. No hay que instalar nada en los clientes, aunque es necesario un servidor Tomcat Applications Server.

La principal novedad de la versión 2.0 es que ahora permite el acceso a cualquier base de datos XMLA (sólo en modo lectura), esto hace posible que podamos acceder a cubos de Microsoft Analysis Services, Mondrian… etc. 

• PALO ETL-Core

Ya está disponible la primera versión beta de Palo ETL-Server, PALO ETL-Core, una aplicación de escritorio que será una de las partes de la futura herramienta.

Si bien es cierto que estamos ante la primera beta, la solución de Jedox tiene todavía mucho que mejorar. A día de hoy sólo es una aplicación de línea de comandos que permite realizar cargas sencillas configuradas vía ficheros XML.

El enfoque es totalmente diferente a los actuales ETLs y está pensado para cargar datos desde un esquema relacional a un esquema multidimensional de una forma extremadamente sencilla. ¿Agún problema?, sólo uno: normalmente antes de cargar los datos en un sistema BI hay que transformarlos para que sean homogéneos. Si somos puristas, no deberíamos clasificar esta herramienta como un ETL, realmente la parte de “Transform” queda fuera de su alcance. Su aproximación/solución es implementar las transformaciones de datos directamente en Java, una opción válida, pero poco reutilizable y muy costosa.

Revisando el roadmap: antes de que acabe el año 2008 aparecerá la solución completa y en marzo podremos ver en que queda la posibilidad de “Drill-through“.

Enlaces:
Kettle
Palo
JPalo
Palo Web Client
Plug-in de Kettle para Palo

En esta edición se presentarán las últimas novedades en procesos y tecnologías BI para la toma de decisiones de negocio a través de experiencias prácticas y Live Demos aplicadas a casos reales.

Mas información en IIR.

Descargar agenda.

Si nos preguntan si Excel (u otra herramienta de hojas de cálculo) debería ser la herramienta para la toma de decisiones de nuestra empresa, la respuesta es rápida y contundente, NO. Ahora bien, tomémonos un poco más de tiempo y meditemos esta respuesta mirando a nuestro entorno, a los departamentos de control de gestión, dirección, finanzas,…

Hace unos nueve meses, leí un interesante artículo de Charley Kyd (Don’t discard those spreadsheets: The power of Excel-Friendly OLAP) donde ponía en evidencia que los sistemas de Business Performance Management (BPM) no habían conseguido deshacerse de las hojas de cálculo (especialmente de Excel), doy fé de que es así. Ha pasado casi un año desde que se publicó el artículo de Charley Kyd pero no ha dejado de ser actualidad, el único “pero” es que Charley Kyd se dedica plenamente a escribir y mantener el portal ExcelUser y su enfoque puede ser quizás un poco parcial.

Sin cuestionar que Excel es una buena herramienta, su uso como BPM puede ser un “infierno”: diferentes versiones de la misma información, incoherencia de datos, trazabilidad inexistente, enlaces rotos, datos desactualizados, seguridad (autentificación y autorización), formatos, macros no documentadas,… podría llenar un libro sobre los quebraderos de cabeza que me han dado las “soluciones” basadas en Excel.

La conclusión obvia es que cuanto menos Excel menos problemas. Sin embargo, cuando sumamos la potencia de Excel y una herramienta OLAP integrada la situación cambia, muchos o casi todos los problemas desaparecen y obtenemos algunas ventajas.

Me atrevería a decir que todos los productos OLAP del mercado permiten exportar datos a hojas de cálculo, pero muy pocos son los que proporcionan funciones que puedan leer o escribir datos directamente desde Excel a cubos OLAP. En base a esta característica podemos dividir los productos OLAP en dos tipos: los Normales; y usando las palabras de Charley, los “Excel-Friendly”.

• OLAP Normal: Típicamente los clientes para base de datos OLAP incluyen su propio interfaz a través del cual los usuarios deben navegar, finalmente los datos suelen acabar como un bloque de números en una hoja Excel. Si el usuario tiene suerte, detrás tendrá a un “usuario avanzado” o administrador del sistema que le ayudará a definir un informe en el formato deseado, sino tendrá que trabajar un poco más para ajustar el formato.

• OLAP Excel-Friendly: Estas herramientas se integran con Excel y a través de formulas extraen o escriben directamente los datos de los cubos OLAP. Las hojas de cálculo no contienen números, contienen fórmulas que dinámicamente se conectan a la base de datos OLAP y obtienen la información actualizada.

¿Realmente necesitamos Excel? ¿no tenemos toda la información necesaria en nuestros sistemas BPM?

Desafortunadamente, con toda la información que tenemos en nuestros sistemas integrados siempre hay algo fuera de ellos, las famosas islas de información: Datos de la Web, del canal, de subcontratas, del mercado, comprados a terceros, de la nueva división, de la administración pública… y lo peor de todo, los directores quieren conocerla y sus plazos van desde anteayer hasta mañana a primera hora (sino fuera por esto la palabra “integración” y unos cuantos meses resolverían el problema).

También podemos añadir nuestro gran amigo el Shadow IT, es como el resfriado de invierno que vuelve cada año, complica todavía más el problema. Cada usuario crea su pequeña herramienta o base de datos con un simple Excel y que contiene la información más crítica/fiable/pulida de la empresa.

Los constantes cambios en el entorno empresarial provocan que muchas veces se trabaje consolidando la información fuera de los sistemas existentes. Un ejemplo claro son las compras/ventas de empresas, en la fusión entre HP y Compaq la información consolidada se estuvo realizando en Excel durante meses y sus sistemas de información eran envidiables.

Hay muchas razones por las cuales la información sigue fluyendo a través de enormes documentos Excel, Charley da varias razones: Data Silos, Mergers and acquisitions, System conversions, External data, Forecast, Data corrections. Finalmente, cada empresa es un mundo y tiene sus propios motivos, pero el hecho es que utilizan Excel para la toma de decisiones.

¿Qué aporta una herramienta OLAP Excel-Friendly?

Sí preguntamos a un vendedor/consultor seguro que puede hasta hacernos la cena , pero bromas a parte, estas herramientas tienen una gran ventaja y es que Excel es una herramienta tremendamente utilizada en las empresas y muy arraigada en los usuarios. Un usuario no percibirá un cambio, sino una mejora de su herramienta de trabajo.

La adaptación no es inmediata, los conceptos de dimensiones, cubos,… etc no son triviales y es necesaria la misma formación que se utiliza para cualquier sistema BMP. Sin embargo, las posibilidades de explotar la información para un usuario que haya trabajado ya en Excel son indudablemente mucho mayores.

Un usuario ya no necesitará esperar a que el departamento de IT le desarrolle un nuevo informe, sólo necesita conocer las fórmulas de Excel con las que obtener la información y él mismo puede crear un nuevo informe, compartirlo, mejorarlo, etc. Al final, el usuario obtiene una mayor satisfacción/valor y al mismo tiempo descarga de trabajo al departamento de IT.

Es cierto que hay herramientas muy buenas y sencillas para generar informes en los sistemas OLAP “normales”, pero tienen dos inconvenientes:

1. Es necesario que los usuarios aprendan a utilizar una nueva herramienta.
2. Normalmente, los usuarios crean informes para exportarlos finalmente a Excel, luego realizan un doble trabajo. La información que manejen en Excel será estática (deberán realizar este paso siempre que quieran analizar los datos).

La conclusión es que con las herramientas Excel-Friendly, los usuarios pueden dedicar más tiempo al análisis y menos tiempo a extraer datos y mantener hojas de cálculo.

Productos OLAP Excel-Friendly

El producto OLAP Excel-Friendly más conocido es sin duda Microsoft Analysis Services. La ultima versión de Excel (Excel 2007) incluye de forma nativa funciones para poder leer datos de Analysis Services, pero no para escribir. Complementando la funcionalidad de Analysis Services existen herramientas que permiten escribir de forma integrada desde la versión Excel XP (XLCubed, IntelligentApps, BIXL)

Applix TM1, es propiedad de la multinacional IBM (adquirida junto con Cognos) y es posiblemente la mejor herramienta OLAP Excel-Friendly del mercado.

La competencia de TM1 es PowerOLAP, de la empresa Paris Technologies. Ambas soluciones incluyen conectividad con todo tipo de cubos OLAP y buenas herramientas de análisis, tanto integradas con Excel como basadas en Web.

Por último, no puedo olvidarme de la opción OpenSource/freeware, PALO de Jedox, si bien no es un producto de la categoría de los dos anteriores, es lo suficiente maduro para ser considerado como una alternativa.

Las mejoras que se esperaban para la versión 2.1 eran:

• Optimized MOLAP engine (speed optimization)
• Local data cache (speed optimization)

Os incluyo a continuación el comunicado integro que aparece en su página:

“Due to the short interval between the previously announced release of Palo 2.1 in December and the release of 2.5, we have decided to skip the December release and directly proceed with 2.5 scheduled to be released in March 2008.“

Enlaces:

PALO

Para realizar una copia de seguridad de una base de datos en PALO, desafortunadamente, tendremos que parar el servidor de PALO. Hace tiempo (más de un año) que incluí una sugerencia dentro del foro de Palo para que implementarán la opción de copias de seguridad en caliente, es decir, sin que fuera necesario parar el servicio. No tuvo mucho éxito.

Las bases de datos de PALO se guardan por defecto en la carpeta data del directorio de PALO. Cada carpeta se corresponde con una base de datos y dentro podemos encontrar los ficheros que contienen los datos, hay diferentes tipos de datos: .csv, .log, y .archived

Los ficheros .csv contienen los datos y los ficheros .log los últimos cambios que serán transferidos a los .csv cuando paremos el servidor de PALO. Por otro lado, están los ficheros .archived que contienen todo el histórico de cambios, estos fichero pueden llegar a tener gran tamaño y es recomendable borrarlos de forma periódica, aunque como siempre asegurándonos de tener una copia de respaldo y con el servidor parado. (NOTA: En la versiones anteriores a la 1.5 las cosas eran un poco diferentes, por ejemplo, no existían ficheros .archived para las dimensiones)

Otro de los puntos de mejora de PALO es que NO pueden realizarse copias increméntales de la base de datos. Actualmente en mi empresa realizamos todas las noches una copia de seguridad completa utilizando un script Perl.

Sino realizáis copias de los datos o lo hacéis manualmente, aquí os incluyo un pequeño script MSDOS que os hará la vida mas sencilla. Podéis lanzarlo con una tarea programada de Windows por las noches, de esta forma realizaréis una copia total diaria de la base de datos.

   1: rem -------------------------------

   2: rem Autor.........: LCFlores

   3: rem Web...........: Xperimentos.com

   4: rem Fecha.........: 10/3/2006

   5: rem Descripcion...: Proceso de Backup de la base de datos de PALO

   6: rem Lenguaje......: MSDOS Script

   7:

   8:

   9: rem -------------------------------

  10: rem Obtenemos la fecha en la variable de sistema %mifecha%

  11: rem Obtenemos la variable %tmpfecha%, tiene espacios en blanco.

  12: for /f  "usebackq tokens=1,2,3 delims=/" %%i in (`date /t`)   

          do set tmpfecha=%%k%%j%%i

  13: rem Limpiamos los 'white spaces'

  14: for /f  "usebackq tokens=1,2,3 delims= " %%i in (`echo %tmpfecha%`)   

          do set mifecha=%%i%%j%%k

  15: rem -------------------------------

  16:

  17:

  18: rem -------------------------------

  19: rem Creamos el nuevo directorio

  20: md <DirectorioBackUp>\PALO_%mifecha%

  21:

  22:

  23: rem -------------------------------

  24: rem Paramos el servidor de PALO

  25: net stop paloserverservice

  26:

  27:

  28:

  29: rem -------------------------------

  30: rem Copia de los ficheros que hay en el directorio  

          de la base de datos de PALO.

  31: Copy "<DirectorioPALO>\data\<BaseDatos>\*.*"  

           "<DirectorioBackUp>PALO_%mifecha%"

  32:

  33:

  34: rem -------------------------------

  35: rem Lanzamos el servidor de PALO

  36: net start paloserverservice

La definición del proceso ETL será almacenada en un fichero XML que podrá ser utilizado para lanzar las cargas de datos en un proceso por lotes. La novedad viene dada porque el ETL-Server suportará el proceso contrario, es decir, ir de los datos agregados en Palo a los datos originales (drill-through). Está opción es muy interesante y dará respuesta a la pregunta sobre el origen de los datos.

ETL-Server será una aplicación Cliente-Servidor basada en una arquitectura Java que permitirá independencia en la plataforma. También contará con todas las características de un buen ETL: datos separados de metadatos, extendible, soporte para las bases de datos más comunes,…

El Open Source Palo ETL-Server estará disponible bajo licencia GPL, ciertamente una buena noticia.

Sólo una pequeña crítica, al final crearán su propio ETL desde cero en lugar de haber intentado integrar su modulo dentro de alguno de los potentes ETLs OpenSource existentes (Kettle, Talend), estos ETLs disponen de muchas funciones muy probadas y a Jedox le costará mucho esfuerzo poder llegar a su nivel.

Enlaces:
Palo
Palo ETL-Server noticia
Kettle (Pentaho data integration)
Talend Open Studio

Con MicroStrategy Mobile, los usuarios de negocio recibirán los mismos informes en su BlackBerry que en su ordenador de sobremesa, sin la necesidad de reformatear o modificar los informes existentes. Las capacidades de manipulación de MicroStrategy Mobile permiten a los usuarios ver incluso los más grandes informes a través de la pantalla de la BlackBerry

Ver la Noticia en Microstrategy

BARC es una empresa que se dedica al asesoramiento sobre soluciones de software para las áreas de Business Intelligence, Gestión Documental, Gestión de la Cadena de Suministros (SCM) y Gestión de Proyectos.
 
En este evento, se reunirán los expertos en tecnología de la información para discutir sobre el tema Business Intelligence, EII (Enterprise Information Integration) y OLAP y presentar sus respectivos productos a un auditorio de clientes potenciales.

Esta colaboración es particularmente interesante por el hecho de que un congreso de cuatro días permite extender las presentaciones de producto y los tiempos libres para que fabricantes y clientes finales puedan ponerse en contacto discutiendo temas específicos con tranquilidad.

Entre el listado de empresas colaboradoras podemos ver muchas de las empresas más conocidas del sector, entre ellas aparece Jedox empresa que está detrás del desarrollo de PALO, servidor MOLAP OpenSource.

Enlaces:
BARC 
Inscribirse al evento