Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Te presentamos la mejor plataforma de Planificación y Presupuestacion BI

Forecasts, Web and excel-like interface, Mobile Apps, Qlikview, SAP and Salesforce Integration...

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 7 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

La mejor oferta de Cusos Open Source

Después de la gran acogida de nuestros Cursos Open Source, eminentemente prácticos, lanzamos las convocatorias de 2016

10 ene. 2017

Big Data, casos, tecnologias y aplicaciones reales


Os mostramos a continuación, una buena selección de ejemplos, tecnologías y casos aplicables de Big Data usando las principales tecnologías, con enfoque Data Lake, de la mano de los especialistas de stratebi



5 ene. 2017

Predictions: A Cynic’s Guide To BI In 2017


Genial esta descripción de Timo Elliot (uno de los mayores especialistas en Business Intelligence). No tiene desperdicio!!

Businesspeople

  • Businesspeople will be dissatisfied with their BI systems (this is “Timo’s First Law of BI”)
  • Executives will refuse to learn to use any other data tool than Excel (and not even the newer features of that).
  • No matter how good the BI system, businesspeople will make bad decisions based on gut feel.
  • Executives will be completely unaware of data quality problems—unless their bonus depends on some value affected by it, at which point they will become experts.
  • Businesspeople will find it hard to articulate what data they need—and then they will change their minds as soon as they get what they asked for.
  • Some businesspeople will get fed up with corporate BI and take it into their own hands. They will build a loosely connected set of different technologies, resulting in huge maintenance costs and low compliance. They will then ask IT to take over the project.

IT

  • IT teams will implement new ERP systems, then be surprised when businesspeople ask for analytics. Providing the analytics will require expensive changes to the ERP system.
  • IT teams will struggle to build business cases for BI. But as soon as the businesspeople have access to the new data, they will change processes, create new opportunities, and save millions. They will take all the credit for this.
  • “Download to Excel” will continue to be the most-requested BI tool feature. Users will complain when they are unable to download the entire corporate data lake to their PC.
  • Data quality, data integration, and metadata will be the primary barriers to BI. But companies will continue to invest less in these areas than in shiny executive dashboards.
  • New data sources will outpace IT’s ability to integrate them into core platforms (no matter what technology is used).
  • BI competency centers will over-invest in technical skills and under-invest in training, communications, and community-building.

Analysts

  • Some analysts will say BI and BI competency centers are dead, much to the confusion of the millions of people doing it every day.
  • Analysts will say that there is only 15% penetration of BI. Nobody will understand where this number comes from and why it hasn’t changed in over twenty years.
  • Analysts will say that data should be treated like an asset. Companies will not treat it like an asset.
  • BI success numbers will be “calculated” using non-scientific samples of self-reported estimates without defining what “success” means. Analysts will say these numbers are too low, and that you need help from analysts to improve them.

The market


  • Everybody will insist their definition of Business Intelligence/Analytics/Big Data, etc. is the only “correct” one.
  • New analytics buzzwords will be coined. Thousands of articles will be written saying that the new buzzwords are meaningless and/or wrong.
  • New BI startups will be created. They will claim to bring “BI to the masses” for the first time.
  • Newer vendors will call the older vendors inflexible dinosaurs. Older vendors will call newer vendors immature and unsafe. Some newer vendors will suddenly realize that they are now considered the older vendors.

Visto en Digitalistmag

4 ene. 2017

Data Visualization para FIWARE


FIWARE, es una plataforma, impulsada por la Unión Europea, para el desarrollo y despliegue global de aplicaciones de Internet del Futuro. 
FIWARE intenta proveer de una arquitectura totalmente abierta, pública y libre así como de un conjunto de especificaciones que permita a los desarrolladores, proveedores de servicios, empresas y otras organizaciones desarrollar productos que satisfagan sus necesidades, sin dejar de ser abierta e innovadora

Uno de los puntos importantes en esta plataforma es la Visualización de Datos y esta la proporciona la plataforma SpagoBI, de la que somos partners hace años y es Open Source



Ver el Catalogo de Fiware. Como podéis ver, contiene un gran número de componentes

3 ene. 2017

Kylin, analisis OLAP sobre Big Data, viene con novedades para 2017

Cada vez es más factible poder realizar análisis OLAP sobre entornos Big Data, gracias a Apache Kylin, con visualización con Tableau, Pentaho, etc.... Si quieres saber más, pincha estos posts: OLAP for Big Data. It´s possible? y Analysis Big Data OLAP sobre Hadoop con Apache Kylin que hemos publicado recientemente

Hoy os traemos las novedades que para comienzos de este 2017 nos presentan (puedes preguntar a nuestros amigos especialistas de Stratebi para cualquier duda):

Principales características comunes de KAP

-          Interfaz gráfica: Modelado, construcción y consulta SQL del cubo a través de una interfaz web simplificada.

-          Soporte para la extensión mediante plugins

-          Despliegue no intrusivo: La instalación es totalmente independiente del clúster Hadoop y se comunica con dicho clúster a través de una API.

-          KyAnalyzer: Herramienta de análisis OLAP basada en Saiku Server que se incluye con Kyligence.

-          Integración con las principales herramientas de Business Intelligence: Gracias al soporte para conexiones ODBC/JDBC y una API rest, es posible conectar con herramientas como Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot.

-          Compatibilidad con las distintas versiones de Hadoop:
o   Apache Hadoop (Open Source Stack)
o   Distribuciones:
§  Hortonworks HDP
§  Cloudera CDH
o   Nube SaaS
§  Microsoft HDInsight
§  AWS EMR

-          KyStorage (Solo en versión Enterprise Plus): La versión Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase. Características principales:
o   Rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.

Permite hacer consultas sobre los datos en bruto (sin transformar a un esquema estrella, raw data). Esto facilita la exploración de los datos para el descubrimiento iterativo del modelo.


Comparativa de características de las versiones Enterprise y Enterprise Plus de KAP (Kyligence Analytic Platform) frente a Apache Kylin:



Apache Kylin
KAP
KAP Plus

Posicionamiento
Soporte para OLAP en Hadoop
Data Warehouse en Hadoop
Data Warehouse en Hadoop
Núcleo
Apache Kylin
Apache Kylin
Apache Kylin
Rendimiento de las consultas
Latencias de consulta inferiores al segundo
Latencias de consulta inferiores al segundo
En 3 y 40 veces más rápido que Apache Kylin
Parallel Computing
Haciendo uso del Co - procesador de HBase
Haciendo uso del Co - procesador de HBase
Spark
Storage Engine
HBase
HBase
KyStorage: Motor de almacenamiento columnar propietario
Raw Data Query
Limitado
Limitado
Soporte Eficiente
Security
Limitado
LDAP/Kerberos/cell level access control
LDAP/Kerberos/cell level access control
BI Tool
No incluye herramienta de BI native, pero puede conectar con las principales herramientas BI del mercado: Tableu, Microsoft PowerBI, Apache Zeppelin, Saiku Server o Pentaho & STPivot
KyAnalyzer: Herramienta BI con integración nativa
KyAnalyzer: Herramienta BI con integración nativa
Technical Support
Comunidad Open Source
Soporte 5*8 o 7*24
Soporte 5*8 o 7*24
KyBot Self-Service
No incluido, pero se puede comprar por separado
Incluido
Incluido



Pila de productos de Kyligence Analytic Platform

Todos los productos de Kyligence hacen uso del núcleo Open Source de Apache Kylin. Sobre esta base han desarrollado 3 productos.




-          Apache Kylin: Núcleo de Kyligence. Sobre el núcleo añaden las últimas actualizaciones y bug fixes sobre la versión Enterprise.
o   Nota: Kyligence está formado por 6 PMC (Miembros del comité de proyecto) de Apache Kylin Open Source de un total de 13 PMC. De esta forma, muchos de los bug fixes van a llegar antes a KAP que a Kylin.

-  KyStorage & Plugin: Sobre el núcleo de Kylin se añaden las siguientes características
o   Características mejoradas de seguridad. Apache Kylin (Open Source) soporta la integración con LDAP y seguridad a nivel de modelo de dato (a nivel de cubo), añadiéndose las siguientes:
§  Integración con Kerberos
§  Seguridad a nivel de datos (celda)
o   Soporte para consultas OLAP sobre datos en Hive sin transformar (raw data): En Apache Kylin y KAP Enterprise es posible añadiendo subqueries de Hive a las queries principales sobre el cubo.
§  KAP Enterpise Plus: Soporte y eficiencia mejorada para el procesamiento de datos en bruto.

o   Almacenamiento columnar propio (solo en KAP Enterprise Plus): Apache Kylin y KAP Enterprise usan HBase para almacenar el cubo que se construye a partir de los datos en Hive/HDFS.
§  KAP Enterprise Plus utiliza un motor de almacenamiento propio, que sustituye a HBase, prometiendo rendimientos 12x más rápidos y una reducción del 50% del espacio de almacenamiento.

-  KyAnalyzer: Herramienta BI OLAP basada en Saiku Server que integra de forma nativa con KAP Enterprise y KAP Enterprise Plus. Es un Saiku Server personalizado que incluye la versión de Mondrian y el driver JDBC necesarios para la conexión con Kyligence.

-  KyBot: Herramienta de diagnóstico y soporte automatizado incluida en KAP Enterprise y Enterprise Plus. También es posible adquirirla por separado para usarla con Kylin Open Source. Incluye las siguientes características:
o   Cuadro de mando que nos permite analizar de un vistazo:
§  Estado del clúster Kylin
§  Rendimiento
§  Almacenamiento
o   Optimización: El sistema detecta automáticamente los problemas de rendimiento y propone optimizaciones para el diseño del modelo del cubo y el diseño/ejecución de las consultas sobre dicho cubo.
o   Documentación y guía para la resolución de problemas
o   Soporte: Incorpora herramientas para comunicarse con los expertos de Kylin y desarrolladores.


30 dic. 2016

Conoce las novedades de Jedox 7 en este video


En este vídeo puedes ver una presentación de las novedades de Jedox 7, la mejor herramienta Business Intelligence para planificación, presupuestación, ratios, reglas de negocio y forecasts

21 dic. 2016

New Search and Tags functionalities in Pentaho Console


Hi, if you are a Pentaho user or Admin, and you are managing a 'production environment' where the number of folders, reports, analysis and Dashboards increase day by day it's very useful a way to quickly identify the right element you want to open.

That´s why we´ve created this component that allows you to:

- Search by folder
- Add tags and comments for any element
- Search by any word of title, tags, and comments
- Select by any tag
- Search by date of creation or modification
- Filter by type of element: Report, OLAP or Dashboard

You can see in action here in this Online Demo



Select by Date of creation or modification








Select by type of element, tag, date and text search









Add tags and description






20 dic. 2016

Santander y BBVA trasladan su competencia al Business Intelligence

Tanto el Banco Santander como BBVA, trasladan su competitividad al Business Intelligence. Decimos Business Intelligence, en lugar de Big Data, como suelen promocionar, pues ambas aplicaciones, de momento, tienen más de lo primero que de lo segundo. Probablemente, con el tiempo usen más de lo segundo

La cuestión es: Tendrá éxito realmente entre los comercios? Están preparados y formados para usar herramientas de Business Intelligence?

Os contamos:

La de Santander se llama: Mi Comercio




Mi Comercio cuenta con tres funcionalidades básicas:
  • ‘Mi Facturación’ recoge las totalizaciones realizadas por los TPVs en los últimos 15 días, incluyendo el detalle de estas operaciones.
  • ‘Mis Clientes’ recopila mensualmente datos agregados de aquellos clientes nuevos y recurrentes que han comprado en el comercio y en los de la competencia cercana. Con esta información, las empresas y los autónomos pueden tomar decisiones de negocio al acceder a información como la hora del día a la que más compran sus clientes, si están captando más clientela que su competencia,  en qué otros sectores de actividad suelen comprar las personas que acuden a sus negocios, etcétera.
  • ‘Ayuda y Soporte’, responde a las preguntas más frecuentes de los clientes y ofrece los teléfonos de atención para los usuarios de TPVs a un solo click.


La del BBVA se llama: Commerce 360




  • Accede mes a mes a los datos de compras de tu TPV BBVA y compáralos con la actividad comercial de las empresas de tu zona y sector para tomar decisiones útiles para tu negocio.
  • Te ofrece datos objetivos sobre de la fidelidad de tus clientes, de sus segmentos demográficos y de sus principales códigos postales de procedencia.
  • Compara estos indicadores con los de tu zona para identificar oportunidades de mejora en horarios comerciales, precios o acciones de marketing.
  • Todo esto sin coste por tener el TPV con BBVA.

19 dic. 2016

iD v2 is now available on OpenStreetMap



The web-based iD editor is designed to help create an even better, more current OpenStreetMap by lowering the threshold of entry to mapping with a straightforward, in-browser editing experience.

Head over to OpenStreetMap and start editing today! You can make meaningful contributions with just a few minutes of training.
You can also help OpenStreetMap by donating to the OpenStreetMap Foundation’s 2016 funding drive. Donate today and your gift will go even further because Mapbox is matching €10,000 of donations.
Check out iD on Github to contribute code, make suggestions, or report an issue.

Google open sources Embedding Projector for high-dimensional data



Good news for open source data visualization fans: Google open sources Embedding Projector for high-dimensional data

The tool will help machine learning researchers to visualize data without having to install and run TensorFlow.
Dimensionality, and vectors in general, is not something that most of us find easy to understand. 
The problem is that we all live in a three-dimensional world. We are taught length, width and height, so we struggle to imagine what a forth, fifth or sixth dimension might look like — this is why most of us found Christopher Nolan’s representation of additional dimensions wonky in the movie Interstellar.



To enable a more intuitive exploration process, they e are open-sourcing the Embedding Projector, a web application for interactive visualization and analysis of high-dimensional data recently shown as an A.I. Experiment, as part of TensorFlow
They are also releasing a standalone version at projector.tensorflow.org, where users can visualize their high-dimensional data without the need to install and run TensorFlow.

14 dic. 2016

A quick review of STPivot4 Open Source OLAP tool

STPivot4 Open Source OLAP tool                                

STPivot4 is based on old Jpivot and Pivot4J projects, now not in progress, where we´ve included, improved and strengthened many new functionalities mentioned below as technical features.

STPivot4 includes an innovative work space for selecting your query that allows end users work easily using drag and drop. End user can identify quickly which dimensions, measures or filters in order to work with them.  Now, you can search, filter, rank and select in order to refine your queries as a first approach previous a query, avoiding waiting for long query response times. 
Has been improved design, usability, graphs and, in summary,  easy to use and manage for end users.

STPivot4 supports Mondrian 4, so it allows grant scalability, compliance and performance improvements and, working as a Pentaho plugin, working wih last available Pentaho versions.




Main Features and Download

You can download open source code from Github. We´ll be grateful of helping you in your Business Intelligence projects using Open Source tools if you need support, development and consultancy. We´d like to receive your feedback: info@stratebi.com


  • Cube Selector

    We've created a new popup window where end users can  easily select dimension values, measures, levels... for their queries. It includes a new search feature that improves value selection with high cardinality dimensions. 
    In your design window, end users can drag and drop their dimensions, filters and measures quickly and easily. 

  • New search functionality

    One of the best new features of STPivot is the ability of search dimension values easily, when you manage a great number of values.
    This is very helpful when you need to identify your desired values on each level/dimension/hierarchy in order to include them in our query result. 

  • Drag and Drop query design and build 

    If sometime you wanted to build your queries easily and quickly, with this visuall drag and drop design now it´s possible. 

  • Filter and drill to detail

    One of the best functionalities of any OLAP Viewer is the possibility of drill through any dimension and measure in order to get powerful insights about yor data models.

  • Advance Filters

    It´s included advance filters within the Selector, so you can leverage all the power of OLAP cubes, refining your queries and nesting each filter. 

     Ranking Top Count 
     Ranking Bottom Count
     Order 
     Visual Totals
     Filter 
     Limit First/Last

  • Graphics and Visualization 

    STPivot includes a great variety of graphic libraries (pie, chart, heatmaps, line, bar...) fully configurable with popup information for any of your analytical needs. 


  • Calculator

    All the simplicity and power for end users, so they can directly create their own formulas with a friendly interface, in order to include them in their OLAP views. 

Roadmap

We are working on new functionalities for STPivot. Some of them are listed below: 

  •  Complex Formula Editor
  •  Create calculate members 
  •  Analysis Wizard 
  •  What If 
  •  Undo Feature 
  •  Improving user interface, performance and integration 
  •  New 'cool' ideas...