Todos seremos genios... Hablando de Big Data

En toda película de investigación o espionaje hay un personaje especialista en tecnología de gruesos lentes y escaso bronceado que suele ser capaz de averiguar cualquier cosa de cualquier persona. Intereses, gustos, ubicación, historial de compras y muchas otras cosas están disponibles en minutos tecleando algunos comandos. Típicamente esta información es clave para que luego unos investigadores armados hasta los dientes le echen el guante al individuo.

En los últimos años con el surgimiento de las redes sociales se creó el caldo de cultivo para que las propias personas publicaran continuamente toda esa información que alguna vez requirió a un genio para buscarla y consolidarla. Una persona sale de casa y activa en Waze su ruta, luego al llegar a su destino y hace checkin en Foursquare, al salir hace un review del lugar. Más allá de eso tiene en Linkedin su historia y competencias, en Facebook sus amigos y fotos y hasta tuitea lo que piensa u opina.

Más allá de la buena o mala configuración de permisos que tú le des a toda esa información en cada plataforma, la información está allí en mayor o menor grado, disponible para ser usada.

El concepto de Big Data inicia como una aproximación técnica para hacer posible el análisis de toda la gran cantidad de información que generan las empresas, para encontrar tendencias y análisis de valor para el negocio. Un ejemplo de que Big Data es realmente es "Big":

• Walmart maneja más de un millón de transacciones de clientes por hora, estas son almacenadas en bases de datos que se estiman tienen más de 2.5 petabytes - el equivalente a 167 veces la information contenida en todos los libros de la librería del congreso de USA.
• Facebook almacena más de 40 billones de fotos.

Trabajar con toda esta información es un reto debido a su volumen, variedad y múltiples orígenes. Hoy en día hay un auge tremendo de tecnologías de hardware y software para manejar, analizar, consolidar y poner a disposición el uso de lo que se podría llamar Big Data.

En los últimos meses se han presentado más usos prácticos como la creación de los mecanismos para lograr el análisis y consolidación de toda esa información de las redes sociales y ponerla a disposición de personas o empresas para, en principio, poder entender mejor a sus clientes o potenciales clientes y venderle según sus intereses. Continuamente están apareciendo startups que aprovechan esta disciplina para llevar servicios de usuario final con transacciones financieras, tendencias de mercado o consumo, etc.

Dentro poco tiempo todos podremos tener al alcance de la mano un poco de esa genialidad que aún vemos en los expertos de las películas y acceder en tiempo record información consolidada de múltiples fuentes sobre algo o alguien. De los genios no se preocupen, ya encontrarán trabajo inventando la nueva ola tecnológica que aún no conocemos

En los últimos meses he trabajado en DBAccess en preparar una oferta de servicio que permite a las empresas entender qué tipo de información puede ser relevante y construir los mecanismos para extraer, consolidar y visualizar, aportando el negocio un beneficio que hasta ahora parecía difícil de alcanzar. Aún el uso de la información de las redes sociales es incipiente a nivel mundial, pero los resultados iniciales hablan de información muy valiosa.

Ref:
- Los personajes de la foto; Chloe de 24, de Criminal Minds y Birkoff de Femme Nikita.
- Los datos de Walmart y Facebook tomados de wikipedia

8 Áreas de Acción para agregar Valor al Negocio desde TI

En el entorno innovador de la actualidad las organizaciones requieren agilidad para el cambio, agilidad para responder a los nuevos retos que el negocio se plantea. Por años firmas como Gartner vienen reportando resultados de encuestas a ejecutivos de grandes empresas que ven a sus áreas de tecnología como un inhibidor al cambio, como un elemento que resta agilidad a sus organizaciones.

Es una constante equivocación la aproximación a la tecnología como un fin en sí mismo. Esta forma de proceder de algunos gerentes embarca a la organización en inversiones para incorporar tecnología, tendencias o enfoques de moda que no necesariamente agregan un beneficio claro al negocio. Escuchamos año tras año iniciativas de las áreas tecnológicas sin un impacto de negocio esperado y claramente definido. Existen muchas iniciativas de la tecnología por la tecnología que podrían presentarse como ejemplo.

Los portafolios ejecutados por tecnología deben tener como objetivo apalancar las iniciativas del negocio, brindar la información necesaria para la toma de decisiones y habilitar la plataforma tecnológica para el cambio.

Planteo 8 áreas de acción para la definición de iniciativas que agreguen valor al negocio. Sean proyectos de desarrollo o procura de sistemas, planteamientos de arquitectura, migraciones tecnológicas o mantenimiento de componentes existentes, valide si su proyecto se alinea con alguna de estas áreas, si la respuesta es no entonces piense nuevamente si el negocio justifica esta inversión.

1. Iniciativas y metas del negocio
Cada período el negocio se plantea metas concretas de productividad, ingreso o eficiencia. También se plantea iniciativas estratégicas para adaptarse al entorno o para establecer una ventaja comparativa. Es la misión de toda la organización trabajar en torno a esas metas y colaborar desde su área.
Las áreas de tecnología deben comprender las metas del negocio y utilizar el presupuesto en la forma que mejor apalanque esos resultados.

2. Mantenimientos que consumen el presupuesto 
Toda organización tiene componentes tecnológicos que período tras período, consumen un porcentaje importante de los recursos sin que se genere mayor beneficio al negocio, tampoco representan soluciones de raíz que disminuyan la inversión requerida para siguientes períodos. Son los verdaderos agujeros negros en la planificación presupuestaria de tecnología.
Si está trabajando en cambiar y efectivamente resolver una de estas realidades entonces hará un aporte importante al negocio al garantizar holgura en el presupuesto para próximos períodos.

3. Quiebres entre tecnología y negocio 
En toda organización existen temas de discusión archi-conocidos en la mesa negocio - tecnología. Promesas incumplidas por años, sistemas inestables que dificultan la operación, necesidades de automatización no atendidas por nombrar algunas de las causas más comunes. En la realidad de una organización estos temas tienen nombre y apellido, asomarlos en la reunión despierta pasiones o dispara la ironía y el sarcasmo.
Solucionar estas causas de quiebre mejorará con seguridad el servicio y la satisfacción del usuario, por ende el soporte al negocio.

4. Riesgos Operacionales/Financieros 
Con más frecuencia de lo que me gustaría veo en las plataformas tecnológicas de las empresas que visito, sistemas críticos para el negocio que operan bajo unos niveles de incertidumbre y riesgos muy alto.
Trabajar en la mitigación o eliminación de estos riesgos protege al negocio de pérdidas económicas, problemas operaciones o incumplimiento de los acuerdos de servicio.

5. Vistas de información necesarias
Hemos escuchado múltiples veces el reclamo de algún ejecutivo porque no tiene de forma oportuna o confiable una información crítica para el negocio. Existen organizaciones que dedican áreas enteras a generar manualmente las vistas de información y reportes ejecutivos que el negocio requiere y que las complejas y costosas plataformas tecnológicas con las que cuentan son incapaces de generar.

Ofrecer información oportuna y confiable para la toma de decisiones es una de las principales funciones de la tecnología. Trabajar en generar las vistas de información necesaria dará agilidad al negocio.
6. Áreas más dinámicas del negocio 
Existen áreas de negocio en cada organización que son más sensibles al cambio, por la creación de nuevos productos, por impacto de nuevas regulaciones o por ser un negocio en continua trasformación. De la agilidad con que la plataforma tecnológica pueda adaptarse y apalancar el cambio en estas áreas dependerá en buena medida la agilidad de la organización.
Las áreas de tecnología deben trabajar en mejorar la agilidad de las plataformas que soportan las áreas más dinámicas del negocio.

7. Elementos tecnológicos/información que le restan agilidad a la organización 
Toda plataforma tecnológica cuenta con algunos componentes que suelen estar en el camino crítico de múltiples iniciativas, dificultando el avance, aumentando el esfuerzo requerido y elevando la complejidad. Pueden ser sistemas legacy, repositorios con datos poco confiables o tecnologías desconocidas. Son pesos en las piernas que nos impiden correr.
Invertir en eliminar efectivamente los puntos que nos restan agilidad traerá retorno para la organización al disminuir esfuerzos futuros y al ganar agilidad para adaptarse a los cambios.

8. Potencial de reducir complejidad o heterogeneidad
 La heterogeneidad eleva los costos porque se multiplica la inversión de mantenimiento en hardware, software y personal por los diferentes conocimientos requeridos. La heterogeneidad cuesta en el presente y en el futuro, disminuye el potencial de reutilización y racionalización, iniciativas como la virtualización se ven afectadas. En el abanico de tecnologías y soluciones de una organización menos es más.
Simplificar la plataforma a través de la disminución de la heterogeneidad tecnológica debe ser un objetivo recurrente comprendido por todos los equipos del área.

Mitos sobre la Arquitectura de Software

En este post me refiero por Arquitectura específicamente a la Arquitectura de Solución. La que se diseña para la construcción de un producto de software.

Mito 1: La arquitectura de un sistema es Documentación

Típicamente la palabra documentación trae una carga negativa de juicios que nos llevan a pensar que es algo repetitivo, que se hace posteriormente para cumplir, que agrega poco valor en general. Bajo esa definición de documentación la arquitectura definitivamente no lo es. La arquitectura se enfoca en diseñar efectivamente la solución a construir y en mucho menor grado en la posterior formalización de estos diseños. Diseñar la arquitectura de la solución en etapas tempranas acorta los tiempos de construcción, evita el retrabajo, mejora la mantenibilidad del sistema resultante y sienta bases sólidas para cumplir los atributos de calidad que el negocio requiere.

Construirías una casa si ver antes la maqueta y los planos?.

Mito 2: Sólo aplica para sistemas grandes y complejos

Antes de poner un bloque debes saber dónde se deben poner bloques y con qué objetivo, esto aplica independientemente de si construirás una pared, una casa o un edificio. Lo que suele ocurrir es que para sistemas muy pequeños la arquitectura es obvia o tradicional, mientras que para sistemas grandes hay muchas alternativas a considerar. En un sistema grande la arquitectura es difícil de comprender y asimilar en su totalidad. Todo sistema independientemente de su tamaño requiere una arquitectura, en muchos casos vale reutilizar una conocida.

Para un sistema web en el que sólo haces login y llenas dos formularios, definirías típicamente una arquitectura de este estilo; una capa de interfaz, una capa de acceso a repositorio, algún componente de fachada entre estas capas, algunos objetos de negocio en los que viaja la información y excepciones para el manejo de errores. Podríamos pintar un par de diagramas de clase y un diagrama de secuencia con la interacción de los componentes. A eso le agregamos una selección de tecnología a usar y Voila! tenemos una arquitectura hecha en 5 minutos para un sistema que se programa en medio día. Necesitábamos una arquitectura? por supuesto que si!.

He escuchado muchas veces decir "nosotros no necesitamos arquitectura porque todos los sistemas los hacemos igual y son sencillos"... ahh entonces reutilizan siempre la misma arquitectura que ya tienen diseñada y todos la conocen bien. Tienen un activo de conocimiento intangible y no se han dado cuenta.

Mito 3: La arquitectura no tiene nada que ver con el negocio

La arquitectura debe diseñarse justamente para garantizar que la solución de cumplimiento a las necesidades de negocio. En un proceso formal partes por definir metas para la arquitectura en función de una norma como ISO-9126 de atributos de calidad de software. Seguridad, rendimiento, tolerancia a fallas, etc, etc... son atributos de calidad que se establecen dadas las necesidades del negocio, de la arquitectura de la solución depende lograr o no su cumplimiento y por lo tanto que el negocio cuente con la herramienta adecuada.

Definiciones como la del SEI (http://www.sei.cmu.edu/architecture/index.cfm) que establece en su formato de arquitectura los Stakeholder's Viewpoints, definen estrategias para acercar el documento de arquitectura a los involucrados del negocio, definiendo la trazabilidad entre las expectativas de estos y el diseño planteado para cumplirla.

La tendencia es que cada vez más la arquitectura es visible al negocio. Así como los planos y maquetas en ingeniería civil son de mucho interés para quien solicita la construcción de una casa. Aprendamos de la madurez de la ingeniería civil y sus 2000 años de ventaja sobre la ingeniería de software, construirían su casa sin comprender antes la arquitectura planteada? definitivamente no.

Mito 4: la arquitectura es necesaria o no según la tecnología a utilizar o el conocimiento del equipo sobre la tecnología que aplica

La arquitectura parte de un diseño agnóstico a la tecnología, que puede ser implementado y desplegado en diversas tecnologías y plataformas según lo que mejor se adecue a la necesidad o los skills con que el equipo cuente. No hay tecnologías que requieran o no arquitecturas, lo que ocurre es que algunas establecen en mayor o menor grado una arquitectura de referencia, incluso las herramientas de construcción te pueden llevar de la mano a implementar un estilo arquitectónico particular.

Si se desea construir una solución mantenible y en base a mejores prácticas el diseño debe hacerse haciendo uso de los elementos del estilo arquitectónico que la tecnología propone, aprovechando sus capacidades.

El diseño de la solución en función de las necesidades del negocio siempre es necesario. La arquitectura debe proponer estrategias claras para cubrir los atributos de calidad esperados del sistema y las expectativas del negocio, apalancándose en las fortalezas que plantea la tecnología utilizada.

Mito 5: Es un documento complejo que sólo consume el propio arquitecto

El diseño de arquitectura tiene implicaciones directas en presupuesto, en costos de operación del procesos de negocio que soporta o automatiza, en la agilidad y efectividad que tendrán sus operarios, en la capacidad de aprovechar ese activo en futuros retos de negocio o nuevos productos. También otros impactos más técnicos como la mantenibilidad a futuro, la convivencia con otros elemento de la plataforma tecnológica o la capacidad que el equipo actual tenga para hacerse cargo de su mantenimiento.

Es de gran utilidad la analogía con la ingeniería civil en este punto. Al construir un edificio los que solicitan la obra y que luego usarán el edificio desean estar involucrados en entender el diseño que se seguirá. Maquetas y planos son herramientas efectivas de comunicación entre los arquitectos e ingenieros y quienes contratan labora. Estar involucrados en estos diseños garantizará que la obra cubra las expectativas.

Es necesario entender la construcción de sistemas de software como ingeniería, son obras en las que se invierten grandes cantidades de dinero y producen un activo que será utilizado por años. Según métricas conocidas más del 60% del costo de un sistema durante todo su ciclo de vida se produce después que es puesto en producción y este costo depende en gran medida de la arquitectura que se haya diseñado.

En resumen…
1) La Arquitectura de Software no es opcional, puede ser más o menos compleja.
2) Es de gran valor ($$) que los responsables del negocio que solicitan la construcción de un producto de software se involucren en la evaluación de su arquitectura.

Niveles de actuación; el ser y el hacer, la persona y el proceso...

Comento dos frases que para mí son trascendentes y que tienen mucho impacto en mi forma de abordar muchas situaciones en el día a día.

La primera la escuché de un instructor del SEI en un curso de CMMi: "no fallan las personas, fallan los procesos".
La segunda de un amigo de quien tuve la oportunidad de acercarme, sólo un poco, al couching ontológico; la distinción entre el ser y el hacer.

Estas dos sencillas experiencias son en realidad herramientas poderosas de cara a lograr resultados personales, profesionales y organizacionales. Si bien desde el punto de vista personal el tema es particularmente profundo, me limito aquí al ámbito profesional y organizacional.

CMMi plantea un modelo de madurez organizacional y como todo modelo de madurez basado en procesos persigue la consecución de los resultados de forma independiente a las personas, a través de la definición de prácticas bien documentadas, formación y controles de calidad. En un escenario como éste; no fallan las personas, fallan los procesos!.

La segunda es una distinción básica entre dos cosas muy diferentes y que normalmente encontramos colapsadas en cada frase impune, en cada juicio emitido, cada vez que el orgullo no nos deja mejorar. El ser nos representa como individuos, lo que somos, nuestra historia, nuestro potencial, nuestros valores. El hacer habla de acciones específicas, que ocurren en un momento del tiempo.

Para ilustrar la idea que quiero transmitir, peco tal vez de mezclar un poco peras y manzanas y defino tres niveles de actuación; ser, hacer y diseñar.

Generar un resultado satisfactorio depende de haber ejecutado correctamente la acción correcta. Siendo así y dado que estamos hablando en un nivel organizacional, no sólo debemos saber ejecutar correctamente la acción prevista sino que esa acción previamente diseñada y definida también debe ser correcta. Muchos ejemplos existen de resultados no exitosos cuando se ejecutó la acción prevista, pero que no necesariamente era la indicada en esa situación. Esta realidad abre un espacio para la crítica de las prácticas y los procesos, sin que sea mezclada con la actuación de una persona que ejecutó una acción prevista y que no dio el resultado esperado. Cuestionar una práctica es posible sin que quienes la ejecutan se sientan atacados, ni quienes la cuestionan los ataquen. Esta posibilidad es la diferencia entre hacer y diseñar, dos estados de actuación posibles y necesarios que se complementan.

Todo lo anterior para el lector puede ser tan obvio como revelador, dependiendo de su experiencia. Para mí es necesario transmitir el mensaje al ver frecuentemente que profesionales se sienten atacados cuando las prácticas que ejecutan por diseño son sometidas a revisión. Son procesos que deberían promover ellos mismos y participar abiertamente para mejorar sus resultados. Una cosa es la persona, otra cosa es el proceso, es responsabilidad de cada persona comprometerse con la mejora continua de los procesos que ejecuta.

La segunda distinción se mueve más en un ámbito personal, pero que manejada correctamente facilita y mejora de forma inmediata las comunicaciones y relaciones en un plano profesional y organizacional. Cada persona debe ser valorada en su ser, como individuo, y esto no debe mezclarse con sus actuaciones en un ámbito profesional. La mayoría de las desventuras de un tradicional empleado son producto de cuestionamientos a su ser por parte de un tradicional jefe cuando los resultados en un ambiente laboral no son los esperados. Un profesional puede ser tachado de incompetente, de flojo o de irresponsable por no lograr un resultado esperado, todos estos juicios que afectan a la persona en su ser, son equivocados al no estar dirigidos a las acciones específicas que no fueron acertadas, generando un efecto contraproducente en el rendimiento y deteriorando a puntos irrecuperables las relaciones humanas. Los juicios al ser de una persona, en realidad hablan de la incompetencia de quien los emite para manejar niveles básicos de respeto y comunicación.

En un ambiente emocionalmente sano y maduro las personas comunican sus opiniones o emiten juicios en función de acciones específicas, sin afectar el ser de nadie. Abriendo el espacio para la aceptación de la crítica y el compromiso a la mejora, haciéndose cargo desde el mismo mensaje en que la persona que lo recibe es valiosa en su ser y que eso no está siendo cuesitonado.

En DBAccess estas distinciones o prácticas están planteadas en el ambiente, y su aplicación nos deja la experiencia de la alta complejidad que tiene su transmisión e implantación en un contexto de constante crecimiento. Esto es posible sólo a través de un liderazgo integral consistente en toda la organización.

El mensaje es en realidad una invitación a incorporar estas distinciones en el día a día, a través de evitar hablar impunemente colapsando los diferentes niveles de actuación.

El Proyecto y el Producto

Veo una constante confusión en los equipos de desarrollos de software y en general en las disciplinas de TI entre el proyecto y el producto. No tener estas distinciones claras y no saber separar estos dos contextos tiene un impacto directo en la mantenibilidad, en costos, al verse reflejada en la documentación de los sistemas y de las organizaciones.

Una analogía que me ha ayudado a explicar este fenómeno, como casi siempre tomada de la ingeniería civil. Imaginen que van a una ciudad y para ubicarse piden el mapa de vías. La expectativa esta clara para todos, puede ir de un plan en papel a un GPS, con mayor o menor información asociada es en el fondo lo mismo, una imagen de todas las calles, vías y avenidas en una determinada región. Imaginen por un momento que en vez de recibir esto les dan la documentación de todos los proyectos de ingeniería civil realizados sobre la vialidad de la ciudad durante los últimos 40 años; el proyecto de construcción de un puente, el de asfaltado de una calle, el de ensanchado de una autopista, etc., con la expectativa que ustedes sean capaces de deducir de ahí el mapa vial de la ciudad. Ante estas realidades es que hay que recordar que no debemos desesperar, la ingeniería civil nos tiene 2.000 años de ventaja.

Tengo la certeza que la mayoría de las organizaciones no son capaces de dar su mapa de vías en el contexto tecnológico. También que nuestras disciplinas (desarrollo de software, arquitectura empresarial, etc.) seguirán su progreso acelerado en los próximos años y alcanzarán y superarán estos niveles obvios.

Siguiendo con el proyecto y el producto, lo abordo en tres escenarios diferentes y tres ejemplos.

El Proyecto y el Sistema

Un sistema de información inicia su ciclo de vida una vez que entra en producción y termina una vez que es descontinuado (o desenchufado) unos años después. Durante este periodo típicamente pasa por múltiples proyectos que lo completan, adaptan, evolucionan y sobre todo reparan. Al arrancar cualquiera de los proyectos sobre el sistema, el caso típico es que el equipo mantenedor se encuentra con la situación de la analogía inicial, para entender su funcionalidad y su arquitectura el equipo debe reconstruir la historia de los proyectos anteriores cuando en realidad esto no agrega ningún valor para ejecutar la tarea del momento. Si agrega valor es precisamente porque la documentación funcional y de arquitectura del sistema no es suficientemente completa.

Una aplicación o componente de software en general debe contar tanto de documentación funcional como de arquitectura que permita comprender qué hace, para qué lo hace, cómo lo hace y por qué se decidió que lo hiciera de esa forma. Contando con esta información el equipo se enfrenta a un problema con baja incertidumbre y puede tomar acciones;

• Disminuyendo drásticamente el riesgo de afectar el funcionamiento.
• Disminuyendo drásticamente el tiempo de análisis requerido para iniciar el mantenimiento y por ende el costo del proyecto.
• Disminuyendo el riesgo de incluir elementos que no cumplen los lineamientos de diseño del sistema.

Adicionalmente se aumenta la posibilidad de reutilizar diseños y componentes, en este sistema y otros, al permitir entender rápidamente los elementos que conforman el sistema.

En resumen el mensaje que quiero transmitir es que lo importante no es el proyecto, es el producto resultante. Poco valor tendrá el proyecto que terminó en menor tiempo pero que dejó la realidad que disparará los costos del próximo proyecto sobre el mismo producto. El valor de la información del proyecto es temporal o circunstancial, mientras
que el producto es un activo de la organización y su valor dependerá entre otras cosas de la calidad de la información que le acompañe.

Estos son algunos casos específicos donde he visto mezclados el proyecto y el producto.

• Como parte de un proyecto se hace un documento de visión (utilizando como metodología PU) que define nuevas características a incorporar a una plataforma existente, pero no se actualiza el documento funcional original (como el de casos de uso). Lo mismo podría ocurrir en metodologías ágiles si haces por ejemplo nuevos user stories y no los agregas al repositorio de los existentes.
  
• Cualquier cambio de índole tecnológico que no actualiza el documento de arquitectura, luego por ejemplo tomarían días en averiguar qué frameworks se utilizan, en qué versiones y con qué fines.

A partir de estos momentos comienza la historia de tener que reconstruir proyectos para entender el sistema.

El Proyecto y los Sistemas

Lo mismo que ocurre con con un proyecto que afecta un sistema, ocurre con un proyecto que afecta o produce varios sistemas. Se generan documentos en el contexto del proyecto que hablan de múltiples sistemas, haciendo la información aún más densa y compleja de entender.

Se debe asegurar en estos proyectos dejar la información actualizada de cada sistema.

El Proyecto y la Organización

Una situación similar a la que describo en el contexto de sistemas, se me presentó recientemente con procesos de negocio de una organización.

En proyectos orientados a atender necesidades de negocio, es muy posible que se vean afectados los procesos de la organización. Toda organización debe tener sus procesos documentados y difundidos. Cualquier cambio sobre estos implica acciones de difusión, entrenamiento, cambios en sistemas, etc. Pueden y existen grupos de consultores que no ven los procesos más allá del proyecto y donde los cambios a estos quedan sólo en los documentos del proyecto, creando un riesgo importante de operación en la organización. Esto puede ocurrir
en organizaciones pequeñas o inmaduras donde el uso de procesos no está institucionalizado.


Estas situaciones suelen ocurrir por ingenuidad sobre la realidad de la vida de un sistema al pensar sólo en el proyecto actual y no en los futuros, por falta de experiencia y/o por comodidad. En cualquier caso se disminuye el valor del activo y se dispara el costo de futuros mantenimientos.