S4: manejando flujos continuos de datos

S4 es un nuevo proyecto Java abierto generado por los laboratorios de Yahoo!, orientado al procesamiento masivo de información.

Ya están establecidas como práctica corriente para este tipo de escenarios tecnologías como MapReduce o su implementación abierta Hadoop, pero hasta ahora casi todas ellas trabajaban por lotes (en batch), iniciando el procesamiento a raíz de un proceso interactivo (como una búsqueda) o programado con cierta frecuencia.

S4 está diseñado para procesar los datos a medida que van llegando (en forma de stream), sin almacenamiento intermedio. La arquitectura se basa en el modelo de actores, retomando una tendencia impulsada últimamente por Akka, Io y SALSA, e implementada localmente por el ubicuo Angel "Java" López en AjAgents.

Las características principales que busca S4 son proveer un servicio indefinidamente escalable en función a agregar nodos al cluster, descentralizado en la medida en que todos los nodos son iguales, parcialmente tolerante a fallas donde los eventos pueden volver a enrutarse en caso de fallas en cualquier nodo, elástico en la medida en que la carga se distribuye automáticamente a través de los nodos, expansible a través de un API simple y orientada a objetos, donde la comunicación entre nodos se escribe utilizando POJOs (plain Java objects).

Hay un tutorial basado en una aplicación que procesa mensajes de Twitter.

 

 

Decoradores en Python (video de Juanjo Conti en el PyDay 2010 Rafaela)

Me encontré este post de Juanjo Conti, de la comunidad Python, donde publica el video de su charla sobre Decoradores, grabada hace unos meses atrás en el PyDay Rafaela.

Lo comparto porque me parece interesante para aquellos que no usan mucho este recurso en Python (o lo usan sin saber cómo se implementa por debajo), y también para la gente de otros lenguajes (usualmente estáticos) que no entiende aún lo grandioso que es el Monkey Patching en lenguajes dinámicos.

entendiendo decoradores from Orfx Sch on Vimeo.

Como complemento ideal par quien quiere repasar el tema en más detalle, están esta serie de artículos donde Juanjo explica el tema en detalle.

Decoradores en Python:

• I - Introducción
• II - Decoradores con parámetros
• III - Clases decoradoras

Muy buenos recursos y una explicación muy detallada.

Resultados del CloudCamp Buenos Aires, 2da edición

El viernes pasado, 19 de noviembre, se realizó finalmente la 2da edición del CloudCamp Buenos Aires, en el auditorio del Microsoft User Group de Argentina.

Esta des-conferencia arrancó con una serie de charlas relámpago de 5 minutos introduciendo rápidamente algunos temas para abrir el apetito de los asistentes:

• Matías Bagini, del Amazon User Group de Argentina presentó Amazon Web Services.
• Germán Gail de JRapid (sponsor del evento junto al MUG) presentó su plataforma para desarrollo rápido de aplicaciones Java sobre Amazon.
• Guadalupe Casuso, de Microsoft Argentina presentó Windows Azure.
• Yo (Martín Salías) cubrí a Nicolás Bortolotti, de la UTN Regional San Francisco (Córdoba) presentando Google App Engine.
• Johnny Halife, de Southworks, presentó Heroku, una plataforma Ruby.

Detrás de esta avalancha de mini-presentaciones, pasamos a un un-panel, en el que se invitó a todos los asistentes que se sintiesen expertos en el tema a pasar al frente para recibir preguntas abiertas de la audiencia, sin ningún filtro. Como suele ocurrir, quedamos como panelistas casi los mismos que presentamos las charlas relámpago, más Carlos Peix, de Praxia. Esta etapa, de todas maneras, siempre es mucho más colaborativa, y la audiencia participa más activamente, no sólo con preguntas, sino también aportando experiencias dentro o fuera de la nube.

Al terminar el un-panel, y mientras reponíamos el nivel de cafeína en nuestras venas, se seleccionaron los temas para el resto de la jornada, constituida por open spaces. Los temas finales fueron:

• Cómo migrar a la web, facilitada por Guada
• Arquitectura de Amazon Web Services, facilitada por Matías
• Patrones y antipatrones en el uso de NoSQL, facilitada por Miguel Sáez de Microsoft Argentina
• 10 cosas que hay que evitar para estar preparados para la nube, facilitada por mi

No hay registro de esta parte, pero como se tratan de debates abiertos más que de presentaciones regulares, no es algo que se pueda grabar fácilmente. Para quienes estén interesados en esos temas, les recomiendo seguir los blogs o twitters de los presentadores, recorrer los sitios de los proveedores de servicio, y tratar de organizar un evento como estos a nivel regional.

Finalmente, gracias al equipo de JRapid tenemos una buena cantidad de fotos del evento que pueden ver en Flickr.