En esta tercera entrega de nuestra serie de artículos dedicada a la evaluación de herramientas de medición de la conversación en la web social, trataremos el producto Sysomos Heartbeat de la empresa canadiense Sysomos Inc. La historia de esta empresa se remonta a 2007 cuando fue fundada como una spin-off de un proyecto de investigación de la Universidad de Toronto. Y en 2010 fue adquirida por Marketwire Inc., otra empresa canadiense con una larga trayectoria en las relaciones públicas y la comunicación corporativa.

Sysomos ofrece, además de Heartbeat, otros productos como MAP –que evaluaremos en el siguiente artículo– o Audience –presentado en 2010, pero que se encuentra poco potenciado dentro de la oferta de la compañía.

Las principales diferencias entre MAP y Heartbeat consisten en que la primera es una herramienta más adecuada para los estudios exhaustivos; en estos es necesario disponer de la mayor cantidad de datos históricos que sea posible, realizar comparativas de búsquedas ilimitadas o entre otras necesidades, recuperar el ranking completo de los influenciadores. Por su parte, Heartbeat es una herramienta que también nos ofrece los indicadores fundamentales pero integrados en una plataforma orientada hacia el seguimiento permanente; esto es, más apropiada para seguir los cambios diarios en la conversación y para que los Social Media Managers interactúen con los sujetos que mencionan la marca monitorizada.

Continuaremos nuestro análisis considerando los cinco aspectos que consideramos clave a la hora de evaluar estas herramientas y que ya presentamos en la introducción de esta serie:

Alcance de las fuentes

Nuestra experiencia de uso nos indica que Sysomos Heartbeat tiene una amplia base de fuentes de la conversación internacional y no se aprecian grandes diferencias con respecto a otras herramientas profesionales. Según publicaron en su propio blog el pasado 19 de septiembre, Sysomos ha superado la marca de 100.000 millones de documentos indexados en sus bases de datos:

On average, 400 million new non-spam posts are discovered, processed, and stored in multiple copies across the storage subsystem every day. As users use our products, over 100,000 documents are read per second, at peak hours. Today we have reached another milestone as the Sysomos platform now houses 100,000,000,000 documents and lets users analyze them all using ad-hoc queries – all within seconds.

Pero más allá de lo que Sysomos cuenta en esta noticia, nos interesa contrastarlo con nuestros propios casos de estudio. Eso es lo que hemos hecho analizando la conversación sobre un evento mediático reciente como el fallecimiento de Santiago Carrillo, que nos sirve como un ejemplo de conversación mayoritariamente centrada en España. Según nuestra medición Heartbeat y Radian6 –considerada de referencia– difieren en un 1% respecto al volumen de menciones promedio:

Por tanto parecen tener una base de fuentes muy similar, sin que esto implique que tengan todas las fuentes de la conversación española. Eso lo veremos cuando las comparemos con herramientas desarrolladas en nuestro país y cuyo mercado principal es este. Pero lo que nos llama la atención –a pesar de la práctica igualdad en términos globales del volumen recogido– es la discrepancia que observamos entre el primer día, en el que se presenta el máximo y el segundo día, en el que la conversación desciende.

¿Por qué el día 18 de septiembre Radian6 recoge más menciones menciones (+7.136) y esto se invierte casi de modo simétrico (+6.861) a favor de Sysomos Heartbeat el día 19 de septiembre? Todo parece indicar que la diferencia horaria, concretamente de 6 horas, está detrás de este fenómeno:

Si desplazamos el recuento de menciones de Radian6 sumando 6 horas más, encontramos que la coincidencia de las curvas es casi exacta:

¿Qué debemos tener en cuenta ante esta circunstancia? Es importante consultar con el proveedor si existen opciones de configuración de zonas horarias para corregir estos desfases en el marcado de la fecha y hora de las menciones. De todas formas siempre debemos contrastar la fecha de unas pocas menciones para confirmar si existen o no este tipo de desfases.

Al final de esta serie de artículos –cuando hayamos evaluado las herramientas más representativas del mercado de monitorización de la conversación– veremos con mejor perspectiva si existen grandes diferencias respecto al volumen de menciones recogidas entre las herramientas anglosajonas y las desarrolladas en nuestro país.

Segmentación de la información

Según lo expuesto en la presentación de los criterios de la comparativa que estamos realizando, nuestra siguiente tarea es analizar los resultados que nos ofrece Sysomos Heartbeat respecto a la detección del medio de origen de las menciones, su idioma y su localización geográfica.

Medio de origen. Si en el análisis de Radian6 utilizamos la búsqueda “social media analytics” –caracterizada por tener una difusión global– en este caso el estudio de la conversación sobre “santiago carrillo” nos permite garantizar que analizamos menciones mayoritariamente originadas en España.

Observamos que ambas herramientas están muy a la par del número absoluto de menciones, pero presentan diferencias sobre el tipo de menciones recogidas. Así pues, Sysomos Heartbeat muestra una mejor cobertura de las noticias y se sitúa por detrás –aunque muy ligeramente– en la detección de menciones de foros y blogs. En todo ello no debemos descartar cierto margen de error, pero con todo, nos parece mejor el rendimiento de Heartbeat en la recogida de conversación procedente de la prensa.

En cuanto a Facebook, como sabemos es una red social cerrada que protege la privacidad de los usuarios siempre que estos no modifiquen expresamente en sus opciones de configuración. Por ello no debe sorprendernos este resultado que no cambia sustancialmente lo que podemos hacer “desde fuera” con estas herramientas. El modo de responder al desafío de analizar lo que pasa en Facebook, es utilizar la actividad en los canales propios o extraer información interna de esta plataforma a través de su API.

Distribución lingüística. Cuando nos enfrentamos a la conversación principalmente originada en nuestro país, Sysomos Heartbeat recoge ligeramente más menciones en español y catalán, mientras que se sitúa por detrás en el resto de idiomas principales.

Esto nos lleva a considerar que Heartbeat tiene mejor cobertura de nuestro país o que es más eficaz en la identificación de estos idiomas en comparación con Radian6. En cuanto lleguemos al análisis de las herramientas más adaptadas a la conversación nacional, veremos si estas diferencias resultan mucho más abultadas o no.

Distribución geográfica. Como ya señalamos en el artículo dedicado a Radian6, es en la medición de la distribución geográfica de la conversación donde aparecen mayores discrepancias. Así cuando analizábamos la búsqueda “social media analytics” nos encontramos con una considerable desviación para las menciones clasificadas como procedentes de Estados Unidos debido al impreciso método de localización por IP que tiene Radian6. Para la búsqueda “santiago carrillo”, nos volvemos a encontrar con el mismo problema pero aún más acentuado.

Una distribución en la que aparece España en primer lugar como origen de la conversación sobre este tema –lo que nos indica Sysomos Heartbeat– y en mucha menor medida otros países como México, Francia o Reino Unido, es mucho más coherente que otra que la que el grueso principal de la conversación es asignado a Estados Unidos –como hace Radian6.

Sysomos Heartbeat funciona correctamente si le pedimos que nos muestre menciones sobre este tema de conversación localizadas en Estados Unidos:

A diferencia de lo que hace Radian6, que asigna todas las menciones de redes sociales como Facebook y Twitter a Estados Unidos, aunque tengan como origen cualquier otro país del mundo.

Facilidad de uso

Sysomos Heartbeat presenta una interfaz de usuario sencilla y cómoda de utilizar aunque como ya hemos apuntado, es más apropiada para el seguimiento constante y la interacción con la conversación, que para amplios estudios retrospectivos.

Esta orientación es lo que determina la organización del panel de control que encontramos cuando iniciamos la sesión en esta plataforma: un gráfico con la tendencia por volumen de los últimos 30 días, la distribución por medio y el sentimiento situados en la parte superior izquierda, junto a las opciones de gestión de incidencias, asignación de tareas y listado de principales influenciadores en la parte superior derecha.

En el menú de comparativas nos encontramos con un gráfico bien definido que nos permite seleccionar entre los filtros previamente configurados en la herramienta. En el siguiente ejemplo mostramos la comparativa entre “santiago carrillo” y la etiqueta “#25s” asociada a la convocatoria de manifestaciones para el 25 de septiembre en Madrid –así vemos que la primera búsqueda generó un máximo mayor pero decreció rápidamente, mientras que la segunda se ha mantenido en una media de 12.000 menciones durante 6 días:

En las herramientas de Sysomos la configuración de las búsquedas de la conversación es rápida porque permite establecer directamente mediante lógica booleana los filtros que se desean utilizar:

Otro de los puntos en los que Sysomos Heartbeat nos ofrece información más enriquecida que Radian6 es en el apartado del análisis de texto. Así Heartbeat nos ayuda a detectar fácilmente las relaciones entre los términos y su sentido en la conversación, mientras que Radian6 nos presenta nube de cuantitativa de etiquetas que nos dice menos sobre la conversación en cuestión:

¿Constituye esto una gran ventaja? Ciertamente no supone una diferencia extraordinaria pero nos da la posibilidad de analizar más rápidamente la información recogida. Por ejemplo, un usuario que no conoce nada de esta conversación puede comprender más rápidamente el contexto si investiga las palabras indicadas por Heartbeat como nucleares (“pce”, “paracuellos” y “transición”) que si lo hace por igual con el resto de palabras contenidas en la nube generada por Radian6. En esta última herramienta el problema es que no se observan diferencias de volumen entre “transición” o “pce”, e incluso se sitúan al mismo nivel palabras menos relevantes como “página”, “último” o “ver”. Asimismo, Heartbeat continúa sugiriendo palabras más relevantes como “pasionaria”, “23-f” o “adolfo [suárez]”.

Lo último que destacaremos en este apartado serán las opciones de Heartbeat para sincronizarse con Facebook, Twitter, LinkedIn, YouTube y Google Analytics. En cuanto a las cuatro primeras herramientas, se trata de una funcionalidad bastante común en el mercado –aunque ausente de Radian6– por lo que nos interesa más resaltar la última. Con esta funcionalidad seremos capaces de observar si un pico de conversación en torno a una marca influye positivamente en el tráfico registrado en su página web:

No estamos ante una funcionalidad que cambie profundamente el tipo de análisis que podemos realizar, pero si facilita el acceso a esta información desde un panel de control unificado.

Medición de la autoridad

También vemos mejor resuelto el apartado de la clasificación de los influenciadores en Heartbeat sin que ello suponga un gran avance en este campo. Para este indicador se utilizan fundamentalmente dos tipos de criterios: la frecuencia de uso de la palabra clave y un índice de autoridad definido por Sysomos en el que intervienen el número de seguidores en Twitter, los enlaces entrantes en la web y otras variables no reveladas:

Ser capaces de dar cuenta, aunque de modo aproximado, de la capacidad de influencia de una fuente es crucial para que este tipo de clasificaciones tengan sentido. Esto es más sencillo en el caso de Twitter –que nos da acceso al número de seguidores– y más complicado para las webs –en las que tenemos que utilizar la referencia indirecta del número de enlaces entrantes. Para mejorar esta medición, tal y como apuntábamos anteriormente, lo mejor sería medir la redifusión social de cada entrada pero esto es algo que Heartbeat y Radian6 no realizan.

El fundamento cuantitativo de los resultados que vemos en los paneles de control de Sysomos lo encontramos en el indicador global de autoridad que todas sus herramientas asignan a cada mención –este número nos recuerda al PageRank de Google, aunque los parámetros que lo constituyen sean diferentes. Observemos qué aspecto tiene la clasificación resultante de aquellas menciones que se sitúan en el rango alto de autoridad:

En los primeros puestos nos encontramos con menciones tanto de blogs y Twitter pero son las noticias las que sobre todo dominan este ranking. ¿En qué medida podemos decir que es más influyente una noticia en Yahoo que un tuit de un usuario con 57.500 seguidores? Ciertamente no podemos. ¿Tiene entonces alguna aplicación práctica este tipo de clasificación? Consideramos que sí, pero tomada con ciertas precauciones: primero, no debemos considerar que la posición de una mención en la clasificación es absoluta; y segundo, sólo le vemos coherencia a este orden de influencia aplicado a cada medio por separado –que es precisamente el modo en que Sysomos presenta esta información:

Eso es lo que muestra la tabla anterior: una selección al azar de 20 menciones de Twitter clasificadas por autoridad en el rango 10 a 8. Según nuestra experiencia, las clasificaciones que obtenemos con las herramientas de Sysomos, aunque no pueden captar con precisión el alcance o el impacto generado por esta conversación –¿cuál es capaz de hacerlo?– son prácticas a la hora de separar los usuarios en grandes, medianos y pequeños.

Para los interesados en los detalles técnicos, añadiremos que el indicador de autoridad de Sysomos y el número de seguidores arrojan según nuestras mediciones una correlación de 0,35 sobre 1 por lo que no es el único factor considerado para el establecimiento de valor. Aún así resulta claro que las cuentas con más de 1000 seguidores son las que se sitúan su rango entre 10 y 5, mientras que las que tienen menos de 1000 seguidores difícilmente superan el 5 en términos promedio. Esto en definitiva es lo que da consistencia a este tipo de clasificaciones.

Exportación de datos

A diferencia de Radian6, Sysomos Hearbeat permite exportar una gran cantidad de datos relevantes fuera de su herramienta. Esto nos da la posibilidad de realizar análisis adicionales de muchos tipos –por ejemplo lo que hemos comentado sobre la medición de la autoridad. Concretamente, ¿de qué datos estamos hablando?

Los más importantes son la lengua y el país, que están presentes en Heartbeat pero ausentes de Radian6. El indicador global de autoridad, ofrecido únicamente por Sysomos. Y otras segmentaciones de interés como el género y la edad –siempre que estos datos hayan sido revelados por el usuario.

Conclusión

Las herramientas de Sysomos no son consideradas en los estudios comparativos de plataformas de escucha como los elaborados por Forrester Research y ciertamente no entendemos por qué. Sobre el caso que nos ocupa, concluiremos que Heartbeat nos permite hacer el mismo trabajo de un modo más sencillo y eficaz que herramientas como Radian6, consideradas líderes por algunos analistas en contra de nuestro criterio.

Según hemos visto, entre Heartbeat y Radian6 no hay grandes diferencias de alcance, pero la operativa de uso es mucho más eficiente en Heartbeat, dispone de una solución más potente para el análisis de los influenciadores, es más precisa en la localización geográfica de las menciones y nos deja exportar más información para poder analizarla por nuestra cuenta.

Su ciclo de desarrollo es relativamente activo o por lo menos más intenso que el de otros proveedores: varias veces al año incorporan mejoras menores en la herramienta pero creemos que para conseguir despuntar definitivamente en este mercado deberían ofrecer algo claramente más avanzado que la competencia. De acuerdo con nuestra experiencia, lo más valioso hoy día serían mayores capacidades de análisis y clasificación de los influenciadores, junto a la visualización de las relaciones que estos establecen entre sí.

Seguidnos en Twitter para estar informados sobre la publicación de las siguientes entregas de esta serie de artículos.