En Recommenders06 (día 2)

Sigo en en Bilbao en el segundo y último día de Recommenders06, el curso de verano sobre «El Presente y Futuro de los Sistemas de Recomendación» organizado por MyStrands. Ayer por la tarde, ya fuera de las sesiones, Chris Anderson dió en el mismo recinto una charla divulgativa sobre The Long Tail («la larga cola») que se repetirá hoy dentro del curso aunque con un enfoque más técnico. Luego tuvimos la habitual cena de trabajo y polinización cruzada y conocí a gente bastante interesante de este mundillo. Aparecieron por allí algunos blogueros, pude saludar en persona por fin a Dirson y volver a ver a uno de los malvados editores de Que Web! que se pasaron por allí para tomar unas cervezas.

El diario El País publica hoy el artículo Los consejos que llegan de la Red precisamente dedicado a la reunión y a las tecnologías de recomendación.

(Al igual que ayer, estoy tomando notas a ratos, sobre la marcha, así que esto no será muy exhaustivo, tal vez apuntes generales y frases que me resulten destacadas.)

También se puede leer sobre las sesiones en inglés en el Blog de Recommenders06.

Sesiones de la mañana

La primera de las charlas es de Jim Bennet y se llama El Sistema CineMatch, funcionamiento, escala, cobertura, precisión e impacto y es el «cómo funciona» Netflix que es un sistema de alquiler de películas en DVD en Estados Unidos. Para Netflix tener un sistema de recomendación es importante debido a su amplio catálogo. En general funciona bien y se considera un sistema más barato y efectivo que otras formas de promocionar las películas. Ahora mismo trabajan calculando que en 2010 tendrán 20 millones de susscriptores, 10.000 millones de ratings (10M al día) y que tendrán que hacer 5.000 millones de «predicciones» o recomendaciones diarias.

Kaushal Kurapati, de Ask.com dará una charla sobre Sistemas de Búsqueda y Personalización. Tanto Ask como en general todos los motores de búsqueda son en cierto modo sistemas de recomendación, dado que ordenan los resultados para mostrar la relevancia de unas páginas sobre otras en función de lo que los usuarios han «recomendado» mediante enlaces en las páginas web, de unas páginas a otras. Por otro lado, los buscadores pueden personalizarse y recomendar al usuario nuevas búsquedas para mejorar sus resultados. Ask ahora mismo ya muestra en el menú de la derecha opciones para ampliar o reducir la búsqueda en función del contexto de las palabras usadas. Dado que la gente al buscar no parece muy «enfocada» si se examina su navegación, pero por otro lado sí tiene claro lo que quiere buscar en cada búsqueda concreta, la idea es que el buscador adivine la intención de la búsqueda para ofrecer mejores resultados. Las «búsquedas relacionadas sugeridas» de Ask tienen un 25% de ratio de clics, y ayudan a que el usuario llegue realmente a lo que está buscando. Las búsquedas anteriores ayudan a conseguir contexto y mejorar las búsquedas posteriores. También se utilizan los datos demográficos sobre la persona, por ejemplo su ubicación, y cualquier otro que permita personalizar y recomendar mejores resultados.

Chris Anderson es editor de Wired y autor del blog y del libro The Long Tail (La Larga Cola) y en cierto modo la «estrella» de las jornadas Recommenders06. La Larga Cola es un concepto popularizado hace un par de años en el artículo del mismo título en Wired, The Long Tail, que viene a explicar la relación entre la popularidad de ciertos artículos (y sus ventas) y la de miles de otros artículos que no son tan populares pero cuyas ventas en grupo podrían ser tan relevantes como las de los populares, si simplemente existiera la capacidad de mostrarlos en el limitado espacio físico de una tienda. La distribución de música, películas, etc. en el modifica de forma importante esa limitación de los catálogos físicos poniendo a disposición del público catálogos infinitos, miles de nuevos nichos y posibilidades de negocio. (Ver también Cómo definir la larga cola). Chris dió ayer por la tarde una charla muy general y divulgativa llena de datos curiosos, la de hoy está más dedicada a la larga cola de las recomendaciones musicales. (Aquí estoy combinando comentarios y datos de ambas).

Actualización: Se puede descargar el audio de esta conferencia en podcast MP3 desde aquí: Euskadi Digital - Conferencias [RSS/XML] donde hay un archivo de otras conferencias recientes.

Todos los canales tradicionales de hoy en día están limitados físicamente, ya sea el espacio en las librerías y tiendas de discos o el tiempo de emisión en radio y televisión o el número de salas de cines. Antiguamente los programas acaparaban audiencias enormes debido a la escasez de oferta (ej. canales de televisión) pero eso ha cambiado. Mientras una tienda típica de Wal-Mart tiene 25.000 canciones en unos pocos miles de CDs a disposición de la gente, tiendas digitales como iTunes Music Store o las redes P2P tienen 2 y 9 millones, respectivamente. De los 65.000 álbumes musicales que se editan en EE.UU. al año, 100 artistas acaparan el 50% de las ventas. En cambio en las tiendas digitales esos artistas representan sólo entre el 25 y el 32%. En general todos los mercados naturales muestran el efecto de la larga cola en una Ley de Potencias, pero hay excepciones extrañas fallidas (ej. películas sin apenas espectadores) simplemente porque no hay espacio o tiempo físico para que sean distribuidas. La industria del entretenimiento cree que es muy buena encontrando talento y adivinando los gustos de la gente. En cambio, sitios como YouTube están sirviendo un millón de vídeos, con 50.000 nuevos clips enviados por los usuarios, cada día.

Lo que limita la demanda de todo lo que esta en larga cola es la falta de variedad, información o la posibilidad de encontrar las cosas. Las tiendas no suelen preocuparse de crear buenas fichas con contenido para todas esas canciones, películas o libros que están al final de la lista de ventas. Pero sería relativamente fácil aumentar las ventas simplemente mejorando estas tres cosas, porque el público desea poder encontrar y comprar en todos esos pequeños nichos. Si se confía en que la ley de potencias es natural para ese tipo de negocios, trabajar sobre la larga cola es una oportunidad clara de cubrir un hueco y aumentar las ventas.

Anderson también expresó sus dudas sobre los formatos de publicidad tradicionales y cómo encajan en la situación actual. Las audiencias diseminadas de televisión hacen menos efectivos los spots televisivos. La industria no ha conseguido todavía saber cómo «mover» esos anuncios a sitios como YouTube, donde hay audiencias tremendas empezando a competir con los medios tradicionales. Periódicos y revistas están en una situación similar, y considera que también la larga cola de los millones de blogs que escriben sobre los temas más diversos serán a la una competencia relevante en todos los sentidos. Una frase, que venía a decir lo siguiente, lo resumió bien:

En Wired tengo cien redactores escribiendo contenidos de calidad sobre tecnología, Internet y el mundo digital. Pero la realidad es que ahora mismo estamos compitiendo con una panda de aficionados que se dedican a escribir en sus blogs en casa por las noches.

Un detalle importante es que aunque mucha gente se comporta de forma estadísticamente muy general o normal como «la masa», en realidad cada persona tiene siempre algún aspecto de su vida en que se comporta mucho más «de nicho». Tal vez te gusta la música popular y las películas taquilleras, y la cabeza de la curva de popularidad es suficiente para tí, pero luego eres aficionado a las maquetas y en ese campo preferirías poder encontrar o comprar una más amplia varidad dentro de la larga cola de ese nicho concreto.

Repasando algunos de los sistemas de recomendaciones musicales comenta las diferencias y características destacadas de MyStrands, MusicIP, Pandora, Music-for-Robots (un blog sobre MP3) y Pitchfork.

A nivel de interfaz, Anderson considera que los sitemas de rating «de 1 a 5 estrellas» con los que la gente valora en ciertos servicios canciones, películas o libros son demasiado complicados y difíciles de entender, y que un «me gusta / no-me-gusta» sería mucho más práctico y claro.

Respecto a cómo promocionar la larga cola de cualquier negocio, ayer comentó que él personalmemte considera que el boca-a-boca es cada vez más importante y los blogs son una herramienta realmente interesante para conseguirlo, además con un coste «prácticamente cero». Su idea es que suele ser suficiente el hecho de llegar con un blog a los «clientes» o «audiencia» más apasionados que vayas a tener (o lectores, o gente que quiere oir tu música, o tu película o comprar tu software) y les ofrezcas tal vez algo ligeramente «especial» para tener una mejor relación con ellos (noticias más frescas, un adelanto de un libro, etc.) Entonces esa «audiencia apasionada» serán la que se encargue por sus propios medios, blogs y boca-a-boca de difundir las nuevas ideas y bondades de aquello que hagas entre sus conocidos, de forma totalmente natural. Esto es precisamente lo que hizo con su blog respecto a su libro The Long Tail, que está entre los 100 más vendidos en Amazon en estos momentos y que en las semanas posteriores al lanzamiento llegó al puesto #4.

La siguiente sesión, Todd Beaupre de Yahoo Music tiene como título Cómo llevar la personalización de la música de la novedad a la adopción masiva. Algunos datos de Yahoo Music: 24 millones de usuarios únicos, 608 millones de minutos de uso y 442.000 oyentes de Yahoo Radio al mes; 4.000 millones de vídeos en stream en 2005. Además de eso tienen 7.400 millones de ratings de canciones (unos 200 millones nuevos al mes) y 30 millones de estaciones de radio LAUCHcast personalizadas para los usuarios. Yahoo utiliza varios sistemas de recomendación comenzando por las preferencias y ratings del usuario. Uno del los problemas generales es que la gente corriente no entiende bien los beneficios de crear ratings para sus propias canciones, sin darse cuenta de que eso podrá servirles para recomendar música a otros, descubrir nueva música o re-descubrir música antigua que ya conocían pero tenían medio olvidada. La radio de Yahoo emplea una combinación de varios sistemas de recomendación, además de clasificación por expertos, y promociona con mayor importancia las novedades. La red social construida en torno a los ratings y amigos valora también a los más «influenciadores» de cada grupo. En el futuro se considerarán también las relaciones de la gente que compone las diversas mini-redes sociales que se forman en Yahoo Grupos, Yahoo 360 y Yahoo Messenger.

John McPherson de MyStrands tiene una sesión titulada Cómo crear un servicio de radio personalizada en 20 minutos, que es un ejemplo de lo teórico a lo práctico con OpenStrands, la API pública de MyStrands que permite a los programadores y al público en general utilizar los contenidos de MyStrands desde otros servicios y aplicaciones externas. El ejemplo de radio personalizada se puede ver y probar online. Los programadores pueden descargar el código fuente para trabajar con él (utiliza la combinación tradicional HTTP/REST/XML). La radio online emplea el motor de recomendaciones principal del sistema y luego una serie de filtros o preferencias marcadas por el usuario, para mejorarlas. El principal problema de este tipo de sistemas online «inmediatos» es que la información incial disponible es poca, pero se pueden obtener datos a medida que la persona escucha canciones sabiendo si las deja sonar, las salta o las vota con un sistema de «me gusta / no-me-gusta». Al cabo de un rato de probarlo es cuando las fórmulas de recomendación empiezan a sorprender al propio usuario con canciones que le gustan, recomendadas en base a todos los factores almacenados en el sistema.

Paul Lamere de Sun Microsystems Laboratories dedica su exposición a Recomendaciones de Música Basadas en Contenidos. La música representa un ejemplo claro del problema (existe demasiada música, por lo que es difícil de encontrar y descubrir) para el que las recomendaciones pueden ser una solución (por la Larga Cola y sus reglas: que todo esté disponible, poder encontrarlo, y conseguir reecomendaciones de expertos o a través de sistemas sociales como Last.fm, Musicmobs o Mystrands). Lemere explica algunos de los problemas de los sistemas de recomendaciones «sociales»: vandalismo (ej. en tagging malicioso), recomendaciones carentes de transparencia, efectos indeseados como best-sellers que son siempre recomendados (estos dos últimos muy típicos de Amazon). Algunos datos: en una encuesta sobre 5.000 usarios el tamaño típico de su iPod era de unas 3.500 canciones, escuchadas unas 5.500 veces, con un 23% de las canciones «activas» y un 64% que nunca habían sido escuchadas. Las «recomendaciones basadas en contenido» emplean una técnica totalmente diferente. Se basan en sistemas expertos o automáticos, muy relacionados con el contenido real de las canciones. Están libres de las restricciones de la «popularidad», no tienen problemas de escala y son inmunes a los ataques típicos. El más conocido de este tipo de sistemas es Pandora, donde 40 músicos añaden 400 parámetros a cada canción, unas 7.000 al mes, de modo que tienen catalogadas unas 300.000 canciones y 10.000 artistas. Esto no escala, hay cierta variabilidad entre los analistas y además ciertos tipos de música no están incluidos (ej. música clásica). MusicIP es otro sistema similar, pero automatizado, que puede catalogar muchas más canciones en menos tiempo y eliminar el problema de escala. Su precisión varía entre el 60 y el 80% en ciertas tareas (ej. clasificar el «género») que es mayor que las de las personas. Se emplean técnicas de reconocimiento e inteligencia artifical para clasificar música por similaridad, en base a modelos entrenados. Esta similaridad no significa necesariamente «recomendación» pero sirve como forma precisa de clasificación. Lemere muestra una demo de visualización en 3-D del «espacio musical» de una colección de canciones clasificadas, bastante espectacular, donde una nube de puntos de colores sobre una especie de esfera, junto a las carátulas de los discos, permite navegar con el ratón e ir explorando canciones.

Sesiones de la tarde

Holger Grossmann de Fraunhofer IDMT tiene una demostración y descripción sobre Técnicas de reconocimiento, extracción y transcripción de elementos musicales en las canciones. Esto consiste en extraer de una canción polifónica los diferentes instrumentos (bajo, batería, guitarra, voces, etc.) identificarlos y marcarlos en los metadatos de las canciones. Toda esa información se puede usar luego para encontrar similitudes y generar recomendaciones. Esto puede utilizarse para crear lo que se llama conoce como huella digital MPEG7 junto con otros metadatos, que sirven para describir una canción. Se puede ver algo más sobre esto en M2Any, una spinoff creada para trabajar sobre estas tecnologías. Se puede llegar a generar una matriz de 231 dimensiones que se puede visualizar reducida en 3-D para comparar visualmente canciones. Las diferentes dimensiones se pueden emparejar con datos objetivos («rápida», «lenta») o subjetivos («alegre», «triste»). Cuando se completa la extracción y clasificación de los datos se pueden luego realizasr búsquedas del estilo «quiero canciones como esta, pero en los que la voz sea de mujer y donde no se use guitarra.»

Mori Korukawa de Keio University tiene un trabajo bastante matemático sobre los sistemas de recomendación utilizando redes bayesianas.

Jolie Martin de Harvard University investiga sobre la Varianza de los Ratings en Sistemas de Recomendación. Los ratings o «puntuaciones» de los usuarios son utilizados por muchos sistemas de recomendación, pero según cómo se gestionen pueden producir una varianza excesiva que provoque cierta incertidumbre. En la IMDB la varianza está positivamente correlacionada con el éxito comercial de las películas. En otros ambientes, o en pruebas de laboratorio, la gente prefiere de hecho opciones con mucha varianza en los ratings. Esto depende también de la categoría de lo que se está clasificando y del propio usuario, de modo que puede resultar interesante detectar usuarios que prefieren una varianza más amplia o aplicarla a ciertas categorías de ítems a recomendar (tal vez sí en canciones o películas pero no en comidas o chistes, etc.)

Anton Nijholt de la University of Twente arranca la siguiente sesión con Recomendadores en Inteligencia Ambiente. La Inteligencia Ambiente es una forma un tanto futurista de definir un mundo en el que en el ambiente hay sistemas inteligentes de diversos tipos que interactúan con el usuario para ayudarle en ciertas tareas. Se mantienen ocultos e invisibles y son prácticamente ubícuos. Cuanto menos note el usuario que están ahí, mejor. Una de las ayudas que pueden proporcionar al usuario pueden ser darle recomendaciones sobre diversos asuntos, por ejemplo qué ver en la televisión. En un estudio centrado en la televisión, se analizó qué tipo de cosas la gente considera gratificantes del hecho de ver la televisión. Luego se clasificaron los diversos «objetivos» o «gratificaciones» que la gente decía obtener, y se mapearon según los géneros de los programas o tipos de películas. De este modo se podían generar diferentes recomendaciones para diversos estados anímicos de la persona y lo que quisiera conseguir, del estilo «quiero animarme», «informarme», «escaparme de la triste realidad», etc. La inteligencia ambiente necesita para poder empezar a ser útil información sobre el usuario, tanto los datos tradicionales del modelo usuario (demográficos y ámbito) como el que pueda genera automáticamente (visitas a ciertas web, formularios que rellena sobre su personalidad, emociones, escalas de valores, etc.) o de forma natural mediante interacciones guiadas.

Markus G. Stolze de IBM Resarch habla sobre Sistemas de Recomendación Orientados a Necesidades y el trabajo que IBM está realizando al respecto. Lo compara en cierto con la relación que un vendedor debe establecer con un comprador para mostrarle las ventajas de algo que quiere venderle. Un ejemplo práctico sería la guía de Guidester / Circuit City que orienta sobre la venta de productos como cámaras digitales. Se utilizan atributos relativos a las necesidades del usuario («tamaño: que quepa en el bolsillo de la camisa») en vez de datos objetivos que muchas veces no dicen nada («peso: 275 gramos»). Epinions sería algo similar, pero orientado a características de los productos. Otros sistemas emplean ratings de grupos de usuarios. Las recomendaciones a base de reseñas de texto describiendo cómo funcionan los productos siguen siendo populares.

Francisco Martín de MyStrands expone ahora su presentación sobre Recomendaciones a Grupos un terreno que ha sido relativamente poco tratado hasta ahora. «El ser humano es un animal social» y en muchas ocasiones actúa en grupo y es difícil decidir qué tipo de consenso o recomendación general puede ser válida para el grupo (ej. la familia viendo la tele, la música con que se hace aerobic en clase, las canciones que suenan en una discoteca). partyStrands es el sistema que MyStrands ha creado para generar recomendaciones personales a grupos combinados de gente, en fiestas, bares o locales musicales. Los usuarios llegan al local donde hay una pantalla gigante y envían un SMS con su nombre de usuario a un número corto (también pueden mandar mensajes a la pantalla, intercambiar fotos, etc). partyStrands reconoce entonces que están agrupados en cierto local y comienza a calcular recomendaciones para la secuencia de próximas canciones que se aproximen lo mas posible a los gustos de esas personas. El sistema busca canciones que gusten de forma «justa» a los asistentes (maximizando la satisfacción general), que pasen de unas a otras en una transición elegante (ej. no repitiendo el mismo artista una y otra vez, buscando transiciones ligeras entre estilos y artistas), etc. Cuando se ha generado la lista de canciones posibles, se añaden algunos artistas adicionales recomendados que tal vez no figuraban entre los favoritos originales de la gente, se aplican unos filtros, se selecciona los artistas más relevantes y se chequea con el sistema de audio del local la disponibilidad de esas canciones, para obtener la secuencia definitiva. Tras todo este proceso, se emite la música mientras continúa el cálculo de una nueva secuencia de canciones. Si aparece nueva gente o se van usuarios del local, se ajustan los valores, del mismo modo que se va produciendo un «decaimiento» automático de los artistas que ya han sonado anteriormente. El algoritmo general es de tipo maxmax que, técnicamente, «maximiza la felicidad del máximo de usuarios», aunque como jocósamente dice Fran, «no se sabe el efecto que tiene el alcohol de la fiesta en todo esto.» Mañana jueves hay una fiesta beta de MyStrands en Madrid para probar el sistema.

Al igual que ayer, ahora y antes de cerrar hay una Mesa Redonda moderada por Atkan Cetinsoy con algunos de los ponentes del día, que revistan temas generales y reciben preguntas de los asistentes. Paul Lamere de Sun cree que ayudaría mucho al desarrollo de los servicios de recomendación algún tipo de «huella digital» de las canciones que permita indentificarlas mejor que hasta ahora, algo que podría ser un código que adoptara toda la industria musical de forma organizada por el bien general. Bennett recuerda que todavía hay que evolucionar mucho desde el punto de vistas de facilitar la interfaz adecuada para buscar contenidos, música o películas, según diferentes criterios, a diferentes tipos de personas.

Ana Aguirre, Consejera de Industria del País Vasco y Francisco Martín de MyStrands cierran los dos días de curso con el tradicional discurso.

Otras referencias

• Javier Recuenco del Instituto de Márketing Directo y Comercio Electrónico ha publicado Te recomendamos esta entrada donde cuenta cómo está viendo las sesiones de estos días.
• Tallerd3 tiene un post sobre la charla de Anderson acerca de La Larga Cola.
• Enrique Dans escribió En Recommenders06 con algunos detalles más, incluyendo la codiciada «foto con el hombre de la larga cola» (chiste monotemático de la noche.) También añadió Metáforas de visualización y Sun y la música.
• Cinco Días: Los sistemas de recomendación, los buscadores de la web 2.0
• Cadena SER En la página del programa SER Digital(se puede descargar) salgo en una pequeña mini-entrevista que se emitió por radio y que grabamos durante el curso, contando en plan rápido qué es MyStrands y cómos se usa.
• Duke Listens: Search Inside the Music - a two page white paper un post en el blog de Paul Lamere de Sun sobre su presentación.

[Si alguno de los asistentes tiene correcciones o matices sobre los textos, o direcciones web de referencia que añadir que por favor utilice el formulario de correo.]

(Nota: MyStrands es uno de los proyectos en los que estoy involucrado personalmente como inversor y asesor desde hace casi un par de años. Ver Full-Disclosure.)