Extracto de un informe de Loup Ventures
Después de la impresionante comparación del año pasado de soluciones personales de inteligencia artificial (asistentes digitales), Loup Ventures publicó en agosto los resultados de su Prueba de coeficiente intelectual IQ digital de 2019.
Hay buenas noticias para los que gusten de dar comandos de voz a su teléfono, tableta o altavoz: todos los asistentes digitales líderes están mejorando en sus prestaciones. Utilizando una prueba compuesta por las mismas 800 preguntas en cada sistema de IA, el asistente de Google una vez más lideró la terna de tres: Alexa, Siri y Google Assistant, pero todos mejoran.
Google Assistant entendió el 100% de las preguntas que se hicieron igual que el año pasado, y respondiendo correctamente el 92.9% de ellas. Supera ampliamente el 85.5% de respuestas correctas del año pasado, y se acerca rápidamente a un nivel de precisión donde los errores serán excepcionales.
Siri de Apple saltó en ambas categorías, pasando de un nivel de comprensión del 99% el año pasado al 99.8% este año, y el nivel de respuesta correcta del 78.5% de 2018 a un nivel correcto del 83.1% para 2019. Otra forma de ver eso, es que es probable que Siri responda correctamente este año tantas veces como lo hizo Google Assistant el año pasado.
Alexa de Amazon una vez más ocupó el tercer lugar, pero hizo grandes avances este año, entendiendo el 99.9% de las preguntas y respondiéndolas correctamente el 79.8% de las veces; mejora el rendimiento que ovfreció Siri del año pasado. Se trata de un fuerte aumento en las respuestas correctas para Alexa, que saltó desde un sorprendente mínimo de 61.4% el año pasado. El informe de Loup Ventures señala que es el mayor salto que se ha visto entre años desde que comenzó a registrar resultados.
Uno de los aspectos interesantes de las pruebas de Loup es que cubre cinco categorías diferentes: "local", "comercio", "navegación", "información" y "comando", cada una diseñada para probar un área diferente de asistencia potencial de IA.
El Asistente de Google dominó cuatro de esas cinco categorías, abriendo una brecha particularmente grande en el comercio, donde su precisión del 92% superó a Alexa (71%) y a Siri (68%). En realidad, logró puntuaciones superiores en todo, excepto en la categoría "comando", donde Siri lo superó por un margen de 93% a 86%, el único concepto en el que Google Assistant cayó por debajo del 92% en respuestas correctas.
Alexa se ubicó detrás de ambos rivales en las categorías "local", "navegación" y "comando", mientras que sólo superó ligeramente a Siri en "comercio". Siri de lo contrario, terminó dos veces en el segundo lugar y dos veces en el tercer lugar, con su segunda brecha más grande en "información", donde era notablemente peor que las otras IA: 76% de respuestas correctas en comparación con el 93% de Alexa y el 96% de Google.
Loup Ventures menciona que la continua marcha hacia puntuaciones del 100% es impresionante, pero no significa que los asistentes son de hecho inteligentes. Si bien pueden entender dentro de lo razonable todo lo que les dices, sólo obtienen buenos resultados en sus casos de uso primario y no exhiben habilidades de razonamiento de alto nivel.
Los siguientes avances para los asistentes digitales consisten en agregar casos de uso adicionales donde la voz es especialmente adecuada para resolverlos, y proporcionar experiencias de usuario sencillas para resolverlos.
Sobre Loup Ventures
Loup Ventures es una firma de capital de riesgo orientada a la investigación con sede en Minneapolis y Nueva York que invierte en tecnología de vanguardia.
