El nuevo proyecto encabezado por Facebook se marca como desafío que la IA puede comprender e interactuar desde una perspectiva egocéntrica, de la misma manera que lo hacen la personas. No obstante, la mayoría de algoritmos, como los de imagen, se alimentan con vídeos en tercera persona, lo que complica este aspecto. La inteligencia artificial de Facebook entenderá y rememorara el planeta observado por medio de nuestros propios ojos y nos ayudará ejemplificando:
- Memoria episódica: preguntar en qué momento ocurrió algo. Al tener una grabación de nuestra vida, la inteligencia artificial puede contestar a preguntar que en muchas situaciones solo nosotros mismos entendemos ¿Qué pasó cuando? (Por ejemplo, “¿Dónde dejé mis llaves?”)
- Pronóstico: anticipar ciertos pasos rutinarios. Ejemplificando en una receta, que la inteligencia artificial nos avise si nos hemos saltado cualquier paso (Por ejemplo, “Espera, ya has agregado sal a esta receta”)
- Manipulación de objetos: que la inteligencia artificial nos oriente a hacer determinados pasos, ejemplificando tocar una herramienta o hacer instrucciones de cómo situar nuestro cuerpo humano (Por ejemplo, “Enséñame a tocar la batería”)
- Diarios audiovisuales: al tener un registro de lo cual vemos, podría ser viable preguntar quién mencionó qué y en qué momento. Y de esta forma ejemplificando rememorar qué cifra comentó el instructor o (“¿Cuál ha sido el asunto primordial a lo largo de la clase?”)
- Interacción social: perfeccionando el saber de la primera persona, los algoritmos podrían contribuir a mejorar la perspectiva o el ruido. (Por ejemplo, “Ayúdame a oír mejor a el individuo hablándome en este ruidoso restaurante”)
“La IA no solo comenzará a comprender mejor el mundo que la rodea, sino que algún día podría personalizarse a nivel individual; podría conocer su taza de café favorita o guiar su itinerario para su próximo viaje familiar”, ha destacado Grauman.
Este año, el consorcio de universidades de Ego4D lanzará los datos, que podrán usarse para los objetivos permitidos, y a principios de 2022 los investigadores invitarán a expertos a un desafío para enseñar a las máquinas a entender el mundo en primera persona.
