Utveckling av AR-applikation med AI-glasögon för förbättrad bilkvalitetsuppfattning

Abstract

Detta projekt undersöker ett alternativt sätt att interagera med en AI-klient utvecklad av startupföretaget Intended Future, som analyserar bilder på bilar och returnerar en uppskattning av upplevd kvalitet. Det nuvarande sättet att använda klienten innebär att användaren manuellt tar ett foto, till exempel med en mobiltelefon, och laddar upp det via ett webbgränssnitt för att få AI:ns textbaserade tolkning. För att möjliggöra en mer sömlös och handsfree-interaktion har projektet utvärderat att istället använda AR via AI-glasögon som ett alternativt sätt att interagera med en sådan AI-klient.

En mobilapplikation utvecklades för att kommunicera med Frame, ett par open-source AI-glasögon från Brilliant Labs. Applikationen parar med Frame via Bluetooth och låter användaren ta bilder med glasögonens inbyggda kamera. Bilderna visas i mobilens gränssnitt, skickas till ett API, och den resulterande texten returneras och kan presenteras via Frames display, via mobiltelefonens gränssnitt, och/eller genom text-to-speech. Användaren kan även välja mellan olika interaktionssätt, som att ta bilder genom att ta på Frame eller använda en knapp på mobiltelefonens gränssnitt, välja mellan att använda Frames kamera eller mobilkameran, eller välja om texten ska visas i Frames display eller inte.

Syftet är att utvärdera användbarheten av denna typ av interaktion genom användartester. Testresultatet visade en preferens för att ta bild genom att ta på glasögonen framför att använda en knapp på mobilapplikationens UI, samt en preferens att ta del av svarsinformationen i form av text via glasögonens display.