Effektivisering av problemidentifikation samt grundorsaksanalys med hjälp av optimerad visualisering av telemetri- och loggdata

Abstract

När samhället blir mer och mer beroende av datasystem ökar även kraven på att dessa system har en hög standard för pålitlighet. Även de mest robusta systemen drabbas emellanåt av fel, vilka kan ha såväl interna som externa orsaker. I båda fallen krävs att felen identifieras genom dataanalys och åtgärdas. Grundorsaksanalys är en central men tidskrävande process i storskaliga systemmiljöer. Traditionellt genomförs grundorsaksanalys manuellt, vilket innebär omfattande analys av telemetrioch loggdata för att lokalisera systemfel, något som ofta fördröjer felsökningen och kräver betydande mänsklig insats. För att bemöta dessa utmaningar har vi utvecklat ett system som automatiserar och effektiviserar processen.

Vår lösning utgörs av en interaktiv webbapplikation som adresserar tre huvudsakliga aspekter: datahantering, visualisering och automatisering. Datahanteringen sker genom Elasticsearch, som tar emot loggdata direkt från servern, samt Prometheus, som samlar in telemetridata. All insamlad data tidsstämplas för att möjliggöra korrelation vid grundorsaksanalyser. Visualiseringen sker i ett tvådelat system bestående av en Grafana-dashboard och en React-baserad webbapplikation, som utgör systemets centrala gränssnitt.

Applikationen erbjuder även funktionalitet för anomalidetektering i syfte att identifiera avvikelser i både telemetridata och systemets hälsa. Detta uppnås genom användning av maskininlärningsalgoritmerna Random Forest och Isolation Forest.

Med detta system presenteras relevant data för att genomföra grundorsaksanalys på ett effektivt sätt, genom att användaren får möjlighet att granska tidsstämplade anomalier i telemetridata och relevanta loggdata, både i närtid och i historiskt perspektiv. Därmed minskar den mänskliga arbetsinsatsen och processen effektiviseras avsevärt.