Glidande medelvärde outlier detektion

Jag använder ett glidande medelfilter för att släta data för borttagning av borttagare Genom att ändra antalet genomsnittliga punkter får jag ett annat resultat. Min data är multidimensionella funktionvektorer. Jag tillämpade det glidande medlet för hela matrisen och sedan på individuella variabler. De ger olika resultat. Så, hur väljer du gissa antalet poäng till genomsnittet över och ska det tillämpas på hela matrisen eller på en och en basis. Skriven 1 nov 13 kl 21 44.Glenb 163k 20 274 ​​557. Ett tillvägagångssätt för att välja en utjämningsparameter skulle vara att optimera prognosfel i ett steg, till exempel summor av kvadrater av enstegsförutsägningsfel. Om du försöker identifiera avvikare vill du ha en annan åtgärd av prediktionsfel - en Rimligt robust mot outliers och då flytta medelvärden verkar vara ett udda val - varför inte något mer robust mot outliers Glenb Nov 2 13 på 1 11.Varken Båda All. Sorry Men jag tror att detta är ett annat försök, om än en smart att automatisera vad kan Jag är verkligen aut omated Naturligtvis olika metoder ger olika resultat de enda tider de inte skulle vara där outlier är så uppenbart att du inte behöver ett test. Mitt förslag är att använda en mängd olika metoder för att identifiera möjliga utjämnare, och undersöka dessa outliers på en individ Grunden är att jag arbetar med en stor mängd tidsserier. Dessa tidsserier är i grunden nätverksmätningar som kommer var 10: e minut, och några av dem är periodiska, dvs bandbredd, medan vissa andra slår samman mängden routing traffic. I skulle vilja ha en enkel Algoritm för att göra en online outlier detektion I grund och botten vill jag hålla i minnet eller på disken hela historiska data för varje tidsserie och jag vill upptäcka någon outlier i ett levande scenario varje gång ett nytt prov tas. Vad är det bästa sättet För att uppnå dessa resultat. Jag använder för närvarande ett glidande medel för att avlägsna lite ljud, men vad är det för nästa enkla saker som standardavvikelse, galen mot hela datasatsen, jag kan inte anta det e tidsserier är stationära, och jag skulle vilja ha något mer exakt, helst en svart låda. Där vektor är en rad dubbla som innehåller historiska data och returvärdet är anomalitetsvärdet för det nya provvärdet. Klockan 18 03. Jag föreslår schemat nedan, vilket bör vara genomförbart på en dag eller så. Kombinera så många prover som du kan hålla i minnet. Ta bort uppenbara avvikare med hjälp av standardavvikelsen för varje attribut. Beräkna och lagra korrelationsmatrisen och även Medelvärdet av varje attribut. Beräkna och lagra Mahalanobis avstånden av alla dina prover. Beräkna outlierness. For det enda provet som du vill veta dess outlierness. Retrieve medel, kovariansmatris och Mahalanobis avstånd s från träning. Beräkna Mahalanobis avståndet d för ditt prov. Återställ percentilen där d faller med hjälp av Mahalanobis avstånd från träning. Det blir ditt outlier-poäng 100 är en extrem outlier. PS Vid beräkning av Mahalanobis dista Nc använda korrelationsmatrisen, inte kovariansmatrisen. Detta är mer robust om provmätningarna varierar i enhet och nummer. Automatisk utlösningsdetektering Välsignelse eller förbannelse. En av de förbryllade frågorna som Demand Planners frågar i våra träningsverkstäder är varför deras programvara producerar en platt prognos 90 av tiden En dyr programvara som tog en armé och ett par år att implementera föreslog vanligtvis en konstant modell eller rörlig genomsnittsmodell. Detta resulterade i en platt prognos. Även om blotta ögat grafiskt kan se om grafer är tillgängliga för Användaren ett fint säsongsmönster valde experttillvalet i mjukvaran en ständig prognos för evigheten. Det finns många knep som ligger bakom det här slutresultatet, några av dem är kända och några av dem är dolda. En av de skyldiga är avkänningsprocessen. Programvaran kan intelligent detektera Outliers för en given inställning och outlier detekteringsmetod Vanligtvis använder du en K-faktor för att utveckla toleransband runt den efterföljande faktorn till identifiera outliers Vad är K-faktorer och hur man utnyttjar K-faktorinställningarna för att producera bra prognosmodeller. Vi observerade i många olika fall att människor använder låga k-faktorer som sedan slänger alla säsongstoppar och tråg. En låg k-faktor är supervaktfull Det tillåter inte att något mönster flyter igenom till modelleringsmotorn. Alla motorns ser är bara ett kluster av några datapunkter som är nära spridna kring den tidigare prognosen eller bara ett historiskt medelvärde. Se bilden nedan. En k-faktor på 1 kommer att eliminera alla mönster som ses i efterfrågeprofilen. Det håller bara en bråkdel av den ursprungliga datamängden som alla pekar på det historiska medelvärdet som en våldsamt noggrann prognos. Detta har ingenting att göra med kraften hos den statistiska motorn som är tillgänglig till programvaran. I vår kommande tre dagars workshop diskuterar vi farorna med automatisk upptäckt av utelämnare och får deltagarna arbeta genom en praktisk övning som ger bättre synlighet till hela detektionsprocessen. Jag förklarar funktionerna under huven i SAP APO Demand Planning-modulen för att navigera genom denna farliga process. Dag 3 kommer att vara allt SAP APO med praktisk utbildning på programvaruplattformen. Deltagarna i september 2011-verkstaden kunde direkt göra modell och parameter Ändras till sina levande prognoser i workshopen. Visa för mer information om workshopen Vänligen kontakta mig om du har fler frågor eller vill diskutera Outlier detekteringsprocessen i APO DP.