Projekt

Allgemein

Profil

TS_Testfall #4068

Person Person

Durch das Fachliche Monitoring werden Kennzahlen zur fachlichen Systemnutzung im zeitlichen Verlauf und zum aktuellen Zeitpunkt bereitgestellt

Von Gerd Weber vor etwa 1 Monat hinzugefügt. Vor etwa 18 Stunden aktualisiert.

Status:
Fehlgeschlagen
Priorität:
Mittel
Zugewiesen an:
TS-Neu-Projektteam
Kategorie:
11_Fach-Monitoring
Beginn:
16.03.2020
Abgabedatum:
27.03.2020
Testfall_ID:
TF_MON_01
getestet_von:

BST/KST


Beschreibung

Schritt-Nr. Testschritt Erwartetes Ergebnis
Schritt_01 Noch zu spezifizieren Noch zu spezifizieren

Verwendete Testdaten

Aktuelle Monitoring ergebnisse 30.030.2020


Aktuelles Testergebnis

1. Eigendlich sollten die Monitoringergebnisse lt Angebot in Echtzeit mittels ELKstack erfolgen. Derzeit erfolgt die Auswertung offensichtlich nur zu jeder vollen Stunde, warum?
Hier macht die Eingabe von Minuten bei Start und Ende keinen Sinn. (siehe Screenshot

2, Systemabsturz bei Auswahl längerer Zeiträume oder letzte Woche oder letzte 30 Tage

3. Anzeige der tabellarischen Ergebnisse inkonsistent:
Ausgeführte Testläufe 6:00-7:00 am 30.03 (Screenshot)
Angezeigtes Monitoring zu Testläufen passt nicht insbesondere Testläufe nach Status. (Screenshot)

4. Folgende Tabellarischen Übersichten werden noch vermisst.
Testläufe nach Domäne
Testläufe nach IP Adresse
Testläufe pro Testklasse nach Systemnutzung (GUI, API, Schnelltest) -> kann gegebenenfalls auch über Systemmonitoring bereitgestellt werden
Angelegte Testkonfigurationen pro Testklasse

5. Kennzahlen

Laufende Tests ist wie folgt definiert: (Jede Stunde wird geprüft, bei wie vielen Testläufen der Teststart vor mehr als einer Stunde lag und der Test noch läuft oder der Test in der letzten Stunde gestartet oder beendet wurde. Über diese Werte wird dann aggregiert).

Diese Vorgehensweise führt beim Aggregieren u.A. zu falschen Aussagen. Bsp.:

Test 1 13:30-13:31

Test 2 13:59-14:01

Test 3 13:59-14:01

Insgesamt 3 Tests: Bei stündlicher Darstellung ergäbe sich

Laufende Tests von 13:00-14:00: Anzahl: 3

Laufende Tests von 13:00- 14:00: Anzahl 3

Dies auf den Tag aggregiert (wie beschrieben) ergäbe fälschlicherweise 6 Tests am Tag. Es sind aber nur 3

Aktivierte Intervalltests definiert durch :(Hier wird stündlich geprüft, wie viele Konformitätstests es gibt, bei denen die Intervallfunktion aktiviert ist.)

Hier wird derzeit nicht der Zeitraum berücksichtigt, für den die Intervalltestfunktion aktiviert wird. Beispiel:Der derzeit im System aktivierte Intervalltest war für den 19.03-20.03 aktiviert. Laut Monitoring wird er aber als permanent aktiviert ausgewiesen. Die Frage die diese Kennzahl beantworten soll ist doch wieviele Interfalltests sind im ausgewählten Zeitraum aktiv gelaufen.

Testkonfigurationen (Der Wert zeigt die Gesamtanzahl der vorhandenen Tests an)

Es fehlt Angelegte Testkonfigurationen: Der Wert zeigt die Anzahl der Testkonfigurationen, die innerhalb des gewählten Zeitraums pro Aggregationsstufe neu angelegt wurden.

Laufzeiten von Tests unabhängig von der Testklasse machen wenig Sinn

Testklassen (Der Wert zeigt die Gesamtanzahl der vorhandenen Testklassen an)

Diese Grafik mach wenig Sinn, da die Anzahl über die Zeit betrachtet sehr statisch ist

Konformitätsklassen (Der Wert zeigt die Gesamtanzahl der vorhandenen Konformitätsklassen an)

Diese Grafik mach wenig Sinn, da die Anzahl über die Zeit betrachtet sehr statisch ist.


DMS

fehler01 monitoring Anzeigen - Fehler bei Änderung Startdatum (236 KB) Daniela Hogrebe, 26.03.2020 11:38

1 Start Ende Anzeigen (21,6 KB) Gerd Weber, 30.03.2020 06:31

2 Systemabsturz Anzeigen (21,5 KB) Gerd Weber, 30.03.2020 06:31

Testläufe Anzeigen (21,5 KB) Gerd Weber, 30.03.2020 06:31

Monitoringergebnis Anzeigen (21,5 KB) Gerd Weber, 30.03.2020 06:31

Historie

#1 Person Von Gerd Weber vor etwa 1 Monat aktualisiert

  • Aktuelles Testergebnis aktualisiert (diff)

#2 Person Von Gerd Weber vor etwa 1 Monat aktualisiert

  • Beschreibung aktualisiert (diff)

#3 Person Von Gerd Weber vor etwa 1 Monat aktualisiert

  • getestet_von aktualisiert (diff)

#4 Person Von Gerd Weber vor etwa 1 Monat aktualisiert

  • Zugewiesen an wurde auf TS-Neu-Projektteam gesetzt

#5 Person Von Daniela Hogrebe vor 5 Tagen aktualisiert

  • Aktuelles Testergebnis aktualisiert (diff)

#6 Person Von Daniela Hogrebe vor 5 Tagen aktualisiert

  • Dokument fehler01 monitoring wurde hinzugefügt

#7 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Ticketreferenz AN wurde auf https://redmine.intranet.terrestris.de/issues/9290 gesetzt

#8 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Aktuelles Testergebnis aktualisiert (diff)
  • Verwendete Testdaten aktualisiert (diff)

#9 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Dokument 1 Start Ende wurde hinzugefügt

#10 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Dokument 2 Systemabsturz wurde hinzugefügt

#11 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Dokument Testläufe wurde hinzugefügt

#12 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Dokument Monitoringergebnis wurde hinzugefügt

#13 Person Von Gerd Weber vor etwa 18 Stunden aktualisiert

  • Status wurde von Offen zu Fehlgeschlagen geändert

Auch abrufbar als: Atom PDF