Archivumbau zur 5.5

Zur 5.5 steht ein großer Umbau im Archiv an. Als erster Schritt haben wir einiges umstrukturiert und überarbeitet. Hiervon sollten für die Verwendung erst einmal nur Kleinigkeiten sichtbar sein. Wir waren aktuell insbesondere im Unterbau aktiv waren, werden aber zeitnah mit coolen neuen Features weitermachen.

Bevor ihr dies ausprobiert, hätten wir eine Bitte an euch:

  • Macht bitte VOR dem Update vom 10.09. mal eine vollständige Reaggregation und messt die Dauer.
  • Macht NACH dem Update eine weitere Reaggregation und messt die Dauer
  • Postet eure Ergebnisse

Ansonsten seid ihr ja wahrscheinlich trotzdem neugierig, was die „sichtbaren Kleinigkeiten“ sind:

  • Die Aggregationen werden nicht mehr im Arbeitsspeicher gehalten, sondern bei Bedarf aus der Datei gelesen. Dies sollte den Arbeitsspeicherverbrauch von IP-Symcon signifikant senken.
  • Wird das Logging einer Variablen erstmals aktiviert, wird auch direkt der aktuelle Wert geloggt. Dies ist beispielsweise toll, wenn ihr euren Zähler, der noch auf 0 steht anfangt zu loggen und dann auch tatsächlich diese 0 als Referenzwert für zukünftige Delta verwendet wird.
  • Die Aggregationsdaten einer Zählervariable beginnen direkt beim ersten geloggten Wert, auch wenn der aggregierte Wert bis zum zweiten Rohwert natürlich 0 ist, da es ja noch keine positiven Deltas gibt.
  • Das Archiv findet nun auch Aggregationsdaten ohne Rohdaten (also beispielsweise eine einzelne <VariablenID>.year.csv) und zeigt diese mit 0 Werten im Archiv an. Beim Aufräumen werden diese dann auch gelöscht.
  • Intern wird die Info über Datensätze und -größe pro Monat abgespeichert, ihr findet neue <VariablenID>.statistics.csv-Dateien im db-Ordner. Das lässt uns einige Operationen optimieren. Diese Dateien werden beim ersten Start generiert, wodurch dieser einmalig ein bisschen länger dauern kann.

Der erste Start mit der neuen Version kann übrigens ein wenig länger dauern, siehe oben

Vor dem Update: ca. 2 Minuten und 8 Sekunden
Nach dem Update: 1 Minute und 56 Sekunden

Grüße,
Kai

Daten seit knapp über 10 Jahren, knapp 63 Millionen Datensätze, ca. 1.05 GB

Vor Update 16 Minuten
Nach Update 15 Minuten

Vor dem Update und nach der Reaggregation war kurzzeitig ein großer Teil meines Swap frei, der wurde innerhalb von 30 Minuten, inkl. einem Stundenwechsel, wieder benutzt.

Nach dem Update verwendet symcon nach über einer Stunde Laufzeit und einem Stundenwechsel überhaupt keinen Swap mehr.

vorher :4:58 Minuten
nachher : 5:30 Minuten

IPS läuft auf TinkerboardS.
Archiv 312 Var’s, 1.45 GB

System: RPI4 / 4GB

Vorher: 00:54,29
Nachher: 01:18,37

Neustart: Keine Verzögerung feststellbar.

Gruß

Burkhard

Raspberry Pi 2

Vorher: 21.05
Nachher: 16.89

Variablen: 55
Datensätze: 349495
Größe: 5.19 MB

Moin,

wenn Ihr am Archiv dran seit, darf man ein Wunsch äußern?
Und zwar wäre es schön bestimmte Variablen so einstellen zu können das diese 2 Wochen nur geloggt werden, was älter ist soll verfallen.

Dauer natürlich einstellbar, wäre das vielleicht möglich um zu setzen?

Gruß

Lässt sich doch einfach mit AC_DeleteVariableData — IP-Symcon :: Automatisierungssoftware realisieren.

Der aktuelle Umbau ist nur ein Vortakt auf viele spannende neue Features des Archiv :wink: Auch Life Cycle Optionen sind geplant, auch wenn diese wohl nicht mehr zur 5.5 kommen. Damit soll man dann einstellen können, dass beispielsweise ältere Rohdaten ausgedünnt werden und so für Werte die älter als ein Jahr sind, nur noch ein Durchschnittswert pro Tag gespeichert wird anstatt alle Rohdaten von damals. Als letzte Stufe kann man dann sicherlich auch sagen, dass die Daten komplett gelöscht werden.

System: Win7pro / 4GB

Vorher: 00:55,30
Nachher: 01:06,00

Variablen: 100
Datensätze: 13748578
Größe: 251,41 MB

Neustart: Komplette Reaggregation durchgeführt

Gruß Axel

Cool das hört sich sehr spannend und sinnvoll an!

Danke

System: Win10 Pro / 16GB

Vorher: 26 min
Nachher: 18 min

Variablen: 254 Vorher
Variablen: 259 Nachher ??
Datensätze: 368362006 Vorher
Datensätze: 368380623 Nachher

Tschau Hein09

System Windows 10 Pro 16GB

Vorher 12:11 Minuten
Nachher 15:55 Minuten
Nachher 108 Variablen mehr aber alle unbekannt (in Post 1 beschrieben)

Variablen 912
Datensaetze 1041689649
Groesse 11,13 GB

Der Speicher ‚IPS_VIRTUALSIZE‘ hat sich signifikant verkleinert.
Rote Punkte sind Neustarts

Hi,
vorher:
127 Variablen
22.35 Millionen Einträge
371.9MB Größe
47 Sekunden Reaggrigieren

nachher:
127 Variablen
22.39 Millionen Einträge
372.6MB Größe
55 Sekunden Reaggrigieren

Ralf

Der Speicher ‚IPS_VIRTUALSIZE‘ hat sich signifikant verkleinert.

gibt es da ein fertiges Skript damit ich das auch mal messen kann ?
Viele Grüße
Axel

Hi,

Das Problem der negativen Datensätze gibt es immer noch.
Meine Datenbank ist ca. 80% kleiner geworden.
Zeit zum reorganisieren ist fast gleich geblieben. (vorher / nachher)

Moin,
ich habe jetzt eigenartige Meldungen im Log - massenweise:
kann es aber als Text nicht kopieren, deshalb zusätzlich Snapshot:


15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598866441,23216063
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1599719405,23299379
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1599733445,23300744
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598248082,23156464
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598315040,23162965
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598450940,23175564
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598605713,23190629
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598716417,23201393
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1598866441,23216063
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1599719405,23299379
15.09.2020 00:00:01 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #52379:                     1599733445,23300744
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598248165,9698835
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598315155,9701398
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598605688,9711317
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598716527,9716633
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1599719371,9754700
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1599733411,9754965
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598248165,9698835
15.09.2020 00:00:05 | 32644 | MESSAGE | Archive Control      | Invalid line for variable #21191:                    1598315155,9701398

@wibo050447: Kannst du mir mal die Daten von Variablen schicken, die bei dir eine negative Größe haben? Insbesondere die <ID>.statistics.csv dazu wäre spannend.

Hallo
Vor 2 Stunden hab ich noch alle (4) die negativ waren neu reaggregetiert.
Jetzt ist wieder eine da.
Negativ.png
Statistikfile
42858.statistics.csv.txt (1.91 KB)

Hi,
für mich sieht es aus nach Int32 bei einer Größe >2GB aus. War die Datengröße ca. 2.2GB?

Ralf