+ Antworten
Seite 1 von 2 1 2 LetzteLetzte
Ergebnis 1 bis 10 von 15
  1. #1
    Registriert seit
    Apr 2010
    Ort
    Meppen
    Beiträge
    146

    Standard Logging Datenbank explodiert förmlich

    Hallo,

    ich habe seit ein paar Wochen das Problem das einige Aktionen zeitweise nur sehr zeitverzögert ausgeführt werden. Beispielsweise klingelt es (Wago )erst 10 Minuten nach Druck auf den Klingelknopf (FS20). Dann ist der Besucher aber schon wieder weg.
    Ich vermute das die logging.db daran schuld ist. Diese zeigt seit ein paar Wochen ein sehr starkes Wachstum. Mittlerweile ist sie bereits 54GB (GIGABYTE) groß und wächst jeden Tag um mehrere Hundert Megabyte.

    Wie kann ich das stoppen? Da muß doch irgendwo was faul sein.
    Vor ein paar Wochen ist das System abgestürzt da der Hyper-V Host voll war. Vielleicht ist da irgendwas passiert. Aber nun ist die virtuelle IPS-Maschine (Win 7, Hyper-V 2012 Gast) kurz vor dem Bersten. ist hab noch knapp 4 GB Platz.

    Was kann ich tun?
    Gruß, teebeutel

    WAGO, PCE-FWS 20, FS20, Homematic, 868

  2. #2
    Registriert seit
    May 2006
    Ort
    Hannover
    Beiträge
    3,092

    Zitat Zitat von teebeutel Beitrag anzeigen
    Wie kann ich das stoppen?
    [...]
    Was kann ich tun?
    Prüfe dein Logging, welche Variablen, wie oft und ob das notwendig ist.

    Wenn du relativ viele Variablen, die sich relativ oft ändern loggst, dann erzeugst du viele Daten.
    MfG Ralf

  3. #3
    Registriert seit
    Apr 2010
    Ort
    Oberbayern
    Beiträge
    4,854

    Hallo.

    Mit 54 GB bis Du ganz weit vorne mit dabei . Geh mal in den Archiv-Handler und prüfe nach welche Variablen da massiv Datensätze aufweisen.

    Damit solltest Du schon mal die Datengräber identifizieren und dann entsprechend weiter prüfen können warum die in so enormen Umfang gelogged werden.

    Wenn das abgestellt ist schau mal hier rein. Da findest Du Anregungen wie die Datenbank auf eine vernünftige Grösse zurückgeführt werden kann.

    Nachtrag: Wenn Dein System 10 Minuten nach läuft kann es auch sein, dass er durch durch den Logging-Mechanismus so massiv ausgelastet wird.....
    Grüsse, Kronos.
    Wenn am Anfang alles schief geht, nenne es Version 1.0
    IPS 5.3 auf Server 2016 / HM mit CCU2 (RaspberryMatic) + LAN-Adapter + LAN- & Wired Gateway, 241 Geräte / XBee Pro (Roomba) / RoboRock S50 / RGB-W 868 / MiLight / EKM 868 / AKM / ein Rudel Squeezeboxen+Pi / EM24DIN+VS102 / AM 220 AC / PlugWise / VU+ / ALL4x00 / LevelJet / IRTRans / Echos diverse / viel zu wenig Zeit


    Einfach mal rein schauen: IPS-Chat

  4. #4
    Registriert seit
    Apr 2010
    Ort
    Meppen
    Beiträge
    146

    Ich habe nun eine geloggte Variable entfernt (Heat_Index der Wetterstation). Angestoßen habe ich das ganze um 11:17. Die logging.db ist nun stabil (keine Änderung seit 11:17), dafür ist die logging.db-journal in 30 MInuten auf 900 MB angewachsen.
    Hängt das mit dem löschen zusammen?
    Gruß, teebeutel

    WAGO, PCE-FWS 20, FS20, Homematic, 868

  5. #5
    Registriert seit
    Oct 2010
    Ort
    HH
    Beiträge
    4,613

    Das db-journal ist so etwas wie ein temp-Speicher für reinlaufende Logging-Daten und wird normalerweise (zwingend) alle 60 Sekunden in die DB überführt.
    Das scheint bei Dir nicht zu klappen, ich tippe auf eine defekte DB.
    mit gebücktem Gruss
    Raketenschnecke
    IPS-Projekte und -Tools auf
    www.raketenschnecke.net

  6. #6
    Registriert seit
    Apr 2010
    Ort
    Meppen
    Beiträge
    146

    Nach 1,5 Stunden ist IPS nun fertig mit dem entfernen der einen geloggten Variable. Jetzt hat er auch das Journal zurückgeschrieben. Die Datenbank war wohl während der Zeit gelocked.
    Er schreibt jetzt wieder artig alle 60 Sekunden zurück.
    Was mich ein wenig irritiert ist die Datenmenge die da in einer Minute anfällt. Das Journal ist nach einer Minute ca. 30-35 MB groß.
    Gruß, teebeutel

    WAGO, PCE-FWS 20, FS20, Homematic, 868

  7. #7
    Registriert seit
    Oct 2010
    Ort
    HH
    Beiträge
    4,613

    Mit dem RS DB Analyzer lässt sich ziemlich schnell identifizieren, wie die schwarzen Schafe heißen....

    Name:  RS DB Analyzer Beispiel.jpg
Hits: 352
Größe:  195.4 KB
    mit gebücktem Gruss
    Raketenschnecke
    IPS-Projekte und -Tools auf
    www.raketenschnecke.net

  8. #8
    Registriert seit
    Apr 2010
    Ort
    Meppen
    Beiträge
    146

    Hallo Raketenschnecke,

    deinen Analyzer habe ich mir gestern Abend bereits downgeloaded und installiert. Dabai habe ich aber wahrscheinlich einen Fehler gemacht:
    Ich hatte die Original-DB umbenannt. IPS hat dann eine neue erstellt. Ich habe dann deinen Analyzer installiert und gestartet. Es waren auch Werte drin. Dann habe ich IPS beendet und die originale (also die 50GB Datei) Datenbank wieder eingebunden. Jetzt zeigt mir der Analyzer nur noch die Daten vom Test, also nur ein paar Daten.
    Kann ich den Analyzer wieder zurücksetzen oder sollte ich ihn komplett löschen und neu installieren?
    Gruß, teebeutel

    WAGO, PCE-FWS 20, FS20, Homematic, 868

  9. #9
    Registriert seit
    Oct 2010
    Ort
    HH
    Beiträge
    4,613

    Der RS DB Analyzer läuft einmal pro Tag (kurz nach Mitternacht) und macht so etwas wie einen Snapshot von den Daten in der DB.
    Wenn Du morgen reinschaust, hast Du die Werte, die zu Deiner aktuellen DB passen.
    Wenn Du die Historie (mit den daten aus der Test-DB) nicht haben willst, löchst Du am am besten alle .csv-Files im Ordner '...RSDB_Analyzer\csv'. Durch manuelles Starten des Config-Scripts bekommst du dann den Installations-Zustand.
    mit gebücktem Gruss
    Raketenschnecke
    IPS-Projekte und -Tools auf
    www.raketenschnecke.net

  10. #10
    Registriert seit
    Apr 2010
    Ort
    Meppen
    Beiträge
    146

    Cool Zwischenbericht

    Ich geb mal einen kleinen Zwischenstatus:
    Schweren Herzens habe ich letzte Woche die Datenbank umbenannt und so IPS zum Erstellen einer neuen Datenbank gezwungen. Nach einer Woche Logging (ohne große Änderung am Log-Verhalten) hat die neue Datenbank eine Größe von weniger als 9 MB.
    Ich habe dann direkt nach dem umbenennen die defekte DB auf ein anderes Blech gezogen und den Wiederherstellungsbefehl der in der IPS Doku steht ausgeführt.
    sqlite3.exe logging.db.backup .dump | sqlite3.exe logging.db
    ..Es läuft immer noch, mittlerweile seit 7 Tagen.
    Wenn das durch ist versuch ich mal eine Datenverdichtung.
    Wenns denn klappt.
    Dann fehlt mir zwar hinterher 2-3 Wochen aber besser als jetzt, 4 Jahre fehlen mir zur Zeit.


    BTW Gestern hat der Stromnetzbetreiber RWE (Abteilung RWE Metering)bei mir einen Smarten Stromzähler montiert, ich bin einer von 653 Testkunden. Zum Dank wurde mir ein RWE Smarthome Starterset überreicht, damit ich bei mir eine Hausautomation aufbauen kann
    Gruß, teebeutel

    WAGO, PCE-FWS 20, FS20, Homematic, 868

Ähnliche Themen

  1. Datenbank-Logging
    Von CrazyMachines im Forum Skripte, PHP, SQL
    Antworten: 6
    Letzter Beitrag: 18.08.14, 18:37
  2. Logging Datenbank aufräumen
    Von Titus im Forum Allgemeine Diskussion (2.x/3.x)
    Antworten: 5
    Letzter Beitrag: 27.11.12, 12:11
  3. Datenbank Logging funktioniert nicht
    Von BommelPommel im Forum Allgemeine Diskussion (2.x/3.x)
    Antworten: 32
    Letzter Beitrag: 31.05.12, 07:15
  4. Datenbank-Logging in Skript schalten!
    Von WilliDerTiger im Forum Skripte, PHP, SQL
    Antworten: 5
    Letzter Beitrag: 15.05.12, 23:03
  5. Temperaturen Logging Datenbank aufräumen
    Von Franky im Forum Allgemeine Diskussion (2.x/3.x)
    Antworten: 19
    Letzter Beitrag: 08.06.10, 16:57