PREVIEW: LiveConfig v1.7.3

    Ab sofort steht die erste Preview für LiveConfig v1.7.3 zum Download bereit.


    WICHTIG: es gab eine ganze Menge interner Änderungen an einigen Datenstrukturen, daher sollten Sie unbedingt ein Backup der LiveConfig-Datenbank erstellen bevor Sie diese Version testen!


    Wenn der jeweilige Server auch als Mailserver genutzt wird, sollte es nach dem Einspielen des Updates (bzw. bei Neuinstallation: nach Aktivierung der Verwaltung von Postfix/Dovecot) einen neuen Prozess in der Prozessliste geben: lclogparse.
    Dieses Tool wertet das Postfix-Log aus und zählt so alle ein- und ausgehenden Mails aller Accounts. Diese Daten werden alle 15 Minuten im LiveConfig aktualisiert und in der Oberfläche unter "Hosting" -> "E-Mail" in einer neuen Spalte angezeigt ("I/O (24h)").
    Das lclogparse-Tool sollte inzwischen mit jeglicher Log-Rotation zurecht kommen und außerdem extrem sparsam & effizient sein (wir haben hier in rund 4 Wochen Probelauf bei einigen Millionen E-Mails einen konstanten Arbeitsspeicher-Verbrauch von rund 450 kB).


    Weitere Updates dann in Kürze (wir übernehmen gerade schrittweise nach den Änderungen am Core die zwischenzeitlich hinzugekommenen Funktionen).


    Viele Grüße


    -Klaus Keppler

    Ich habe jetzt mal mein Testsystem aktualisiert und hier klappt die I/O Anzeige irgendwie nicht.
    Der lclogparse Prozess läuft und unter /var/lib/liveconfig/smtp.stats tauchen die E-Mail Adressen mit gefüllten Werten auf.
    Nach 15 Minuten zeigt er dann nur 0 bei Weiterleitungsadressen an und bei einem Postfach zeigt er gar nichts an.
    Auch ist die Anzeige der Zahlen jetzt irgendwie sehr rechtsbündig bei den Spalten I/O und E-Mails.



    Im Liveconfig.log sind die letzten Einträge folgende:

    Code
    [2014/05/16 19:58:46.401388] [6536|6552] RRD 'MAIL' sample with duplicate timestamp (1400263117)
[2014/05/16 19:58:56.008645] [6536|6666] Connecting to update.liveconfig.com ([2a01:4f8:bb:c00::2:75]:443)...
[2014/05/16 20:13:53.833842] [6536|6551] RRD 'MAIL' sample with duplicate timestamp (1400264020)


    Grüße
    Björn

    Zitat von bfal

    Der lclogparse Prozess läuft und unter /var/lib/liveconfig/smtp.stats tauchen die E-Mail Adressen mit gefüllten Werten auf. Nach 15 Minuten zeigt er dann nur 0 bei Weiterleitungsadressen an und bei einem Postfach zeigt er gar nichts an.


    Bis die ersten Zahlen auftauchen dauert es immer etwas länger (es muss ja die Differenz zwischen zwei Messungen berechnet werden können). Inzwischen sollten Sie eigentlich erste Zahlen in LC sehen, oder? Mit dem nächsten Update (r2880, s.u.) gibt's im Top10-Report nun auch noch eine Auswertung des Mailversands über alle Kunden.


    Zitat

    Auch ist die Anzeige der Zahlen jetzt irgendwie sehr rechtsbündig bei den Spalten I/O und E-Mails.


    Das ist Absicht (Zahlen wirken rechtbündig aufgeräumter). Die Spaltenüberschrift ist aber derzeit noch linksbündig; mit dem nächsten CSS-Update wird das korrigiert.


    Zitat
    Code
    [2014/05/16 19:58:46.401388] [6536|6552] RRD 'MAIL' sample with duplicate timestamp (1400263117)
[2014/05/16 19:58:56.008645] [6536|6666] Connecting to update.liveconfig.com ([2a01:4f8:bb:c00::2:75]:443)...
[2014/05/16 20:13:53.833842] [6536|6551] RRD 'MAIL' sample with duplicate timestamp (1400264020)


    Solche Meldungen (duplicate timestamp) sollten ca. 30min nach dem Start nicht mehr auftauchen. Falls doch: haben Sie NTP am Laufen?


    Viele Grüße


    -Klaus Keppler

    Das nächste Update (v1.7.3-r2880) steht bereit. Die Änderungen sind insbesondere:

    • Top-10-Berichte können nun auch nach Traffic oder Mails sortiert werden
    • Fehler in RRD-Aggregierung beseitigt
    • LiveConfig-Passwörter werden nun immer mit PBKDF2 gehashed
    • Sicherbeit beim Bearbeiten von Benutzern als "nicht-Admin" verbessert


    Viele Grüße


    -Klaus Keppler

    Hallo Herr Keppler,


    nein Zahlen sehe ich noch nicht, aber auf Ihren Hinweis mit der Differenz hin habe ich mir die smtp.stats noch einmal aus dem letzten Backup geholt und mit dem aktuellen Stand verglichen, hier gab es keine Änderung.
    Wenn ich das richtig sehe müssten die Werte dort doch eigentlich ansteigen. Dann ist mir aufgefallen das ein "/etc/init.d/lclogparse status" hier "failed!" zurückliefert obwohl der Prozess unter ps angezeigt wird. Ich habe den nun gekillt und neu gestartet und schaue mal ob sich jetzt was ändert. Zumindest wird er jetzt als "running!" angezeigt.


    Heute Nachmittag schaue ich dann mal ob mir was angezeigt wird.



    Ach und die Timestamp Meldungen habe ich im 15 Minuten Takt immer noch:


    Code
    [2014/05/19 10:41:22.440822] [6536|6551] RRD 'MAIL' sample with duplicate timestamp (1400488869)
[2014/05/19 10:56:24.583515] [6536|6552] RRD 'MAIL' sample with duplicate timestamp (1400489772)
[2014/05/19 11:11:28.662592] [6536|6553] RRD 'MAIL' sample with duplicate timestamp (1400490675)
[2014/05/19 11:26:30.965505] [6536|6551] RRD 'MAIL' sample with duplicate timestamp (1400491515)
[2014/05/19 11:40:30.911638] [6536|6553] RRD 'MAIL' sample with duplicate timestamp (1400492418)


    Es handelt sich hier um einen OpenVZ Container wo der ntpd Dienst auf dem Host läuft. Ich
    kann hier auch keine Abweichungen in der Uhrzeit feststellen. Ebenfalls hat mein Monitoring
    keine auffälligen Werte aufgezeichnet (offset 0.78 ms, jitter 0.10 ms derzeit).


    Die Top10 Liste finde ich gut. Das wäre eine Frage gewesen aber nun gibt es die ja dann schon. ;)


    Grüße
    Björn


    P.S. Die Aussagen beziehen sich noch nicht auf die Version v1.7.3-r2880

    So, kurze Rückmeldung. Es funktioniert nun, er zeigt die Anzahl der Mails nun an.
    Ich habe inzwischen auch auf die letzte Version aktualisiert.


    Nur die Timestamp Fehler habe ich immer noch ca. alle 15 Minuten.


    Code
    [2014/05/19 13:20:50.742785] [29086|29107] RRD 'MAIL' sample with duplicate timestamp (1400498438)
[2014/05/19 13:35:54.692394] [29086|29107] RRD 'MAIL' sample with duplicate timestamp (1400499341)
[2014/05/19 13:50:56.812466] [29086|29107] RRD 'MAIL' sample with duplicate timestamp (1400500244)
[2014/05/19 14:06:00.945100] [29086|29107] RRD 'MAIL' sample with duplicate timestamp (1400501147)
[2014/05/19 14:21:03.092409] [29086|29107] RRD 'MAIL' sample with duplicate timestamp (1400502050)


    Kann ich das irgendwie näher debuggen? Uhrzeit stimmt zumindest aktuell noch.

    Die Timestamp-Fehlermeldung konnte inzwischen auch aufgeklärt werden: diese tritt nur bei SQLite auf und hängt damit zusammen, dass SQLite keine ordentliche "Transaction Isolation" unterstützt:

    Zitat

    What if a SELECT statement is started and the sqlite3_step() interface steps through roughly half of its output, then some UPDATE statements are run by the application that modify the table that the SELECT statement is reading, then more calls to sqlite3_step() are made to finish out the SELECT statement? Will the later steps of the SELECT statement see the changes made by the UPDATE or not? The answer is that this behavior is undefined. In particular, whether or not the SELECT statement sees the concurrent changes depends on which release of SQLite is running, the schema of the database file, whether or not ANALYZE has been run, and the details of the query.


    (Quelle)


    Die Meldung ist rein informativ (bedeutet also, dass letztendlich alle Daten korrekt verarbeitet wurden) und sollte mit dem nächsten Update verschwinden.

    Ok stimmt, das Testsystem arbeitete mit der SQLite Datenbank. Momentan läuft auch noch alles und Fehler bei der Erfassung sind mir nicht weiter aufgefallen.


    Zwei Sachen habe ich aber noch falls es nicht schon bekannt ist:


    1. Unter Top10 Verträge fehlt die Deutsche Übersetzung. Hier heißt es noch "Show the Top 10 subscriptions with most XX within the last 24 hours:".


    2. Und dort kann man jetzt den Vertrag anklicken erhält aber nur die Fehlermeldung "Nicht gefunden / nicht autorisiert -
    Die gesuchte Seite konnte nicht gefunden werden, oder Sie sind nicht dafür autorisiert."


    Grüße
    Björn

    Die Preview wurde eben aktualisiert - ab sofort steht v1.7.3-r2899 zum Download bereit.
    Die wichtigsten Änderungen sind im Changelog erfasst.


    Wenn nichts größeres dazwischen kommt, wird diese Version am kommenden Montag (09.06.2014) produktiv freigegeben.
    Die nächste Version (v1.7.4) steckt bereits in der Pipeline, Detail dazu dann auch nächste Woche. Danach wird es mit v1.8 ein größeres Update geben (u.a. mit eigenen CSS-Templates).


    Viele Grüße


    -Klaus Keppler

    Guten Abend Herr Keppler,


    die neue WSDL enthält zwar in der Beschreibung die SOAP-Funktion HostingMailboxEdit() aber es gibt in der WDSL keine Elemente.
    Desweiteren erhalte ich seit dem Update auf die 2899 nun von der SOAP die folgende Fehlermeldung:


    Session check failed (SOAP-ERROR: Parsing Schema: element 'urn:LiveConfig:HostingMailboxAdd' already defined)


    Zur Prüfung des Quellcode auf Fehler, habe ich extra die Vorlage "rechnungen.php" zur Überprüfung des Fehlers verwendet.


    Ich vermute es wurde bei der Erweiterung der WSDL Funktion "HostingMailboxEdit" etwas unordentlich gearbeitet.


    Es gibt in der WSDL jetzt 2 Elemente vom Typ "HostingMailboxAdd"



    Und wann gibt es endlich die fehlenden API Funktionen ?


    Zusätzlich ist die SOAP API Funktion "HostingSubscriptionAdd()" für eine MultiServer Bereitstellung unbrauchbar. Nach der Ausführung der Funktion in einer Single Server Umgebung gibt es als Antwort die IP des Webserver zurück. Bei einer MultiServer Umgebung mit der Verteilung der Dienste auf 3 verschiedene Server müssen auch die IPs der 3 Server als Antwort zurückgeliefert werden.


    Vielen dank für Ihr Feedback

    Danke für den Hinweis - da ist tatsächlich etwas schief gelaufen. Ein Update (r2900) steht bereits online.
    Die letzten Änderungen in der WSDL waren bei diesem Build noch nicht eingecheckt. Unsere automatisierten Tests laufen mittels Perl, das hat sich an der doppelten Definition von HostingMailboxAdd() offenbar nicht gestört.
    Um das künftig zu vermeiden, nehmen wir nun auch noch SOAP-Tests mit PHP in unsere Jenkins-Umgebung auf.


    Zitat von solidius

    Zusätzlich ist die SOAP API Funktion "HostingSubscriptionAdd()" für eine MultiServer Bereitstellung unbrauchbar.


    Warum unbrauchbar? Sie können doch die Server, auf denen ein "verteiltes" Hosting deployed werden soll, bei dem Aufruf mit angeben. Funktioniert einwandfrei.


    Zitat

    Bei einer MultiServer Umgebung mit der Verteilung der Dienste auf 3 verschiedene Server müssen auch die IPs der 3 Server als Antwort zurückgeliefert werden.


    Wozu?
    (unabhängig von der Antwort: nehmen wir dennoch gerne mit auf...)

    Hallo Herr Keppler,


    sie haben natürlich Recht :) Bei der Funktion HostingDomainAdd() wird die IP für diese Domain zurück geliefert.
    Aber es gibt momentan keine Funktion mit der man über die API ermitteln kann, welche IP / Hostname der Mail und DB Server hat.


    Daher ist in einem MultiServer deployment eine automatisierte Bereitstellung über die API nicht gerade einfach. Man müsste nun extra hierfür nochmals die Daten der LiveConfig Server im Drittsystem extra vorhalten. Damit man darüber die IP/Name der beiden Server Server z.B. in einer Kundenbenachrichtigung (Setup Mail) zur Verfügung stellen kann.


    Ach und die IP geht nun auch wieder, vielen Dank für das Update. :D

    Zitat von kk

    Wenn nichts größeres dazwischen kommt, wird diese Version am kommenden Montag (09.06.2014) produktiv freigegeben.
    Die nächste Version (v1.7.4) steckt bereits in der Pipeline, Detail dazu dann auch nächste Woche. Danach wird es mit v1.8 ein größeres Update geben (u.a. mit eigenen CSS-Templates).


    Danke für die Info!
    lG Luka

    Die Preview wurde eben noch mal aktualisiert, ab sofort steht v1.7.3-r2907 bereit.
    Die wichtigsten Änderungen sind:

    • Auswahl der IP-Adressen für eingehende SMTP-Verbindungen möglich
    • Deaktivierung von IPv6 für ausgehende SMTP-Verbindungen möglich (wichtig z.B. bei GoogleMail)


    Viele Grüße


    -Klaus Keppler

    Hallo Herr Keppler,


    zur Funktion HostingMailboxEdit würde jetz auch gut die HostingMailboxDelete Funktion ganz gut passen, oder? ;)


    Weiter währe noch eine sicherlich schnell umgesetzte Funktion wünschenswert so dass man checken kann ob die Mail-Adresse bereits vergeben ist oder nicht, ohne sie gleich anlegen zu müssen.


    Update:
    HostingMailboxGet wäre auch nicht falsch, da man den Autoresponder sonst zwischenspeichern muss was nur eine "Flicklösung" wäre! ;)


    Update 2:
    Sehr schade das HostingMailboxEdit nicht der Doku entspricht!
    Durch die Pflichtangabe von "subscription" ist es uns leider nicht möglich ein Ordentliches Plugin für Roundcube zu schreiben, da wir den Kunden schlecht auffordern können die Vertrags-ID in Roundcube zu hinterlegen. In der Doku stehe jedenfalls nicht das "subscription" ein Pflichtfeld ist!


    SOAP-ERROR: Encoding: object has no 'subscription' property


    Viele Grüße

    Zitat von kk


    Wenn nichts größeres dazwischen kommt, wird diese Version am kommenden Montag (09.06.2014) produktiv freigegeben.


    Und oh Wunder es ist Dienstag und kein Update da. Ist ja nicht so das ich wirklich damit gerechnet habe aber warum sagen sie immer noch Termine an wenn sie noch nie einen einhalten konnten? Soll das ein Running Gag sein?

    Zitat von Mogwais

    Und oh Wunder es ist Dienstag und kein Update da. Ist ja nicht so das ich wirklich damit gerechnet habe aber warum sagen sie immer noch Termine an wenn sie noch nie einen einhalten konnten? Soll das ein Running Gag sein?


    Ich vermute einfach das Herr Keppler das Pfingstwochenende nicht bedacht hat! Außerdem sind ja nun noch einige Themen auf den "Tisch" geworfen worden die evtl. noch Platz in der neuen Version finden! Einfach mal locker bleiben, schließlich hat her Keppler geschrieben "wenn nichts größeres dazwischen kommt". ;)

    Das Dumme ist ja das IMMER was dazwischen kommt, ich kreide hm das ja auch nicht an weil ich genau weiss wie sowas ist und es immer anders kommt als man denkt.
    Aber jedesmal nen exakten Termin anzukündigen ist nach dem zehnten mal wo es nicht geklappt hat schon kurios ;)

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden