22.8.2009

Zusammenfassung für die Führungsebene

Der Webserver des AStA hing manchmal. Das ist jetzt hoffentlich nicht mehr so.

Symptome

Wie manche vllt. bemerkt haben ging manchmal der Webserver nicht mehr. Die Symptome für Nutzer waren das der Web Browser auf einmal oder von Anfang an unendlich viel Zeit brauchte um eine Seite zu laden.

Ich hatte bereits kurz zuvor ein Monitoring installiert das spätestens nach 5 Minuten merkte, das was nicht stimmt und eine Mail los schickte. Aufgefallen ist es also direkt. Allerdings war eben ein manueller Eingriff nötig um den Hänger zu beheben.

Lösungsmöglichkeiten

Nachdem klar war das es kein einmaliges Problem ist und es wohl einfach mit dem Upgrade auf Apache 2.2.11 (+ CVE bug fixes + Solaris patches) in Suns Webstack 1.5 zusammen hängt, hab ich in Erwägung gezogen einfach auch alles selbst zu kompilieren um den Fehler zu umgehen.

Ich hatte mich aber dagegen entschieden, weil: - zumindest theoretisch eine feste Zusammenstellung für die es offizielle Unterstützung und auch Service Verträge gibt, die Wartbarkeit für andere (ausser Leuten die sich das sowieso selbst bauen) erhöht. - es Leute im Sun Webstack Team und Apache Team gab, die sehr interessiert an den Ursprüngen des Fehlers waren und für die ich Informationen aus dem hängenden Apache gezogen habe um ihnen die Fehlersuche zu ermöglichen.

Der Weg zur Lösung

Aufgrund des zweiten Punktes hab ich mich auch dagegen entschieden Anstrengungen zu unternehmen um einen automatischen Wiederstart beim Hängen zu veranlassen. Die meiste Zeit über gab es Interessenten die wissen wollte wie denn dies oder jenes aussieht wenn Apache hängt. Und leider konnte ich den Zustand nicht selbst provozieren. Wir waren einige Zeit darauf angewiesen das es mal wieder hängt.

• Siehe: https://issues.apache.org/bugzilla/show_bug.cgi?id=47645

• Siehe: http://opensolaris.org/jive/thread.jspa?threadID=110818

• Siehe: http://forums.sun.com/thread.jspa?threadID=5402863&tstart=0

Irgendwann war dann klar warum es wo hängt und es gab eine Patch Idee. Das war aber noch nicht die Lösung für uns, das hilft nur generell wenn man Apache 2.2.12+ selbst kompiliert und eben selbst die Patches einspielt. Einer von Suns Webstack Team war dann so nett eine Bibliothek zu bauen und mir zu schicken, die die Kernel Aufrufe die Apache falsch interpretiert abfängt und die Rückgabewerte so anpasst, dass Apache das richtige macht.

• Siehe: http://developers.sun.com/solaris/articles/lib_interposers.html

• Siehe: http://getthegood.com/TechNotes/Papers/interpose.html

Ergebnis

Wir können also bei unserer vorgefertigten Lösung bleiben (hoffe ich), bis in 5.5 Monaten wieder eine neue Version von Sun raus kommt. Und Upstream beim Apache Team wird der Fehler wohl auch für alle behoben werden (APR 1.3.9 (?), da der Fehler nicht direkt in Apache steckt, siehe http://apr.apache.org/ ).

Ergänzung zum Ergebnis (22.11.2009)

Wie angekündigt ist der Fehler "upstream" bei Apache behoben worden:

• http://www.apache.org/dist/httpd/CHANGES_2.2.14

  *) SECURITY: CVE-2009-2699 (cve.mitre.org)
     Fixed in APR 1.3.9.  Faulty error handling in the Solaris pollset
     support (Event Port backend) which could trigger hangs in the
     prefork and event MPMs on that platform.  PR 47645.  [Jeff Trawick]

Jetzt fehlt nur noch das wir eines Tages auch auf Apache 2.2.14 oder grösser wechseln. Vermutlich wird das mit dem Update von Sun Webstack passieren.