Problem Wartung mit Dateianhänge aktualisieren

  • Affected App
    WoltLab Suite Forum

    Habe ein Problem wo ich nicht weiter komme.
    Und zwar hat es jetzt auch nichts direkt mit dem WBB4.1 zu tun, der selbe Fehler kommt auch mit der Wartung mit der Forensoftware 4.0.

    Wenn mit beiden Versionen die Dateianhänge unter Wartung aktualisiert werden bekomme ich diese Fehlermeldung.

    Wie auf dem Bild zu sehen ist, wird nichts konkretes dazu angezeigt. Ich kann dann nur auf das X Klicken und die Wartung bleibt bei 34% hängen.
    Es gibt auch keine Fehlermeldung unter Protokoll im Forum und in der Error.Log habe ich nur diesen Eintrag.

    Code
    [Sun Mar 15 16:33:38.107476 2015] [fcgid:warn] [pid 28831] [client xxx.xxx.xxx.xxx:xxxxx] mod_fcgid: stderr: PHP Parse error:  imagecreatefromjpeg(): gd-jpeg, libjpeg: recoverable error: \b, referer: http://www.meineDomain.de/acp/index.php?rebuild-data/&
    [Sun Mar 15 16:33:38.107536 2015] [fcgid:warn] [pid 28831] [client xxx.xxx.xxx.xxx:xxxxx] mod_fcgid: stderr:  in /var/www/xxxx/wcf/lib/system/image/adapter/GDImageAdapter.class.php on line 84, referer: http://www.meineDomain.de/acp/index.php?rebuild-data/&

    Es wird also nur der Arbeitsschritt bemängelt. Es spielt auch keine Rolle ob FastCGI verwendet wird oder hierzu auf CGI oder Apache_Modul umgestellt wird. Genauso kommt der Fehler auch unter nginx.
    Die Zeile 84 besagt nur die Bearbeitung von jpg Dateien.
    $this->image = imageCreateFromJpeg($file);

    Ich vermute hier eine defekte Bilderdatei eine Datei die nicht ausgelesen werden kann, nur wie kann man nun diese besagte Bilderdateien unter zig Tausende von Bilder finden?
    Es handelt sich hierbei um unser zweiter Forum was ich heute mit einem Update auf 4.1 umstellen wollte.

    Mein erster Forum hat diesen Fehler nicht, hier klappt soweit alles gut.
    Bin jeden Hinweis sehr dankbar.

    Gruß Coolman

  • So ich konnte die defekte Bilderdatei ermitteln.
    Zunächst mal hatte ich es auch mit einem Test Import versucht und der import selber verlief fehlerfrei. Jedoch hatte ich dann beim Aktualisieren der Dateianhänge genau den selben Fehler wieder.
    Ich habe daher die letzten 5 Stunden damit verbracht die Datei herauszufinden und dass war die Nadel im Heuhaufen suchen.

    Zunächst musste ich den Fehler eingrenzen, so musste ich Gruppenweise im Verzeichnis attachments immer mehrere Verzeichnisse löschen und immer wieder eine Wartung mit den Dateianhänge starten.
    Irgendwann konnte ich dann auch das Verzeichnis raus finden wo irgendwo die Fehlerhafte Datei mit vorhanden war.

    Natürlich sind in solch ein Verzeichnis dann immer noch sehr viele Dateien vorhanden, daher musste ich hier auch Gruppen mässig immer mehrere Dateien löschen bis die Wartung ohne Fehler durchlief und dass bis ich die einzelne Datei dann hatte.

    Natürlich sind dann keine Dateinamen vorhanden, sondern solche Inhalte: 2691-57c811c5e057a2138325aaad81a28c497439976b
    Das war aber nicht schlimm, denn damit konnte ich in der Datenbank suchen und bekam dann die Tabelle worin dann der Dateiname mit vorhanden war.
    Mittels Dateiname konnte ich dann im ACP nach dem Bild und dem dazugehörigem Beitrag und Thema suchen.

    Das Bild im Beitrag gelöscht führte schon zum Erfolg.
    Das Bild konnte ich auch auf meinem Rechner aufrufen so dass es auch angezeigt wurde.
    Es konnte aber trotzdem nicht erneut hoch geladen werden, so dass ich dann einfach vom Bild ein neues Bild per Screenhot machte und dieses Bild dann neu hoch lud.
    Der Fehler ist damit dann auch behoben und sowohl im WBB4.1(Testforum) und auch auf dem aktuellem 4.0 Forum konnte ich nun die Wartung Fehlerfrei ausführen.

    Morgen kann ich dann das Update aufspielen, denn der Rest verlief im Testforum ohne Probleme.

    Gruß Coolman

  • Hi,
    danke für Deine ausführliche Beschreibung. Das gleich Problem habe ich auch. Werde mal gucken wie ich das mache, dank Deiner Beschreibung sollte das aber kein Problem darstellen.


    Gruss Norman

  • Wichtig ist dass du dass ganze auf einem Testforum machst, wo du dein Forum 1:1 wiederherstellen tust.
    Denn am ende wenn die defekte Bilderdatei ermittelt wurde erstellt man zuvor Backups von DB und von den Files und löscht einfach die defekte Datei direkt im Beitrag was hiermit ermittelt worden ist.
    Die Backups sind wichtig falls was schief laufen sollte und die ganzen Tests sollten auch nur auf dem Testforum stattfinden.

    Dort muss auch das Verzeichnis kopiert werden, damit so hin und her verschoben werden kann, da man ja dass ganze langsam eingrenzen muss.

    Noch was, dass ganze hatte aber nichts mit defekten Bilder was zu tun die nicht richtig dargestellt werden, denn dass Bild selber wurde komischerweise im Beitrag richtig angezeigt und ich konnte es auch abspeichern.
    Ein Virus Test ergab kein Ergebnis, also war alles sauber nur erneut hochladen in einem Beitrag scheiterte mit dem Hinweis dass aus ein unbekannter Grund die Datei nicht hoch geladen werden konnte.

    Ich hatte auch den Wartungsvorgang in der Entwicklerkonsole mit am laufen und als der Fehler kam, war auch ein 500er Error mit der oben eingestellten Fehlermeldung aus der Error-Log vorhanden. Im Forum wurde aber noch nicht mal mit dem Debugmodus ein Fehlercode angezeigt, immer nur dass was auf dem Bild zu sehen ist.

    Ich habe dann damit das Bild im Beitrag nicht fehlt einfach ein Screenhot von dem Bild gemacht und als neue Datei dann neu hochgeladen.
    Auf meinem Rechner wurde die Datei auch ohne Probleme angezeigt.

    Gruß Coolman

  • Hi,
    leider ist es bei mir mehr als eine Datei. Es wäre echt interessant zu wissen woran es liegt? Vielleicht kann man dafür auch ein Plugin (Wartungstool) entwerfen welches diese Löschungen vornimmt.?


    Gruss Norman

  • Ich habe das Problem auch. Momentan lösche ich alle Bildverzeichnisse auf dem Server, die zuletzt bearbeitet wurden nachdem ich sie zuvor gesichert habe. und versuche es immer wieder neu. Inzwischen komme ich immerhin auf etwa 23 % bei etwa 3 % gelöschten Bildverzeichnissen. Bei mir scheinen es also weit mehr als 100 Bilder zu sein, die im Forum zwar vorhanden sind und sich durch einen Klick auf die Bildurl auch aufrufen lassen, von denen die Forensoftware aber kein Vorschaubild erzeugen kann oder will.
    Vielleicht ist die Software zu wählerisch bzw. zu restriktiv eingestellt, so dass die Erzeugung der Vorschaubilder sich immer aufhängt und es nicht weiter geht. Einfacher wäre es, wenn die Software bei problematischen Bildern einfach kein Vorschaubild erzeugen würde und mit dem nächsten Bild weitermacht. So hätte ich bei nur etwa 200 oder 500 von 60.000 Bildern kein Vorschaubild, der Rest würde aber funktionieren. Wenn Woltlab hier so oft von Kunden auf diesen Fehler hingewiesen wird, verstehe ich nicht, wieso es da noch keine Lösung gibt. In wbb3 gab es mit allen Bildern nie Probleme und erst bei der Migration auf wbb 4.1.8 haben viele Kunden den Salat.

    Also, ihr Spezialisten von Woltlab, woran kann es noch liegen? Gibt es inzwischen eine einfache Lösung, die auch halbintelligente Nutzer problemlos anwenden können?

    Lasst uns doch nicht so im Stich.... ;( ?(

  • Wurde dieses Phänomen schon mal als Fehler gemeldet? Nur dann schaut sich mit Sicherheit ein WL-Entwickler die Angelegenheit an.


    Gruß norse

    Zugang zu meinen Arbeiten und dem dazugehörigen Support bekommt Ihr bei Interesse hier und hier.

  • Nein, habe kein SSH und auch nicht genug Ahnung. Ich lese immer, von der Kommandozeile aus starten, aber was für eine Kommandozeile und wo finde ich diese? Ich kenne nur die Kommandozeile von DOS.

    Ich betreibe eine 1 TB Server mit 14 Wordpressinstallationen und dem Forum in WBB3. Bisher wusste ich mir immer zu helfen, aber hier weiß ich nicht mehr weiter. So ein Mist, ich überlege schon das WBB3 neu aufzusetzen und von dem alten WBB3 ins Neue umzuziehen. Das alte WBB3 verursacht seit über einem Jahr täglich ein bis zwei 250 mb große Coredateien, die ich immer löschen muss. Ich denke, entweder ist es ein unerkannter Fehler in der Datenbank oder das WBB3 arbeitet nicht optimal mit meinem Server unter PHP5.4 zusammen.

    Ich bin inzwischen so genervt, dass ich überlege, nach mywbb oder zu einer anderen, kostenlosen Forensoftware umzuziehen. Bei Woltlap kostet inzwischen alles sehr viel Geld, die lassen sich alle guten Plugins extra bezahlen. Und dann nach 12 - 18 Monaten gibt es neue Versionen, die auch neu bezahlt werden müssen. Aber viele Sachen funktionieren nicht richtig und niemand scheint sich darum zu kümmern. Der Kunde muss zahlen und sich mit vielen Problemen herumschlagen wie ein Betatester, Hilfe gibt es anscheinend nicht. Denn wenn Woltlab dieses Problem hier seit Monaten ignoriert, zeigt es doch nur Eines: Kommerz geht vor Kundenfreundlichkeit. Kunden sollen Zahlen und wieder zahlen, werden aber mit den meisten Problemen allein gelassen.

    Was waren das noch für Zeiten, als man dort einfach anrufen und mit einem Spezialisten reden konnte, der irgendwie immer eine Lösung fand. Damals war fast alles kostenlos, bis auf die 25 € für die Forensoftware. Plugins in Massen, alle funktionierten und waren kostenlos oder für ein paar € zu haben...

  • Ist Dir nicht bewusst, dass Hilfeanfragen nicht grundsätzlich vom Hersteller gesichtet und bearbeitet werden? Ich glaube zwar auch nicht dran, dass es diesbezüglich noch Änderungen am WBB 3 geben wird, aber wie bereits oben gesagt, verstehe ich die Kritik an der "Inaktivität" des Herstellers nicht, wenn ein vermeintlicher Fehler hier im Hilfebereich beschrieben wird und dann auch noch Ergänzungen bezüglich einer deutlich älteren Version hinzukommen.


    Gruß norse

    Zugang zu meinen Arbeiten und dem dazugehörigen Support bekommt Ihr bei Interesse hier und hier.

  • @'mipu

    Ja, so in etwa habe ich mir das auch gedacht. Ich werde das versuchen, wenn ich die Probleme mit den Vorschaubildern im WBB4 nicht lösen kann. Einfach WBB3 neu installieren und die Daten per Importer rüber ziehen. Danach vorsichtig die wichtigsten Plugins, eins nach dem Anderen installieren und sehen, was passiert. Ansonsten versuche ich mal eine andere Forensoftware, sofern es einen Importer für das WBB3 gibt, der funktioniert.

    @'norse

    Die ältere Version ist mir doch egal, wenn die neue Version, also das WBB4 funktioniert. Das Problem ist WoltLab bekannt, es wurde schon mehrfach gemeldet. Und wenn die hier in ihr eigenes Forum nicht rein schauen würden, dann ließe das sehr tief blicken.
    Ich vermute, dass der Editor Tiny oder eben die Software, welche die Tumbnails erzeugt, etwas damit zu tun hat. Die ist wahrscheinlich nicht ok oder zu empfindlich, sobald eine Bilddatei in jpeg auch nur geringste Abweichungen von Standard hat.

  • Nein, habe kein SSH und auch nicht genug Ahnung. Ich lese immer, von der Kommandozeile aus starten, aber was für eine Kommandozeile und wo finde ich diese? Ich kenne nur die Kommandozeile von DOS.

    Mehr konnte ich auch nicht und das reicht auch, wenn man die Anleitung nutzt, die ich dir oben verlinkt habe. Mehr als cd Befehle und die, die in der Anleitung stehen, brauchst du nicht. Wie du zu deinem SSH User kommst, weiß dein Hoster. Das musste ich mir auch erst ansehen und ich hab es jetzt zum ersten mal gemacht.

    Wenn ich hier immer höre, wie toll doch das wbb3 war, dann habe ich da wohl echt was verpasst ;) .

    Liebe Grüße
    Susi

  • Wenn Core-Dateien in deinem Documentroot liegen dann stammen diese von einer Fehlkonfiguration des Servers. Core Dateien sind Speicherdumps von gecrashten Prozessen. Diese sollten standardmässig innerhalb /var/log/ liegen.

    Wenn Bilder nicht aktualisiert werden können, dann sind sie entweder komplett defekt oder so groß, dass das Speicherlimit einfach nicht ausreicht. Bei großen Bildern empfiehlt es sich ImageMagick zu verwenden, sofern dies auf dem Server verfügbar ist. Das waren bisher immer die Probleme wenn ein Vorschaubild nicht erzeugt werden konnte.

  • Ja Andrea, ich verstehe deine Beschreibung des Problems. Aber die betreffenden Bilder sind maximal 500 kb bei max 1200 x 1600 Pixel groß. Das sind aber nur rund 100 Bilder. Der Rest ist max 260 kb groß. Und ich bin mit all diesen Bildern schon 4 x umgezogen und habe unter wbb3 auch schon mindestens 6 x die Anzeigen der Bilder aktualisiert, bisher immer ohne jegliche Probleme. Nur in WBB4 klappt das diesmal nicht. Da die Server immer besser, schnelle und leistungsfähiger geworden sind - 2007 1 Kern 50 gb Speicher über 2010 2 Kerne 300 gb Speicher bis 2015 6 Kerne 1 TB Festplattenspeicher sollte doch heute alles eher besser und schneller ablaufen als früher.

    Da die gesamte Migration völlig problemlos abgelaufen ist und nur die Erzeugung der Tumbnails Probleme macht, denke ich es liegt an einem, wenn auch noch so kleinen Fehler in der Software, welche die Tumbnails erzeugt. Immerhin berichten hier im Forum seit Oktober 2014 schon sehr viele Nutzer von WBB4 über dieses Problem. Betroffen sind anscheinend nur die, die viele Bilder im Forum eingebunden haben.

    Imagemagick würde ich verwenden, wenn ich wüsste wie ich es schaffe, es so einzubinden, dass ohne wochenlange Arbeit alle 60.000 Bilder wieder als Vorschau im Forum auftauchen. Aber wie das funktionieren soll weiß ich nicht. Ich finde auch nirgends im Netz eine Anleitung dazu, wie das im WBB4 funktionieren soll.
    Besser wäre es, Woltlab würde hier nachbessern um nicht nur Neukunden, sondern auch die alten Fans der ehemals so wunderbaren Forensoftware von Woltlab zufrieden zu stellen. Seit 2006 benutze ich WBB2 und seit 2009 WBB3 und es gab nie Probleme. Erst in den letzten 3 Jahren, als Woltlab zu kommerziell wurde, gibt es zunehmend Probleme. Wobei ich sagen muss, das WBB4 gefällt mir und meinen fast 3000 Usern im Forum. Bekomme ich es aber nicht hin, dass die Vorschaubilder ordentlich angezeigt werden, werde ich mich für die Zukunft nach einer Alternative umschauen müssen. Tolles Design und tolle Funktionen allein bringen nichts, wenn es viel Geld kostet und trotzdem nicht richtig funktioniert.

    Sorry WoltLab, aber so sehe ich das momentan...

  • Imagick wird ganz normal auf dem Server installiert (per apt-get, yum etc.) inkl. der PHP-Erweiterung. Dann brauchst du im WBB 4 nur noch die Bibiliothek aktivieren anstatt der GD-Bibiliothek. Konfiguriert muss nichts weiter werden.

    Schick mir per Ticket entsprechenden Zugang zum Forum, Server und phpMyAdmin, dann schaue ich mir das Problem mal an.
    https://www.woltlab.com/ticket-add/

  • Wenn Bilder nicht aktualisiert werden können, dann sind sie entweder komplett defekt oder so groß, dass das Speicherlimit einfach nicht ausreicht. Bei großen Bildern empfiehlt es sich ImageMagick zu verwenden, sofern dies auf dem Server verfügbar ist. Das waren bisher immer die Probleme wenn ein Vorschaubild nicht erzeugt werden konnte.

    Hallo Andrea,

    das ist nicht die Ursache.
    Ich habe selber mit der 3.1 -> 4.x Umstellung an diesem Punkt GANZ ERHEBLICHE Probleme gehabt, zumal ich 146.000 Attachments habe.

    Das Problem liegt an alten Uploads, die mit älteren PHP Versionen/IM gemacht wurden.
    Ich erinnere leider nicht mehr, welche Kombi dazu führte, aber es war im Grunde eine ungünstige Kombination einer Einstellung der PHP.ini und der "falsche" Art der alten Woltlab Software den File_GetContent zu handlen und an IM durchzureichen. Die alte Methode führte dann u.U. zu Headercorruptions und/oder falschen EOF-Markern, welche das alte IM allerdings "gefressen" hat, neuere Versionen hingegen nicht mehr.

    Der eigentliche Fehler am Importer ist, dass er entsprechende "Low Level" Fehler der IM Lib nicht zurückgibt und daher mit einem "undefined" antwortet.

    Ich habe mir den Importer daher umgeschrieben und ein Textfile vom Importer erzeugen lassen, auf welchem Attachment GENAU er derzeit arbeitet.
    Hat er dann einen Fehler geschmissen, konnte ich aus diesem Logfile auslesen, welches Attachment genau den Fehler verursacht hat und habe es dann via "mogrify" repariert.
    Wird mit Mogrify ein File bearbeitet (ein Kompressionsdurchlauf von 1% reicht bereits), wird der Header im Ausgabefile neu geschrieben und damit "repariert".

    War eine SAUARBEIT....

    Die Lösung des Importers wäre, bei Bildtypen automatisch einen Repairversuch zu machen, indem der Importer bei einer Exception einen Mogrify-Run anbietet:
    "Attachment #234 konnte nicht übernommen werden. Bei dem Attachment handelt es sich gem. Dateiinfo um ein Bild. Soll eine automatische Reparatur versucht werden?"

  • Schließ Dich doch bitte angesichts dieses sehr konkreten Hinweises mal mit @TimWolla kurz, der ist nämlich für die Importer zuständig.


    Gruß norse

    Zugang zu meinen Arbeiten und dem dazugehörigen Support bekommt Ihr bei Interesse hier und hier.

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!