Beschleunigung der Suchindex-Erstellung

  • App
    WoltLab Suite Forum

    Hallo zusammen,


    bei einem Forum mit ca 2,5 Mio Beiträgen habe ich versucht den Suchindex neu generieren zu lassen. Der Wert von postID ist nach mehreren Imports bei einem maximum von über 15 Milliarden.


    Das führt aus meiner Sicht dazu das der zuständige Worker komplett überfordert ist.


    Folgende Änderung wurde am Worker PostSearchIndexRebuildDataWorker vorgenommen:



    Ergebniss: 2,5 Millionen Posts werden in weniger als 1 Stunde indiziert. Bisher konnte ich keine Fehler bei dieser Vorgehensweise feststellen.

    Uzimaster
    --------------------------------------------
    Si vis pacem, para bellum

  • Die Änderung die du vorschlägst war früher mehr oder weniger so implementiert.
    Dann hat sich jedoch gezeigt dass es auf Systemen ohne großen lücken (bei dir ist ja im schnitt nur jede 6000. ID vergeben) die oben angesprochene Vorgehensweise schneller ist, da hier direkt über den Index die betroffenen posts ermittelt werden können.

    • Official Post

    Hallo,


    um es anders zu sagen OFFSET skaliert in MySQL schlechter als linear und ist daher bei großen OFFSETs unbrauchbar.

  • Gut, dann hilft das nur in meinem Fall :)

    Uzimaster
    --------------------------------------------
    Si vis pacem, para bellum

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!