Spiderliste

SoftCreatR · November 4, 2013 at 5:42 PM

Nabend,

ohne es geprüft zu haben frage ich jetzt einfach mal hier: Teilen sich das WCF1 und das WCF2 die selbe Spiderliste? Ich hätte da gerade ein paar zu melden, die ich in einem WCF1 erwischt habe:

Code

Mozilla/5.0 (Windows; U; Windows NT 6.0; en-GB; rv:1.0; trendictionbot0.5.0; trendiction search; http://www.trendiction.de/bot; please let us know of any problems; web at trendiction.com) Gecko/20071127 Firefox/3.0.0.11




Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)




Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)




rogerbot/1.0 (http://www.moz.com/dp/rogerbot, rogerbot-crawler@moz.com)




checks.panopta.com




Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google (+https://developers.google.com/+/web/snippet/)

Display More

Zudem stellt sich mir die Frage ob es korrekt ist, dass diese Bots als Gäste aufgeführt werden und nicht in der Suchmaschinenroboter-Liste stehen.

**Marcel Werk** · November 4, 2013 at 6:07 PM Official Post

Bitte die Bots im Git als Pull Request vorschlagen.

SoftCreatR · November 4, 2013 at 6:10 PM

Werde ich tun. Aber dennoch wüsste ich gern, ob sowohl das WCF1, als auch das WCF2 die selbe Liste verwenden. Sonst muss ich das ja noch im Bugtracker posten.

Wobei ich deine Antwort eigentlich als ja werten kann.

**Marcel Werk** · November 4, 2013 at 6:13 PM Official Post

Derzeit verwenden WCF1 und 2 nicht die gleiche Liste. Das werden wir aber mit dem nächsten Bugfix-Update ändern.

SoftCreatR · November 4, 2013 at 6:17 PM

Bugfix-Update des WCF1, nehme ich an? Okay, dann poste ich mal die fehlenden Bots bei GitHub

**Marcel Werk** · November 4, 2013 at 7:00 PM Official Post

Ja, richtig.

IICARUS_II · November 4, 2013 at 9:03 PM

Die Liste von WCF1 und WCF2 kann ja nicht zusammen verwendet werden, da sie unterschiedlich aufgebaut sind.
Würde man versuchen die WCF1 Liste beim WCF2 zu verwenden würde man unweigerlich eine Fehlermeldung bekommen.
Betrachtet man sich beide Listen ins einzelnen sollte eigentlich klar werden wieso.

Ich habe mir hier mal die Arbeit gemacht und mir eine eigene Datei(Liste) erstellt damit meine Liste per Crontab abgerufen wird, da mir hier zu viel gefehlt hat.
Hierbei habe ich die Liste die man von KittBlog fürs Admin Tools2 bekommen kann mit der aktuellen Liste von Woltlab GitHub zusammen vereint so dass ich nun alle Spider habe und diese nicht mehr als Gäste herum schwirren.
Die liste werde ich hier mal als Datei mit anhängen, in der Liste habe ich die Bereiche Markiert was von Woltlab ist und was vom Download des KittBlog ist um hier noch nachvollziehen zu können was von wem war.
Wie und was ich genau gemacht habe habe ich hier festgehalten: SpiderList aus dem Admin Tool2(WBB3) im WBB4 mit integrieren!

Fände es auch gut wenn im ACP hierzu eine Option dazu kommen würde wie früher im Admin Tools2 dass eigene Spider hinzugefügt werden könnten und die Liste auch gesichert und neu eingespielt und synchronisiert werden könnte.

@Marcel Werk
Die Liste ist schon komplett fertig umgeschrieben, falls Ihr sie gebrauchen könnt.

Gruß Coolman

vom_see · November 4, 2013 at 9:26 PM

Das wäre doch etwas für @Black Rider der die Spiderliste bis jetzt hervorragend gepflegt hat.

Edit... Da war ich wohl zulangsam... Kommt davon wenn man mit schreiben beginnt und dann weg geht.

IICARUS_II · November 4, 2013 at 9:31 PM

Das selbe habe ich auch gedacht, denn Black Rider hat hier wirklich sehr gut die Liste gehalten was so auch komplett übernommen werden könnte. Ich habe sie nur umgeschrieben, damit sie vom WBB4 eingelesen werden kann und aus zwei Listen nur eine gemacht.

Quote from ciajoe

Edit... Da war ich wohl zulangsam... Kommt davon wenn man mit schreiben beginnt und dann weg geht.

Hast aber sehr lange gebraucht, denn ich habe die Liste am 3. Oktober 2013 bearbeitet und bei mir mit eingebaut... siehe mein Beitrag.

Cafe-Anime · November 4, 2013 at 9:37 PM

richte doch nen pull ein?

IICARUS_II · November 4, 2013 at 9:50 PM

Ein Plugin wie aus dem Admin Tools2 müsste jemand machen der sich damit besser auskennt, meine Kenntnisse reichen da leider nicht ganz aus.

Gruß Coolman

Black Rider · November 4, 2013 at 9:56 PM

@Michael Ils meint, dass du auf GitHub einen Pull Request einreichen sollst, der die Spider hinzufügt.
Denn das ist das Positive: Durch die öffentliche Entwicklung kann jeder durch einen Pull Request auffallende Spider selbst eintragen.

IICARUS_II · November 4, 2013 at 10:38 PM

Alles klar, hatte ich dann falsch verstanden, danke habe ich nun gemacht.

Nils · January 30, 2016 at 3:47 PM

Ist es denn möglich, die wcf1_spider Tabelle im WBB3 um eigene EInträge manuell zu ergänzen oder wird das zu Problemen führen?

scy · January 30, 2016 at 6:26 PM

woltlab.com/pluginstore/file/21/

Einfacher geht es damit.

Participate now!