Wie Twitter unseren Kurz-URL-Server crashte

Zugegeben, der Titel ist etwas irreführend. Nicht Twitter allein hat dafür gesorgt, dass unser Server kurzfristig überlastet war. Neben dem Twitterbot haben auch UnwindFetchor, TweetmemeBot, Twisted PageGetter, real-url.org, Voyager und andere den Server überlastet. Wenn zig Anfragen pro Sekunden eingehen, kann das einen virtuellen Server schon aus der Fassung bringen.

Was war passiert. Spammer hatten auf gentleurl.net eine Menge Kurz-URLs generiert und dann über diverse Benutzerkonten auf Twitter gepostet. Jede auf Twitter gepostete URL wird sofort von einer zweistelligen Zahl Bots besucht. Dabei wird ein HEAD Request gemacht, um diverse Informationen zu erhalten. real-url.org ermittelt zum Beispiel die richtige URL, die sich hinter einer Kurz-URL versteckt. Weiß der Fuchs, was die anderen Dienste mit den Informationen anstellen.

Richtig unangenehm ist nur, dass die Bots alle nicht besonders nett sind. Denn statt sicher zu stellen, dass der Server nicht durch die Masse der eigenen Anfragen in die Knie gehen, hämmerten die Bots ohne Unterlass und Pause auf den Server ein. Bei mehreren Tausend URLs, die alle über einen sehr kurzen Zeitraum bei Twitter gepostet wurden, ist das dann nicht mehr lustig.

Abhilfe schaffte dann nur noch, diese Bots auszusperren, Firewall und .htaccess sei Dank.

Am Ende waren es dann rund 55.000 Hits in einem Zeitraum von fünf Stunden. Am "fleißigsten" war der UnwindFetchor mit 33,890 Hits, gefolgt von Twisted PageGetter und Voyager mit jeweils rund 8.000 Hits. Nachdem wir dann die diversen Bots gesperrt haben, kamen dann nochmals knapp 65.000 Zugriffe zusammen, die aber zum Glück ins Leere liefen und keinen Schaden mehr verursachten.