Herausgeber und Werbetreibende stehen vor der Herausforderung, den Anstieg des Bot-Verkehrs, der manchmal auch als nicht-menschlicher Verkehr bezeichnet wird, zu bewältigen.
Laut einer Studie des Datensicherheitsdienstleisters Barracuda Networks waren im ersten Halbjahr 2021 fast zwei Drittel des weltweiten Internetverkehrs auf Bots zurückzuführen. Bösartige Bots machten fast 40 % des gesamten Datenverkehrs aus.
Bot-Verkehr ist ein wesentlicher Bestandteil des digitalen Werbebetrugs , dessen Kosten voraussichtlich von 35 Milliarden US-Dollar im Jahr 2018 auf 100 Milliarden US-Dollar im Jahr 2023 steigen werden .
Vor diesem Hintergrund haben wir versucht, in diesem Artikel einige wichtige Fragen zum Bot-Verkehr zu beantworten, darunter, was er ist, was er tut und wie man ihn blockiert/entfernt.
Was ist Bot-Verkehr?
Bot-Traffic beschreibt jeglichen nicht-menschlichen Verkehr, der eine Website besucht. Unabhängig davon, ob es sich bei der Website um eine äußerst beliebte Nachrichtenseite oder ein kleines, neu veröffentlichtes Startup handelt, wird die Site im Laufe der Zeit zwangsläufig von einer bestimmten Anzahl von Bots besucht.
Obwohl der Begriff Bot-Verkehr oft fälschlicherweise als von Natur aus schädlich angesehen wird, ist dies nicht immer der Fall. Es besteht kein Zweifel daran, dass ein Teil des Bot-Verkehrs bösartig ist und sich negativ auf Google Analytics-Daten auswirken kann. Diese Webcrawler können zum Credential Stuffing, Data Scraping und in einigen Fällen sogar zum Starten von Distributed-Denial-of-Service-Angriffen (DDoS) verwendet werden.
Es gibt jedoch legitime Bots, die für den Betrieb bestimmter Webdienste wie Suchmaschinen und digitale Assistenten unerlässlich sind. Daher müssen digitale Herausgeber ihre Analysedaten nutzen, um zwischen menschlichem Verhalten und den guten, schlechten und hässlichen Aspekten des Bot-Verkehrs zu unterscheiden.
Arten von Bots, vor denen Sie sich in Acht nehmen sollten
Wie bereits erwähnt, sind für den Betrieb und die optimale Leistung von Suchmaschinen und digitalen Assistenten bestimmte Bots erforderlich. Bestimmte Suchmaschinen-Bots sind jedoch ausdrücklich darauf ausgelegt, Websites und Benutzererfahrung nicht zu schädigen.
Zu den Arten von Bot-Verkehr, vor denen Sie sich in Acht nehmen sollten, gehören:
Klick-Bots
Klickbots, die beim Klick-Spamming eingesetzt werden, führen betrügerische Anzeigenklicks aus. Für die meisten Web-Publisher, insbesondere diejenigen, die Pay-per-Click-Anzeigen (PPC) verwenden, gilt dies als der schädlichste Bot-Typ. Dies liegt daran, dass Klickbots die Datenanalyse verfälschen und den Webverkehr replizieren, wodurch das Werbebudget ohne Nutzen aufgezehrt wird.
Bots herunterladen
Ähnlich wie Klick-Bots beeinträchtigen auch Download-Bots echte Daten zur Benutzerinteraktion. Anstatt jedoch die Anzahl der Anzeigenklicks zu beeinflussen, erstellen sie eine gefälschte Download-Anzahl. Dies ist besonders relevant, wenn ein Herausgeber einen Marketing-Trichter wie den Download eines kostenlosen E-Books verwendet. Download-Bots erstellen einen gefälschten Download, was zu falschen Leistungsdaten führt.
Spam-Bots
Spambots, auch als Formular-Ausfüll-Bots bekannt, sind die am häufigsten vorkommenden Bots. Der Zweck eines Spambots besteht häufig darin, Kontaktinformationen wie E-Mail-Adressen und Telefonnummern abzugreifen, gefälschte Benutzerkonten zu erstellen oder gestohlene Social-Media-Konten zu betreiben. Sie stören auch die Benutzerinteraktion durch die Verbreitung unerwünschter Inhalte, wie zum Beispiel:
- Spam-Kommentare, einschließlich Empfehlungs-Spam
- Phishing-E-Mails
- Website-Weiterleitungen
- Negative SEO gegenüber Mitbewerbern
Spionagebots
Spybots werden so genannt, weil sie genau so agieren – nämlich als Spione. Sie stehlen Daten und Informationen, wie etwa E-Mail-Adressen von Websites, aus Chatrooms, sozialen Netzwerken und Foren.
Scraper-Bots
Scraper-Bots besuchen Websites mit der alleinigen Absicht, Inhalte von Herausgebern zu stehlen. Scraper-Bots können eine echte Bedrohung für ein Unternehmen und seine Webseiten darstellen. Sie werden von Scrapern von Drittanbietern erstellt und von Geschäftskonkurrenten eingesetzt, um wertvolle Inhalte wie Produktlisten und Preise zu stehlen, die dann zweckentfremdet und von Konkurrenz-Websites veröffentlicht werden.
Betrüger-Bots
Betrügerische Bots imitieren menschliches Verhalten, indem sie als echte Website-Besucher auftreten. Sie versuchen, Online-Sicherheitsmaßnahmen zu umgehen und sind am häufigsten für DDoS-Aktivitäten verantwortlich.
Was ist guter Bot-Verkehr?
Während es sich bei den oben genannten Beispielen zweifellos um Fälle von schädlichem Bot-Verkehr handelt, gibt es doch auch einige Beispiele für guten Bot-Verkehr.
Die folgenden Bots sind legitim und bieten hilfreiche Lösungen für Websites und Anwendungen.
Suchmaschinen-Bots
Suchmaschinen-Bots sind die offensichtlichsten und bekanntesten der „guten“ Bots. Suchmaschinen-Bots durchsuchen das Web und helfen Websitebesitzern dabei, ihre Websites in den Suchergebnissen von Google, Yahoo und Bing aufzulisten. Diese Bots sind hilfreiche SEO-Tools .
Überwachungsbots
Überwachungsbots helfen Herausgebern dabei, sicherzustellen, dass ihre Website intakt und zugänglich ist und gleichzeitig Höchstleistungen erbringt. Überwachungsbots pingen die Site automatisch an, um sicherzustellen, dass sie noch online ist. Wenn etwas kaputt geht oder die Site offline geht, wird der Herausgeber automatisch benachrichtigt, was diese Bots für Websitebesitzer sehr nützlich macht.
SEO-Crawler
SEO-Crawler sind Software, die eine Website und ihre Konkurrenten abrufen und indizieren, um Daten und Analysen zu Seitenaufrufen, Benutzern und Inhalten bereitzustellen. Webadministratoren können diese Berichte dann verwenden, um ihren Inhalt zu planen und ihren Empfehlungsverkehr, ihre Suchsichtbarkeit und ihren organischen Verkehr zu verbessern.
Copyright-Bots
Copyright-Bots durchsuchen das Internet nach urheberrechtlich geschützten Bildern, um sicherzustellen, dass niemand urheberrechtlich geschützte Inhalte ohne Erlaubnis verwendet.
Was ist schlechter Bot-Verkehr?
Im Gegensatz zu den guten Bots, die wir gerade behandelt haben, kann bösartiger Bot-Verkehr Ihrer Website großen Schaden zufügen und großen Schaden anrichten, wenn er nicht kontrolliert wird. Dies kann in Form von falschem oder Spam-Verkehr oder in Form von weitaus störenderem Verkehr geschehen, beispielsweise durch Anzeigenbetrug.
DDoS (Denial of Service)-Netzwerke
The DDoS bot has to be one of the oldest and nastiest bots out there.
Diese als Distributed-Denial-of-Service-Bots bezeichnete Software wird auf den Computern ahnungsloser Opfer installiert und dient dazu, eine bestimmte Website oder einen bestimmten Server lahmzulegen.
DDoS-Angriffe wurden in der Vergangenheit für erheblichen finanziellen Schaden verantwortlich gemacht. Der Netzwerksicherheitsdienstleister Corero schätzt, dass ein solcher Angriff in den USA durchschnittlich rund 218.000 US-Dollar kostet .
Web Scraper
Web scrapers scrape webpages for valuable data such as email addresses and contact information.
Unter Umständen können sie Texte und Bilder von Websites stehlen und diese ohne Erlaubnis auf anderen Websites oder Social-Media-Profilen wiederverwenden.
Klickbetrugs-Bots
Es gibt zahlreiche ausgeklügelte Bots, die bösartigen Bot-Verkehr ausschließlich für bezahlte Werbung generieren. Im Gegensatz zu Bots, die unerwünschten Website-Verkehr generieren, betreiben diese Bots Anzeigenbetrug.
Wie der Name schon sagt, führt dieser nicht-menschliche Datenverkehr zu Klicks auf bezahlte Anzeigen und kostet Werbetreibende jedes Jahr Milliarden von Dollar. Da dieser Datenverkehr häufig als legitimer Datenverkehr getarnt ist, haben Publisher viele Gründe, Bot-Erkennungstools einzusetzen, um den illegalen Datenverkehr auszusortieren.
Schwachstellenscanner
Various malicious bots exist to search millions of websites for vulnerabilities and report them to their creators.
Im Gegensatz zu echten Bots, die den Websitebesitzer benachrichtigen, sind diese bösartigen Bots darauf ausgelegt, Informationen an Dritte zu senden, die diese Informationen verkaufen oder zum Hacken der Websites verwenden können.
Spam-Bots
Spam-Bots sind darauf ausgelegt, vom Ersteller des Bots erstellte Nachrichten im Kommentarbereich einer Website zu hinterlassen. Diese Bots müssen Konten erstellen. Obwohl CAPTCHA-Tests darauf ausgelegt sind, softwaregesteuerte Kontoerstellungen herauszufiltern, sind diese Tests nicht immer erfolgreich.
Welchen Einfluss hat Bot-Verkehr auf Websites?
Wichtig zu wissen ist, dass die meisten Skripte und Programme darauf ausgelegt sind, dieselbe Aufgabe mehrfach auszuführen. Der Ersteller des Bots möchte die Aufgabe zweifellos so schnell wie möglich erledigen, aber das kann viele Probleme für Ihre Website verursachen.
Bot-Verkehr kann Unternehmen effektiv ruinieren, wenn sie nicht lernen, Bot-Verkehr zu identifizieren, zu verwalten und zu filtern. Besonders anfällig sind Websites, die auf Werbung angewiesen sind, neben Websites, die Produkte und Waren mit begrenztem Bestand verkaufen.
Bei Websites, auf denen Werbung läuft, können Bots, die auf der Website landen und auf verschiedene Seitenelemente klicken, gefälschte Anzeigenklicks auslösen. Dies wird als Klickbetrug bezeichnet und kann zwar zunächst die Werbeeinnahmen steigern , doch sobald Online- Werbenetzwerke den Betrug erkennen, führt dies normalerweise dazu, dass die Website und der Eigentümer aus ihrem Netzwerk verbannt werden.
Bei E-Commerce-Sites mit begrenztem Warenbestand können Warenhortungs-Bots den Shop praktisch lahmlegen, indem sie die Einkaufswagen mit Tonnen von Waren füllen und diese so für echte Käufer unzugänglich machen.
If a bot requests information from your site regularly, it can cause it to slow down. This means that the site will be slow for everyone who visits it, which can cause significant issues for an online business. Too much bot traffic can take your entire website offline in severe circumstances.
Glücklicherweise passiert dies nur in den schwerwiegendsten Fällen; in den meisten Fällen sind die Auswirkungen des Bot-Verkehrs auf Ihre Website gering. Wenn Ihre Website viel nicht autorisierten Bot-Verkehr empfängt, können Sie mit folgenden Dingen rechnen:
- Mehr Seitenaufrufe
- Hohe Bandbreitennutzung
- Fehlerhafte Google Analytics-Berichte
- Die Konvertierung nimmt ab
- Spamnachrichten
- Längere Ladezeiten
- Erhöhte Absprungrate
How to Identify Bot Traffic (In Google Analytics & Other Tools)
Da wir uns in eine zunehmend technologiegetriebene Zukunft bewegen, werden die Crawler-Bots der Suchmaschinen von Tag zu Tag intelligenter. Ein im letzten Jahr von Imperva veröffentlichter Bericht stellte fest, dass Bots fast 41 % des Internetverkehrs ausmachten, während bösartige Bots für mehr als ein Viertel des Datenverkehrs verantwortlich waren.
Web-Publisher und -Designer können Bot-Verkehr identifizieren, indem sie die Netzwerkanfragen an ihre Websites untersuchen. Die Verwendung eines integrierten Analysetools wie Google Analytics hilft Website-Eigentümern außerdem dabei, Traffic-Bots in ihrem Website-Verkehr zu identifizieren.
Zu den Kennzeichen von Bot-Verkehr zählen die folgenden Merkmale:
Ungewöhnlich hohe Seitenaufrufe
Wenn es auf einer Website zu einem plötzlichen, unerwarteten und beispiellosen Anstieg der Seitenaufrufe kommt, sind dafür im Allgemeinen Bots verantwortlich.
Ungewöhnlich hohe Absprungrate
Die Absprungrate ist eine Kennzahl , die den Prozentsatz der Personen misst, die auf Ihrer Website landen und dort nichts tun. Ein unerwarteter Anstieg der Absprungrate kann darauf hinweisen, dass Bots auf eine einzelne Seite umgeleitet werden.
Überraschend lange oder kurze Sitzungsdauer
Die Sitzungsdauer ist die Zeit, die Benutzer auf einer Website verbringen, sobald sie dort sind. Das menschliche Verhalten erfordert, dass diese Zeit regelmäßig konstant bleibt. Wenn die Sitzungsdauer jedoch plötzlich und unerwartet ansteigt, deutet dies wahrscheinlich darauf hin, dass ein Bot die Website ungewöhnlich langsam durchsucht.
Umgekehrt könnte eine ungewöhnlich kurze Sitzungsdauer ein Hinweis darauf sein, dass ein Bot die Seiten viel schneller crawlt als ein Mensch.
Junk-Konvertierungen
Junk-Conversions lassen sich an einer steigenden Anzahl betrügerischer Conversions erkennen. Junk-Conversions zeigen sich als eine Zunahme der Erstellung von Konten mit unsinnigen E-Mail-Adressen oder das Ausfüllen von Kontaktformularen mit einem falschen Namen, einer falschen Telefonnummer oder Adresse.
Verkehrsspitze von einem unerwarteten Standort
Ein plötzlicher Anstieg des Website-Verkehrs aus einer bestimmten geografischen Region, insbesondere einem Gebiet, in dem es wahrscheinlich keine Muttersprachler der Sprache gibt, in der die Website verfasst ist, ist ein weiterer Standardindikator für Bot-Verkehr.
So stoppen Sie Bot-Verkehr
Wenn ein Unternehmen oder eine Agentur erst einmal gelernt hat, wie man Bot-Verkehr erkennt, ist es zwingend notwendig, dass es sich das nötige Wissen und die nötigen Werkzeuge aneignet, um zu verhindern, dass sich Bot-Verkehr negativ auf die eigene Website auswirkt.
Die folgenden Tools können dazu beitragen, Bedrohungen zu minimieren:
Legitime Arbitrage
Traffic Arbitrage ist die Praxis, für den Traffic einer Website zu zahlen, um ertragreiche PPC/ CPM -basierte Kampagnen zu gewährleisten. Indem Websitebesitzer nur Traffic aus bekannten Quellen kaufen, können sie das Risiko von Bad-Bot-Traffic verringern.
Verwenden Sie Robots.txt
Das Platzieren einer Robots.txt-Datei trägt dazu bei, schädliche Bots von einer Site fernzuhalten.
JavaScript für Warnmeldungen
Websitebesitzer können ein kontextbezogenes JavaScript (JS) platzieren, das sie benachrichtigt, wenn scheinbar ein Bot die Website betritt.
DDoS-Listen
Herausgeber können eine Liste mit anstößigen IP-Adressen erstellen und diese Besuchsanfragen auf ihrer Website ablehnen. Auf diese Weise wird die Anzahl der DDoS-Angriffe verringert.
Use Type-Challenge Response Tests
Eine der einfachsten und gebräuchlichsten Methoden, um Bot-Verkehr zu erkennen, ist die Verwendung von CAPTCHA im Anmelde- oder Downloadformular. Dies ist besonders nützlich, um Download- und Spambots zu stoppen.
Logdateien genau unter die Lupe nehmen
Für Webadministratoren mit fundierten Daten- und Analysekenntnissen kann die Untersuchung von Server-Fehlerprotokolldateien dabei helfen, durch Bots verursachte Website-Fehler zu finden und zu beheben.
So erkennen Sie Bot-Verkehr in Google Analytics
Für Publisher, die Google Analytics verwenden, gibt es einige einfache Möglichkeiten, ihre Site so einzurichten, dass Bot-Verkehr herausgefiltert wird.
- Firstly, log in to your Google Analytics account.
- Besuchen Sie das Google Analytics Admin Panel
- Navigieren Sie als Nächstes zu „Ansichtseinstellungen“ auf der Registerkarte „Ansicht“.
- Scrollen Sie nach unten zum Kontrollkästchen „Bot-Filterung“ .
- Klicken Sie im Kontrollkästchen auf „Überprüfen“ , wenn es nicht aktiviert ist.
- Klicken Sie abschließend auf Speichern .
Warum ist es wichtig, Ihre Anzeigen zu schützen?
Jede Website, die Pay-per-Click-Werbung ausführt, wird irgendwann in der einen oder anderen Form von Bot-Traffic betroffen sein. Es ist zwingend erforderlich, dass Publisher Maßnahmen zum Schutz ihrer Anzeigen ergreifen, da Bot-Traffic sonst irgendwann die folgenden Probleme verursachen kann:
- Website-Daten und Analysen können verzerrt werden
- Die Ladezeit und Leistung der Website können sich verschlechtern
- Websites werden anfällig für Botnetze, DDoS-Angriffe und letztlich negative SEO-Ergebnisse
- Der CPC wird negativ beeinflusst und es können letztlich Einnahmen verloren gehen
Abschluss
It is important that you don't ignore bot traffic, as it can become incredibly costly for any company with a digital presence. While there are several techniques to reduce abusive bot traffic, the most successful is to invest in a specialised bot management solution.
Sind Sie ein digitaler Herausgeber, der Hilfe bei der Überwachung und Erkennung von Bot-Verkehr benötigt?
Publift hilft digitalen Publishern, das Beste aus den Anzeigen auf ihren Websites herauszuholen. Durch den Einsatz modernster programmatischer Werbetechnologie in Verbindung mit unparteiischer und ethischer Beratung hat Publift seinen Kunden seit 2015 zu einer durchschnittlichen Steigerung der Werbeeinnahmen um 55 % verholfen.
Wenn Ihr monatlicher Werbeumsatz mehr als 2.000 US-Dollar beträgt, kontaktieren Sie uns noch heute, um mehr darüber zu erfahren, wie Publift Ihnen dabei helfen kann, Ihren Werbeumsatz zu steigern und den auf Ihrer Website oder App verfügbaren Werbeplatz optimal zu optimieren.
Häufig gestellte Fragen zum Bot-Verkehr
1. Was ist ein Internet-Bot
Internet-Bots sind alle nicht-menschlichen Besucher einer Website. Sie erscheinen und verhalten sich fast wie Menschen, wurden jedoch von ihrem Ersteller für die Ausführung einer bestimmten Aufgabe entwickelt.
2. Was verursacht Bot-Verkehr?
Bots können eine Website besuchen, um das Ranking in Suchmaschinen zu ermitteln oder SEO-Analysen durchzuführen. Bösartige Bots können eine Website jedoch besuchen, um Kontaktinformationen zu stehlen, Phishing-Konten zu erstellen oder DDoS-Angriffe durchzuführen.
3. Sollten Sie Bots blockieren?
Nicht jeder Bot ist bösartig, und Websites sollten Bots, die eine Site besuchen, erlauben, deren Suchranking zu bestimmen und die Integrität einer Site zu überwachen. Websites sollten jedoch CAPTCHA verwenden, um Scraping- und Spam-Bots oder andere Bots zu blockieren, die einer Site schaden.
4. Hat Bot-Verkehr Auswirkungen auf die SEO?
Bösartige Bots wirken sich negativ auf die SEO aus. Sie verlangsamen die Lade- und Reaktionszeiten einer Website und koordinieren DDoS-Angriffe.
5. Was ist Fake Traffic?
Fake-Traffic bezeichnet die Menge nicht-menschlichen Traffics (Bots), die eine Website besuchen. Dabei handelt es sich nicht um echte Personen oder Kunden, daher gelten sie als Fake-Traffic.
6. Sind Traffic Bots legal?
Traffic-Bots gelten als legal, doch einige US-Bundesstaaten haben begonnen, Maßnahmen gegen bösartige Bots zu ergreifen. Wenn sich dieser Trend fortsetzt, könnte die Legalität von Traffic-Bots auf nationaler Ebene in Frage gestellt werden.
7. Was ist ein Suchbot?
Suchmaschinen-Bots – auch als Such-Bots bekannt – werden von Suchmaschinen verwendet, um Websites zu durchsuchen und die Rangfolge ihres Erscheinens bei der Suche eines Benutzers zu bestimmen.
8. Was ist Empfehlungs-Spam?
Bei Empfehlungsspam handelt es sich um Bots, die auf einer Website gefälschten Datenverkehr erzeugen, um einen Google Analytics-Empfehlungsbericht mit Spam-Links vollzustopfen. Ziel ist es, einen GA-Benutzer dazu zu bringen, auf den Link zu klicken, der ihn dann auf eine mit Malware verseuchte Website oder einen Service-Betrug führt.
9. Kann direkter Datenverkehr Crawler enthalten?
In manchen Fällen kann der direkte Datenverkehr auch Suchcrawler enthalten. Google Analytics filtert zwar die meisten Crawler heraus, aber gelegentlich werden einige trotzdem fälschlicherweise als menschlicher Datenverkehr interpretiert.
10. Wie viel Prozent des Internetverkehrs bestehen aus Bots?
Laut einer 2021 von Barracuda Networks durchgeführten Studie machen Bots 66 % des gesamten Internetverkehrs aus, wobei bösartige Bots für 40 % des gesamten Datenverkehrs verantwortlich sind.
Was ist ein Internet-Bot?