Cloudflare hat die neue Robotcop-Funktion zur Durchsetzung der Robots.txt-Richtlinien eingeführt
1m, 12s
2
14:58, 11.12.2024
Übersicht der neuen Robotcop-Funktion
Cloudflare hat eine neue Funktion in seinem Audit-Panel namens Robotcop angekündigt. Dieses Tool hilft dabei, zu überwachen, wie verschiedene AI-Dienste die in robots.txt-Dateien festgelegten Richtlinien einhalten, und ermöglicht es den Nutzern, diese Richtlinien automatisch auf Netzwerkebene durchzusetzen. Mit dem Aufkommen von generativer KI, die aktiv das Internet durchsucht, um Daten für das Training von Modellen zu sammeln, haben viele Website-Besitzer begonnen, ihre robots.txt-Richtlinien zu aktualisieren, um den Zugriff nicht nur für Web-Crawler, sondern auch für AI-Bots zu beschränken.
Dank der neuen Funktion von Cloudflare können Website-Besitzer einen Bericht über die Anzahl der Anfragen von verschiedenen Bots erhalten, einschließlich derer von AI-Diensten wie ChatGPT, Google Gemini und anderen. Das Audit-Panel ermöglicht es den Nutzern, Anfragen nach Kategorien zu filtern und Informationen zu Richtlinienverstößen zu erhalten.
Wie Robotcop bei der Verwaltung von Traffic und Richtlinienverstößen hilft
Die Robotcop-Funktion liefert Berichte über Richtlinienverstöße für jeden Bot. Nutzer können sehen, welcher Traffic die festgelegten Regeln verletzt und erhalten Popup-Hinweise mit Details zu den Verstößen. Der Bereich „Beliebteste Pfade“ zeigt den Traffic an, der gegen die Richtlinien der Website verstößt. Nutzer können auch robots.txt-Regeln über eine erweiterte Firewall-Regel anwenden, um Verstöße automatisch zu blockieren.
Diese Funktion ist bereits für alle Cloudflare-Nutzer verfügbar und bietet zusätzliche Werkzeuge zur effektiven Verwaltung des Zugriffs auf die Website und zum Schutz vor unerwünschten Bots.
War dieser Artikel für Sie hilfreich?
Ja
Nein
VPS beliebte Angebote
angebot
-20%
Windows
€ 26 /mo
Monatlich abgerechnet
angebot
-20%
Linux
€ 10 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 19 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 156 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 65 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 13.7 /mo
Monatlich abgerechnet
angebot
-20%
Linux
€ 7.2 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 14.8 /mo
Monatlich abgerechnet
angebot
-20%
Windows
€ 66.5 /mo
Alle 12 Monate abgerechnet
angebot
-20%
Windows
€ 17 /mo
Monatlich abgerechnet
