Co to jest Anubis i po co go używa się na stronach?

Anubis to system ochrony serwerów przed agresywnym scrapingiem prowadzonym przez boty AI. Chroni zasoby serwera przed przeciążeniem, które mogłoby spowodować niedostępność strony dla zwykłych użytkowników.

Jak działa mechanizm Proof-of-Work w systemie Anubis?

System wykorzystuje schemat zbliżony do Hashcash, który wymaga od użytkownika wykonania niewielkiej pracy obliczeniowej. Dla pojedynczych użytkowników obciążenie jest nieznaczne, ale dla masowych scraperów koszty obliczeniowe szybko się kumulują, czyniąc scraping nieopłacalnym.

Dlaczego Anubis wymaga JavaScript i powoduje problemy z wtyczkami?

Anubis opiera się na nowoczesnych funkcjach JavaScript do weryfikacji użytkownika. Wtyczki bezpieczeństwa takie jak JShelter blokują te skrypty, dlatego muszą być wyłączone dla domen korzystających z tej ochrony.

Czy Anubis to stałe rozwiązanie?

Nie — Anubis jest rozwiązaniem przejściowym. Administratorzy pracują nad bardziej zaawansowanymi metodami identyfikacji headless browserów poprzez analizę technik renderowania czcionek, co pozwoli uniknąć konieczności wyświetlania strony weryfikacyjnej legalnym użytkownikom.

Jaki jest wpływ scrapingu AI na dostępność stron internetowych?

Masowy scraping prowadzony przez firmy AI powoduje znaczne obciążenie serwerów, co skutkuje przestojami i uniemożliwia dostęp do zasobów dla zwykłych, legalnych użytkowników strony.

Anubis: ochrona stron przed botami i scrapingiem AI

Dowiedz się, jak system Anubis chroni witryny przed agresywnym scrapingiem AI. Poznaj mechanizm Proof-of-Work i wpływ na dostępność serwerów.

Anubis to system ochrony serwerów przed agresywnym scrapingiem prowadzonym przez boty sztucznej inteligencji, który zapobiega niedostępności stron dla legalnych użytkowników. Problem, który rozwiązuje Anubis, stał się rzeczywistością — firmy zajmujące się AI coraz bardziej intensywnie pobierają dane z publicznych stron internetowych, co prowadzi do przeciążenia serwerów i rzeczywistych przestojów.

Dlaczego scraping AI stanowi zagrożenie dla stron?

Masowe pobieranie danych przez boty AI to nie tylko kwestia bezpieczeństwa danych czy praw autorskich. Scraping na skalę przemysłową bezpośrednio wpływa na dostępność zasobów dla zwykłych użytkowników. Gdy boty AI pobierają ogromne ilości treści jednocześnie, generują taki ruch sieciowy, że serwer nie potrafi obsłużyć żądań od rzeczywistych ludzi. Efekt jest taki sam jak przy ataku DDoS — strona staje się niedostępna, a jej zasoby są marnowane na obsługę botów zamiast użytkowników.

Administratorzy stron stają więc przed dylematem: jak chronić serwer przed masowym scrapingiem bez blokowania legalnego ruchu?

Jak działa system Anubis?

Anubis opiera się na mechanizmie Proof-of-Work (dowód pracy), inspirowanym schematem Hashcash, który był proponowany do zmniejszenia spamu e-mailowego. Idea jest elegancka: zamiast całkowicie blokować dostęp, system wymaga od każdego odwiedzającego wykonania niewielkiej pracy obliczeniowej.

Dla pojedynczego użytkownika dodatkowe obciążenie jest praktycznie niezauważalne — komputer wykonuje obliczenia w tle, a strona ładuje się normalnie. Jednak dla masowych scraperów, które muszą wykonać tę pracę miliony razy dziennie, koszty obliczeniowe szybko się kumulują. To czyni scraping nieopłacalnym, nawet jeśli bot ma dostęp do dużych mocy obliczeniowych.

Mechanizm działa w następujący sposób:

Weryfikacja wstępna — gdy użytkownik (lub bot) wejdzie na stronę, system wyświetla stronę wyzwania
Zadanie obliczeniowe — przeglądarka musi rozwiązać zadanie matematyczne (np. znaleźć wartość spełniającą określone warunki)
Weryfikacja rozwiązania — serwer potwierdza poprawność rozwiązania
Dostęp do zasobów — po pozytywnej weryfikacji użytkownik uzyskuje dostęp do strony

Wymagania techniczne i ograniczenia

Anubis wymaga nowoczesnych funkcji JavaScript do działania. To oznacza, że wtyczki bezpieczeństwa blokujące skrypty — takie jak JShelter — muszą być wyłączone dla domeny korzystającej z tej ochrony. Może to być niedogodne dla użytkowników dbających o prywatność, ale jest niezbędne dla funkcjonowania systemu.

Wtyczki takie jak JShelter zostały zaprojektowane do ochrony przed śledzeniem i eksfiltracyją danych poprzez JavaScript. Jednak w przypadku Anubisa, JavaScript jest potrzebny do weryfikacji, że użytkownik to rzeczywista osoba, a nie bot.

Czy Anubis to rozwiązanie ostateczne?

Nie. Sami twórcy systemu przyznają, że jest to rozwiązanie przejściowe. Docelowo administratorzy stron chcą wdrożyć bardziej zaawansowane metody identyfikacji headless browserów — botów, które nie mają interfejsu graficznego.

Jedną z obiecujących technik jest analiza renderowania czcionek. Headless browsery (używane przez scraperów) renderują czcionki inaczej niż zwykłe przeglądarki. Poprzez badanie, jak przeglądarka obsługuje czcionki, system może odróżnić bota od człowieka bez konieczności wyświetlania strony weryfikacyjnej. To byłoby niewidoczne dla użytkownika, ale skuteczne przeciwko botom.

Co to oznacza dla użytkowników i administratorów stron?

Dla zwykłych użytkowników Anubis oznacza czasami dodatkowy krok weryfikacji, ale gwarantuje dostęp do zasobów strony. Dla administratorów to kompromis — zamiast całkowicie blokować dostęp lub inwestować w drogi sprzęt, mogą wykorzystać moc obliczeniową samych botów do ochrony serwera.

Problem scrapingu AI będzie się nasilać wraz z rosnącym zainteresowaniem firm technologicznych danymi z publicznych stron. Anubis jest jednym z pierwszych praktycznych rozwiązań, które próbuje znaleźć równowagę między ochroną zasobów a dostępnością dla legalnych użytkowników. W przyszłości możemy spodziewać się bardziej zaawansowanych systemów, które będą działać całkowicie przezroczyście dla człowieka, jednocześnie skutecznie zniechęcając boty do scrapingu.