Anubis chroni serwisy przed skrobaniem AI – jak działa system

System Anubis to nowe rozwiązanie ochrony serwerów przed agresywnym zbieraniem danych przez zautomatyzowane narzędzia firm zajmujących się sztuczną inteligencją. Administrator portalu Infokatowice.pl zdecydował się na jego wdrożenie, aby zapobiec problemom związanym z masowym skrobaniem zasobów serwera.

Dlaczego skrobanie danych stanowi problem?

Zautomatyzowane pobieranie treści z serwerów przez firmy AI powoduje poważne konsekwencje dla funkcjonowania witryn. Masowe żądania generują obciążenie infrastruktury, co prowadzi do przestojów i chwilowej niedostępności zasobów dla zwykłych użytkowników. Problem nasilał się wraz ze wzrostem zainteresowania dużymi modelami językowymi i potrzebą treningowych zbiorów danych.

Tradycyjne metody ochrony – takie jak blokowanie określonych adresów IP czy ograniczenie liczby żądań – okazują się niewystarczające wobec skali i wyrafinowania współczesnych botów. Dlatego właśnie pojawiła się potrzeba bardziej zaawansowanych rozwiązań.

Jak działa system Anubis?

Anubis wykorzystuje schemat Proof-of-Work, czyli mechanizm znany z technologii blockchain, a konkretnie wzorowany na systemie Hashcash. Idea polega na tym, że przeglądarka odwiedzającego serwis musi wykonać pewne obliczenia matematyczne przed uzyskaniem dostępu do treści. To zadanie jest trywialne dla człowieka korzystającego z nowoczesnej przeglądarki, ale stanowi znaczący koszt obliczeniowy dla zautomatyzowanych systemów.

Aspekt	Opis
Mechanizm działania	Proof-of-Work wzorowany na Hashcash
Cel	Zwiększenie kosztów masowego skrobowania
Wymagania	Nowoczesne funkcje JavaScript
Status	Rozwiązanie tymczasowe
Przyszłość	Planowana identyfikacja przeglądarek headless przez rendering czcionek

Zadania obliczeniowe wymagają od przeglądarki wykonania pracy, ale jej koszt energetyczny i czasowy jest znikomy dla normalnego użytkownika. Natomiast dla firm zbierających dane na masową skalę – uruchamiających tysiące równoczesnych połączeń – koszty te sumują się i stają się ekonomicznie nieopłacalne. To zmusza potencjalnych skrapaczy do zmiany strategii lub całkowitego zrezygnowania z danego serwera.

Wymagania techniczne i ograniczenia

Anubis opiera się na nowoczesnych funkcjach JavaScript, co oznacza, że wymaga od użytkownika przeglądarki wspierającej te technologie. Większość współczesnych przeglądarek internetowych – Chrome, Firefox, Safari, Edge – spełnia te warunki bez problemów.

Jednak istnieje ważne zastrzeżenie: rozszerzenia przeglądarki dedykowane ochronie prywatności, takie jak JShelter, mogą wyłączyć funkcjonalność systemu Anubis. Użytkownicy korzystający z takich wtyczek muszą je czasowo wyłączyć dla domeny Infokatowice.pl, aby uzyskać dostęp do zasobów serwera. To kompromis między bezpieczeństwem serwera a prywatnością indywidualnego użytkownika.

Rozwiązanie tymczasowe z perspektywą na przyszłość

Administrator portalu traktuje Anubis jako rozwiązanie przejściowe. Docelowo planuje się przejście na bardziej zaawansowaną metodę: identyfikację przeglądarek headless (automatycznych, bez interfejsu graficznego) poprzez rendering czcionek. Przeglądarki headless, które są głównym narzędziem botów skrapiających dane, mają trudności z prawidłowym renderowaniem czcionek – można to wykorzystać do ich wykrycia i zablokowania.

Taka strategia byłaby bardziej elegancka, ponieważ nie wymagałaby od zwykłych użytkowników żadnych działań ani nie obciążałaby ich przeglądarek obliczeniami. Jednak wymaga ona dalszych prac nad implementacją i testowaniem.

Co to oznacza dla Ciebie?

Jeśli regularnie odwiedzasz Infokatowice.pl, zmiana powinna być dla Ciebie niemal niezauważalna – nowoczesna przeglądarka wykonuje obliczenia w tle, bez wpływu na szybkość przeglądania. Jeśli jednak korzystasz z rozszerzeń prywatności takich jak JShelter, możliwe, że napotkasz komunikat o wyłączeniu funkcji ochrony. W takiej sytuacji musisz zdecydować: dodać wyjątek dla domeny, czy zrezygnować z dostępu.

Z perspektywy właścicieli serwisów wdrożenie Anubis to krok w kierunku ochrony infrastruktury przed coraz bardziej agresywnym skrobaniem danych. Pokazuje także, że tradycyjne metody ochrony już nie wystarczają w erze masowego zbierania treści do celów szkolenia modeli AI.