Anubis chroni serwery przed masowym skrobaniem AI

System Anubis to narzędzie ochrony serwerów internetowych przed zautomatyzowanym pobieraniem dużych ilości zawartości przez podmioty zajmujące się szkoleniem modeli sztucznej inteligencji.

Skąd bierze się problem z masowym skrobaniem?

Firmy rozwijające rozwiązania AI intensywnie pobierają dane z publicznych serwisów, aby wykorzystać je do trenowania algorytmów. Proces ten, zwany skrobaniem (ang. scraping), gdy odbywa się na dużą skalę, generuje ogromne obciążenie dla infrastruktury hostingowej. Administratorzy portali internetowych mają zatem dwa problemy: pierwszy to kwestia etyczna i prawna związana z nieautoryzowanym wykorzystaniem treści, drugi to czysto techniczny — serwery nie potrafią obsługiwać tak intensywnego ruchu pochodzącego od botów.

Konsekwencją jest niedostępność serwisu dla zwykłych użytkowników. Zasoby serwera zużywane są przez automaty, a osoby chcące naturalnie przeglądać zawartość napotykają błędy połączenia, czasowe przestoje lub drastyczne spowolnienie.

Jak działa ochrona Anubis?

Administrator portalu Infokatowice.pl wdrożył system Anubis, który opiera się na mechanizmie Proof-of-Work — tym samym schemacie, który znany jest z technologii Hashcash. Idea jest prosta: przed dostępem do zasobu serwera użytkownik (lub bot) musi wykonać pewną pracę obliczeniową, która wymaga zaangażowania mocy procesora.

Dla człowieka przeglądającego stronę normalnie zadanie to jest nieodczuwalne — nowoczesne przeglądarki wykonują je w tle w ciągu ułamka sekundy. Dla bota skrobującego tysiące stron jednocześnie sytuacja jest zupełnie inna. Konieczność rozwiązania problemu matematycznego dla każdego żądania drastycznie podnosi koszt operacyjny masowego pobierania danych. Tam, gdzie wcześniej można było pobrać milion stron prawie za darmo, teraz trzeba zaangażować znaczne zasoby obliczeniowe — a to przekłada się na realne koszty finansowe.

Aspekt	Opis
Mechanizm ochrony	Proof-of-Work wzorowany na Hashcash
Cel	Zmniejszenie opłacalności masowego skrobowania
Wymagania techniczne	Nowoczesne funkcje JavaScript w przeglądarce
Skutek dla botów	Wzrost kosztów obliczeniowych dostępu
Skutek dla użytkowników	Przezroczysty dla normalnego przeglądania

Jakie są wyzwania dla użytkowników?

Wdrożenie systemu Anubis niesie ze sobą pewne konsekwencje dla sposobu, w jaki ludzie mogą uzyskiwać dostęp do serwisu. System wymaga obsługi zaawansowanych funkcji JavaScript w przeglądarce internetowej. To oznacza, że przeglądarki, które nie wspierają tych funkcji, lub dodatki bezpieczeństwa, które je blokują, mogą uniemożliwić dostęp.

Szczególnie istotny problem dotyka użytkowników korzystających z wtyczek takich jak JShelter i podobnych narzędzi do ochrony prywatności. Te dodatki są projektowane tak, aby wyłączać zaawansowane skrypty JavaScript, które mogą śledzić aktywność użytkownika lub zbierać dane. Niestety, funkcje wymagane przez Anubis padają ofiarą tej ochrony — użytkownik chcący wejść na stronę z aktywnym JShelter może napotkać problemy z załadowaniem zawartości.

Przyszłość systemu — identyfikacja przeglądarek bez interfejsu użytkownika

Twórcy systemu Anubis pracują nad rozszerzeniem możliwości ochrony. Planowana jest implementacja mechanizmu opartego na renderowaniu czcionek, który miałby pozwolić na identyfikację przeglądarek headless — czyli takich, które działają bez graficznego interfejsu użytkownika. Przeglądarki tego typu są powszechnie wykorzystywane do automatyzacji i skrobania, ponieważ nie wymagają zasobów potrzebnych do wyświetlania grafiki.

Rozpoznanie takiej przeglądarki pozwoliłoby systemowi na jeszcze bardziej precyzyjne odróżnienie między człowiekiem a botem, dodatkowo utrudniając pracę narzędziom do masowego pobierania danych.

Co to oznacza dla czytelników i administratorów serwisów?

Z perspektywy zwykłego użytkownika wprowadzenie takich systemów powinno przynieść korzyści. Serwery będą bardziej stabilne, a strony dostępne bez opóźnień — pod warunkiem, że nie korzysta się z dodatków blokujących JavaScript lub przeglądarek starszych. Dla osób zainteresowanych prywatnością może to jednak oznaczać trudny wybór: albo zrezygnować z ochrony oferowanej przez JShelter, albo zaakceptować czasowe problemy z dostępem do niektórych serwisów.

Dla administratorów portali internetowych systemy takie jak Anubis stanowią praktyczną odpowiedź na rosnący problem masowego skrobowania. Zamiast angażować się w kosztowne batalię techniczne z botami, mogą przesunąć ciężar pracy obliczeniowej na stronę atakującego — co naturalnie zmniejsza atrakcyjność takiego ataku.

Wdrażanie takich rozwiązań będzie zapewne trendem w branży, szczególnie gdy firmy AI będą coraz bardziej agresywnie pobierać dane do trenowania swoich modeli.