Crawl budget – co to jest i jak go nie marnować?

Czym jest crawl budget

Google mówi wprost, kto może ten temat pominąć

Zanim zacznie się cokolwiek optymalizować, dobrze jest przeczytać pierwszy akapit dokumentacji: „If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide”.1

Przewodnik kieruje się do trzech rodzajów serwisów: powyżej miliona unikalnych stron ze zmianami mniej więcej co tydzień, powyżej 10 tysięcy stron ze zmianami codziennymi oraz witryn, w których dużą część adresów Search Console klasyfikuje jako Discovered — currently not indexed.1 Google zaznacza, że są to szacunki, nie sztywne progi.

Dla typowej strony firmowej wystarcza, jak podaje ta sama dokumentacja, aktualna mapa strony i regularne zaglądanie do raportu indeksowania.

Dwa statusy, które łatwo pomylić

Cały temat rozstrzyga się na różnicy między dwiema pozycjami w raporcie, brzmiącymi niemal identycznie. Zestawmy je:

Discovered — currently not indexed: „The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl”.2

Crawled — currently not indexed: „The page was crawled by Google but not indexed”.2

Pierwszy status mówi o zasobach: robot chciał wejść i odłożył wizytę. Drugi mówi o ocenie: robot wszedł, przeczytał i zdecydował, że nie warto. Tylko pierwszy z nich jest sygnałem budżetu, i tylko jego wymienia dokumentacja jako powód, żeby się tematem zająć.

Nasze 696 stron mówiło coś innego, niż nam się wydawało

Zapisaliśmy kiedyś w tym haśle wniosek, który dziś prostujemy. Audyt własnego serwisu pokazał 938 niezaindeksowanych adresów, z czego 696 miało status „Crawled — currently not indexed”, w większości z jednego, rozrośniętego działu. Wyciągnęliśmy z tego wniosek o budżecie indeksowania.

Był to wniosek odwrotny do tego, co ta liczba znaczy. Skoro strony zostały zeskanowane, robot miał na nie czas i zasoby, więc budżet nie był ograniczeniem. Ograniczeniem była ocena wartości: Google wszedł, przeczytał i nie wpuścił ich do indeksu.

Prostszy test na własnym serwisie brzmi więc tak: jeśli w raporcie przeważa „Crawled”, problem leży w treści. Jeśli przeważa „Discovered”, dopiero wtedy jest sens rozmawiać o budżecie. Mylenie tych dwóch prowadzi do naprawiania nie tego, co trzeba. W naszym przypadku prowadziło do tego przez kilka miesięcy.

Czego nie da się zwiększyć

Budżetu indeksowania nie można podkręcić żadnym ustawieniem, bo nie jest suwakiem: wynika z pojemności serwera i z tego, ile wyszukiwarka uznaje za sensowne poświęcić danej witrynie. Wpływ ma się na drugą stronę równania: liczbę adresów, które w ogóle zasługują na odwiedziny.

Przy tym wyszukiwarka traktuje jako osobny serwis każdą unikalną nazwę hosta.1 Subdomena ma więc własny budżet, niezależny od domeny głównej.

Crawl budget, indeksowanie i pruning

Crawl budget wiąże się bezpośrednio z indeksowaniem stron, a przy dużych serwisach z content pruningiem. Statystyki skanowania sprawdza się w Google Search Console.

Najczęstsze pytania

Czy mała strona firmowa musi martwić się crawl budgetem?
Dokumentacja mówi wprost, że jeśli strony są skanowane w dniu publikacji, tego przewodnika nie trzeba czytać. Wystarczy aktualna mapa strony i raport indeksowania.

Co znaczy „zeskanowana, ale niezindeksowana”?
Że robot wszedł i zdecydował, że nie warto indeksować. To sygnał o wartości treści, nie o brakującym budżecie.

Który status wskazuje na problem z budżetem?
„Wykryta, obecnie niezindeksowana”, czyli sytuacja, w której robot chciał wejść i odłożył wizytę, żeby nie przeciążyć serwera.

Jak zwiększyć crawl budget?
Bezpośrednio nie da się. Można za to zmniejszyć liczbę adresów niskiej wartości, żeby istniejąca uwaga robota trafiała tam, gdzie ma znaczenie.

Źródła

1. Google Search Central, „Crawl budget management for large sites”: „If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide”; przewodnik kierowany jest do serwisów powyżej miliona unikalnych stron ze zmianami mniej więcej tygodniowymi, powyżej 10 tysięcy stron ze zmianami codziennymi oraz witryn z dużym udziałem adresów o statusie „Discovered – currently not indexed”, przy zastrzeżeniu „The numbers given here are a rough estimate”; „Google’s crawling infrastructure defines a site as a unique hostname” (odczyt 2026-08-21). Zobacz dokumentację Google →

2. Google Search Console Help, „Page Indexing report”, opisy statusów: „Discovered – currently not indexed: The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl”; „Crawled – currently not indexed: The page was crawled by Google but not indexed” (odczyt 2026-08-21). Zobacz opis raportu →