Hvad betyder crawling indenfor digital marketing?

Når at man snakker om “crawling” indenfor digital marketing betyder det at man snakker om at Google , Bing eller mange andre crawlers besøger din hjemmeside for at indsamle data.

Man kan sammenligne det med en person der kigger forbi for at samle nogle informationer for bedre at få få et indtryk af hvad der sker på hjemmesiden.

Hvordan sådan en crawlerbot fungerer, vil vi uddybe i vores guide her.

Googlebot er på besøg

“Googlebot” er et navn for et stykke software som Google sender ud for at samle informationer på nettet.

Da Googlebot stadig er den vigtigste crawlerbot som at du gerne vil have på besøg, så bruger vi den som eksempel her.

Her ser vi et billede af Googlebot som har været på besøg på din hjemmeside, den har samlet nogle data som den så sender tilbage til Googles servere, filtrerer og analyserer resultaterne og bruger dem i søgeresultaterne (SERP ‘s), når at det handler om SEO .

Men Googlebot samler også informationer ind som den bruger til Google Ads . Det gør den for at se om ens landingsside lever op til de standarder som at Google har til sine annoncører. Ved at bruge deres webcrawlers finder de for eksempel frem til noget de kalder for Quality Score .

Crawling og kunstig intelligens

De forskellige webcrawlers der findes bruges også til at hente data til de forskellige former for generativ ai (kunstig intelligens der skaber content). Det er generativ ai såsom ChatGPT og Google Gemini.

Læs lidt mere om hvordan at disse data bruges til maskinlæring her: https://www.ml-science.com/web-crawler

Diverse om webcrawlers

Man kan forhindre webcrawlers i at crawle ens hjemmeside, hvis man ikke ønsker dette. Dette kan man gøre ved hjælp en såkaldt robots.txt – Det er en fil man lægger op på sin hjemmeside der har nogle kommandoer til disse bots. Her på vores egen hjemmeside har vi ikke nogen begrænsninger for hvem der kan hente information på vores hjemmeside.

Men vi overvejer lige nu om vi skal dele vores data med de forskellige former for kunstig intelligens der findes, da vi ikke får noget ud af. Men vi regner med at få noget ud af det senere, så indtil har vi stadig åbent for alle slags crawlers.

Man kan se vores robots.txt fil her: https://jimihove.dk/robots.txt – Som man kan se står der: “User-agent: *

Useragent er det samme som crawlerbots, og stjernen betyder at der er åbent for alle. Men mere om dette i vores guide til robots.txt

Læs mere om webcrawlers her:

https://developers.google.com/search/docs/crawling-indexing/googlebot