AI crawler

GoogleAgent-URLContext è lo user-agent con cui Gemini recupera in tempo reale il contenuto di un URL indicato in un prompt, attivandosi solo su richiesta esplicita e non secondo un calendario fisso di scansione. Legge pagine pubbliche, PDF e immagini fino a 20 URL per richiesta e 34 MB per singolo documento, servendo come contesto aggiuntivo per le risposte generate dal modello.

Llms.txt è un file Markdown pubblicato nella radice di un sito per indicare agli assistenti AI quali pagine contengono le informazioni più importanti e in che ordine leggerle. Non blocca né autorizza l’accesso, ma segnala un percorso di lettura prioritario, lasciando al crawler la scelta di seguirlo.

Un AI crawler è un bot automatizzato che scansiona le pagine web per raccogliere contenuti destinati a sistemi di intelligenza artificiale, invece che a indici di ricerca tradizionali. Il contenuto acquisito può finire nei dataset di addestramento, in indici proprietari di motori di risposta, oppure essere letto al volo per generare risposte a domande specifiche.