Microsoft Bing e Yandex hanno interpretato una situazione estremamente delicata che mette in difficoltà i proprietari di siti web: l’indicizzazione delle pagine e dei contenuti più recenti a volte richiede giorni se non settimane e questo è un gap notevole. IndexNow è la soluzione a questo problema. Si tratta di un protocollo di indicizzazione creato appunto da Microsoft che ha l’ambizioso obiettivo di cambiare radicalmente il modo in cui i contenuti vengono indicizzati da tutti i motori di ricerca.
Webmaster e proprietari di siti con IndexNow possono sottoporre una pagina per l’inserimento immediato nell’indice, al fine di offrire il miglior servizio in termini di efficienza, gestione del crawl budget e indicizzazione immediata dei contenuti più recenti.
Indicizzazione Immediata dei Contenuti: nozioni preliminari
IndexNow non è altro che “un ping per avvisare i motori di ricerca che un URL e il suo contenuto sono stati aggiunti, aggiornati o eliminati”. Questo permette ai motori di ricerca di aggiornare in tempo estremamente rapido i risultati di ricerca con i nuovi contenuti.
Come i motori di ricerca indicizzano i contenuti?
Con la parola indicizzazione si intende l’inserimento di un sito web, di una pagina o di un contenuto nell’infinito database di un motore di ricerca, di fatto l’elenco di tutte le pagine web di cui Google, al momento il motore di ricerca più importante, Bing o Yandex sono venuti a conoscenza.
Come sappiamo perfettamente avere un sito web, ma non averlo indicizzato non ha alcun senso, è come il classico libro della vita che molti hanno nel cassetto e che non vedrà mai la luce. Per indicizzare un sito web o una pagina il motore di ricerca scansiona il web attraverso un crawler, ad esempio il fantomatico Googlebot, che intercetta contenuti vecchi e nuovi per rilevare eventuali variazioni e procedere all’inserimento nell’indice (sistema Pull). Poiché questa scansione riguarda 1,88 miliardi di siti web nel mondo (dato del 2021), con 571 nuovi siti al minuto e solo su WordPress vengono pubblicati 347 nuovi contenuti al minuto, anche il bot più potente e agguerrito non riesce a scansionare interamente ogni singola pagina.
Senza alcun sistema di controllo diretto del proprietario del sito web il motore di ricerca impiega da alcune ore a diverse settimane per indicizzare il nuovo contenuto e questo può comportare una potenziale perdita di traffico e possibili conversioni.
Per questo il proprietario del sito web può comunicare direttamente l’URL al motore di ricerca (sistema Push). Google, ad esempio, permette di fare una comunicazione diretta attraverso la Search Console.
Cos’è il Protocollo IndexNow by Microsoft Bing?
IndexNow automatizza l’operazione di segnalazione e la estende a tutti i motori di ricerca aderenti (e non solo, ma lo vedremo successivamente), che vengono immediatamente informati della modifica degli URL e possono procedere all’indicizzazione dei nuovi contenuti, limitando così il crawling solo all’intercettazione dei nuovi elementi.
IndexNow vuole essere una spinta verso un Internet più efficiente: la priorità di scansione viene infatti data ai soli contenuti nuovi o modificati, limitando così la necessità di una scansione esplorativa. In futuro, i motori di ricerca potrebbero limitare la scansione dei siti Web che adottano IndexNow.
Un ulteriore e non banale vantaggio sta nella possibilità per le aziende di ottenere le informazioni più tempestive e pertinenti per e sui propri clienti, creando al contempo un’esperienza complessiva migliore per tutti.
Microsoft Bing ha annunciato così l’uscita del protocollo IndexNow:
“… storicamente uno dei maggiori punti deboli per i proprietari di siti web è stato che i motori di ricerca scoprano e considerino rapidamente le ultime modifiche al sito web.
Possono essere necessari giorni o addirittura settimane prima che i nuovi URL vengano scoperti e indicizzati nei motori di ricerca, con conseguente perdita di traffico potenziale, clienti e persino vendite.
… una volta che i motori di ricerca ricevono la notifica degli aggiornamenti, eseguono rapidamente la scansione e riflettono le modifiche al sito Web nel loro indice e nei risultati di ricerca”.
“IndexNow è un’iniziativa per un Internet più efficiente… i proprietari di siti web forniscono un chiaro segnale aiutando i motori di ricerca a dare priorità alla scansione di questi URL, limitando così la necessità di una scansione esplorativa per verificare se il contenuto è cambiato…
In futuro, i motori di ricerca intendono limitare la scansione dei siti Web che adottano IndexNow”.
IndexNow viene concesso in licenza in base ai termini di Attribution-ShareAlike Creative Commons ed è supportato da Microsoft Bing, Seznam.cz, Yandex.
Grandi aziende come eBay, LinkedIn, MSN, GitHub e Bizapedia stanno valutando di introdurre IndexNow e molte altre ne stanno seguendo l’esempio poiché i vantaggi sono tali da garantire loro un’elevata competitività in termini di aggiornamento e posizionamento.
Protocollo Bing vs Google: cosa ne pensa Big G?
L’ampia accettazione di IndexNow è influenzata da ciò che Google deciderà di fare, visto che è stato invitato ad adottare il protocollo, ma fino ad oggi non ci sono commenti ufficiali, se non l’intenzione di testare il protocollo.
IndexNow ha dalla sua l’obiettivo di un miglioramento di sostenibilità, efficienza e risparmio energetico, temi sui quali Google è estremamente sensibile. E questo gioca a favore del protocollo.
D’altra parte, Google sta già lavorando alacremente per rendere ancora più efficiente il suo sistema di indicizzazione. Nel 2020 è stato annunciato che Googlebot supporta http/2, un protocollo già notevolmente più efficiente dei precedenti e che è utilizzato in più del 50% delle scansioni. Come dichiarato dal portavoce di Google: “Adottiamo un approccio olistico alla sostenibilità in Google, compresi gli sforzi per sviluppare l’indice più efficiente e accurato del web.
Siamo a zero emissioni di carbonio dal 2007 e siamo pronti per essere privi di emissioni di carbonio entro il 2030 sia nei nostri data center che nei campus.
Siamo incoraggiati dal lavoro per rendere più efficiente la scansione del Web e testeremo i potenziali vantaggi di questo protocollo”.
La necessità di ulteriori test e verifiche è dovuta da parte di Google che ha nella scansione del web il core della sua attività e che deve quindi essere certa di innegabili vantaggi. Poiché un’eventuale presa di posizione favorevole di Google sposterebbe molti altri player in quella stessa direzione, questo atteggiamento di verifica è assolutamente sensato e positivo per tutti.
I vantaggi del nuovo protocollo Microsoft Bing
I vantaggi del protocollo Microsoft Bing sono parecchi da molti punti di vista.
● Si tratta di un protocollo open source aperto a tutti i motori di ricerca che vorranno servirsene. Ciò significa che ogni motore di ricerca potrà revisionarlo per apportare eventuali migliorie; è un tool flessibile e adattabile, economicamente conveniente e non viene dato in esclusiva ad un partner specifico che possa trarne vantaggi economici o concorrenziali.
● Permette di sottomettere fino a 10.000 URL alla volta, perfetto soprattutto nel caso di piattaforme e-commerce anche molto grandi.
● La segnalazione che viene fatta tramite IndexNow viene estesa direttamente agli altri motori di ricerca che se ne avvalgono, velocizzando di conseguenza anche l’indicizzazione sui motori di ricerca che non lo utilizzano come ad esempio Google. In questo modo i webmaster possono segnalare una volta sola, in quanto la chiamata sarà condivisa a tutti i motori di ricerca associati.
● Alleggerisce i server dal lavoro dei Crawler, portando ad un minor dispendio energetico. Un server alleggerito è un server più veloce e un server più veloce offre un servizio migliore agli utenti e quindi una migliore User Experience.
● Riduce il consumo di Crawl Budget; il crawl budget rappresenta l’insieme di risorse che il motore di ricerca dedica a un determinato sito web. Si tratta di un vero e proprio budget che viene determinato dallo spider e che rappresenta, ad esempio per Google, “il numero di URL che il Googlebot può e vuole scansionare”. Più è alto il numero di kilobyte scaricato, più sono gli aggiornamenti del tuo sito web e migliore appare agli occhi di Google.
● Le indicazioni sulle modifiche apportate (nuovo contenuto, contenuto aggiornato o cancellazione di un contenuto) vengono date direttamente dal CMS in modo automatico o con sottomissione manuale attraverso un plugin WordPress. In questo modo è possibile anche deindicizzare immediatamente contenuti eliminati o clonati, per non incorrere in penalizzazioni.
● Fornisce agli utenti sempre contenuti nuovi e aggiornati.
Sottomissione URL con IndexNow
Molte piattaforme popolari hanno adottato o stanno pianificando di adottare IndexNow. Se stai utilizzando una di queste piattaforme sarà ancora più facile utilizzarlo senza alcuno sforzo da parte tua.
Molti siti Web di grandi dimensioni, dagli e-commerce ai social (eBay, LinkedIn, MSN, GitHub, Bizapedia e altri) hanno adottato l’API di invio URL Webmaster di Microsoft Bing e stanno pianificando la migrazione a IndexNow. Se stai pubblicando contenuti o prodotti su questi siti, i tuoi contenuti riceveranno automaticamente i vantaggi di una indicizzazione più rapida.
Alcune content delivery network come Cloudflare e Akamai, che hanno la necessità di fornire ai loro clienti esperienze impeccabili e aggiornate, contenuti veloci e sicuri, supportano IndexNow.
I principali attori del settore SEO (Botify, oncrawl, onely e Yext ad esempio) stanno adottando IndexNow e prevendono di integrarlo nella propria offerta.
Utilizzare il protocollo è altrettanto semplice per chiunque amministri un sito web ed è applicabile sia attraverso un semplice plugin, ad esempio in un sito WordPress, sia attraverso un’API key. Ecco come fare.
Invio URL con IndexNow tramite API Key (consigliato per developer)
- Genera una chiave API da associare agli URL per garantire la proprietà del dominio. Puoi farlo usando uno strumento di generazione di chiavi online come quello di Bing
- La tua chiave API sarà ospitata nella directory principale in formato txt.
- Invia URL con parametri: puoi inviare URL singolarmente o in blocco associati all’API key.
- Controlla i tuoi invii utilizzando il portale Bing Webmaster Tools per verificare quali URL sono stati inviati e indicizzati.
Per esempi e istruzioni più approfondite, puoi visitare il sito IndexNow .
IndexNow WordPress Plugin: Installazione Guidata
I più diffusi sistemi di gestione dei contenuti (CMS), come WordPress, Wix e Duda, traggono incredibili vantaggi dall’applicazione del protocollo IndexNow, perché offre ai loro utenti la possibilità di un’indicizzazione immediata dei contenuti più recenti e riduce al minimo il carico di scansione sul sito web.
Grazie al plugin WordPress non è necessario estrarre manualmente l’API key, operazione che viene svolta in automatico. Installare il plugin è estremamente facile.
- Scaricare e attivare IndexNow WordPress Plugin
- Accedere alle Impostazioni di WP >> IndexNow
- Implementare le impostazioni di IndexNow (è possibile la sottomissione manuale e/o quella automatica)
Facciamo un breve riassunto dei vantaggi dell’applicazione del protocollo IndexNow al tuo sito web.
● Sei tu a segnalare in modo automatico ed immediato qualunque cambiamento all’interno del tuo sito web in termine di contenuti (passaggio dal sistema pull a push)
● Viene eliminato il periodo di tempo tra l’esecuzione degli aggiornamenti e la loro scoperta da parte dei motori di ricerca.
● Il rilevamento dei contenuti dei motori di ricerca viene semplificato attraverso un’unica chiamata API, rendendo più efficiente il web.
● Vengono ridotti i requisiti crescenti sul server
● Gli spider dei motori di ricerca non devono più eseguire scansioni esplorative per determinare se una pagina è stata aggiornata, riducendo il consumo di energia da parte dei server.
● A differenza di una mappa del sito XML, che reindirizza solo i crawler SEO alle pagine all’interno del tuo sito Web, IndexNow ti consente di informare i motori di ricerca di pagine codice di stato diverse da 200.
Spostando il processo di indicizzazione dei siti da un processo di scansione a qualcosa di più veloce ed efficiente, IndexNow è l’inizio di un nuovo modo di gestire l’indicizzazione.
E il fatto che grandi aziende come MSN, GitHub e WordPress lo abbiano adottato è il segnale forte che IndexNow potrebbe presto diventare la norma.
Se vuoi arrivare prima dei tuoi competitor è il momento di fare un check del tuo sito web. I tuoi contenuti sono tutti indicizzati correttamente? Contattaci per ottenere un’offerta personalizzata!
