Référencement / SEO

[johanricher]

Contexte

Les moteurs de recherche grand public comme Google sont aujourd'hui de loin le principal point d'entrée des parcours utilisateurs aboutissant à l'utilisation de données sur les portails open data comme data.gouv.fr.

Actuellement ecologie.data.gouv.fr est le seul portail basé sur udata-front-kit qui est bien référencé par les moteurs de recherche.

Exemples

Travaux spécifiques faits sur ecologie.data.gouv.fr, voir notamment :

• Référencement des bouquets par les moteurs de recherche ecolabdata/ecospheres#171
• Explications complémentaires apportées par @abulte sur Tchap :

Point-clés

• Il y a de la logique côté front pour générer des métadonnées SEO potables, l'enjeu est de les rendre découvrable par les moteurs de recherche
• Sur ecologie, on a fait le choix de ne pas indexer les jeux de données et les organisations, on considère jusqu'à présent que data.gouv.fr est la source canonique
• Il y a un fichier robots.txt personnalisable par verticale, cf celui d'ecologie qui exprime les contraintes citées plus haut https://ecologie.data.gouv.fr/robots.txt (celui de logisitique est celui par défaut, il autorise tout)
• On a effectivement branché la console Google search pour monitorer un peu le résultat, de mémoire via un TXT sur le DNS via data.gouv.fr pour valider le domaine
• Malgré des infos parfois différentes, Google n'est toujours pas capable de crawler correctement une SPA. Le seul moyen que j'ai trouvé de contourner ça est de générer un sitemap https://ecologie.data.gouv.fr/sitemap.xml avec les pages qui nous intéressent.
• Google n'est pas capable de récupérer un sitemap généré via une SPA ou un sitemap hébergé sur un autre domaine, il faut donc s'arranger pour générer et servir de manière statique le sitemap.xml. La logique de génération est ici https://github.com/ecolabdata/ecospheres-sitemap, le script tourne sur les infras de data.gouv.fr et la redirection vers le bon fichier est faite également par data.gouv.fr.

Description

Ce ticket concerne de manière générale l'amélioration du référencement par les moteurs de recherche de tous les portails basé sur udata-front-kit. Différentes tâches plus ou moins complexes peuvent être envisagées pour améliorer le référencement, qui feraient l'objet de tickets dédiés et qui seront le cas échéant listés ci-dessous.

[maudetes]

1. Première action : enlever la balise noindex sur logistique.data.gouv.fr, culture.data.gouv.fr, etc.
   • see PR: chore(logistique): change meta tag from 'noindex, nofollow' to 'index, follow' #918
2. Est-ce qu'on veut indexer les pages datasets / organizations ?
   • à date, on choisit de ne pas indexer les datasets & organisations des verticales
     • à rendre générique par défaut pour toutes les verticales
   • si on veut indexer certains JDDs / orgas
     • enquêter sur les impacts SEO (en discuter avec @Jonathan2051)
     • renseigner la bonne url canonique
     • les JDDs transport.data.gouv.fr sont indexés, peut-être leur demander un retour
     • à faire sur un périmètre précis et limité si on veut tester
3. Rajouter un bandeau vers les verticales depuis data.gouv.fr ?
   • Est-ce pertinent pour les 80k de ecologie.data.gouv.fr ?
   • Quel affichage côté produit ? Notamment s'il y a une multiplication des bandeaux (fiche originale moissonnée, transport, verticales, etc.)
   • Dans le cas de ecologie, est-ce qu'il serait intéressant de plutôt pointer les bouquets qui utilisent ces JDDs ?
     • soit à la place du bandeau, soit dans les réutilisations, autre ?
   • Possibilité de présenter le bandeau sur certaines orgas plutôt que présence dans l'univers (ex: Ministère Culture)
4. Gestion du sitemap
   • Avoir un job générique ?
     • Aujourd'hui, ecologie.data.gouv.fr a préparé un job, qui est schédulé côté data.gouv.fr
     • le déploiement est déporté, plus à la main directe des verticales
   • Est-ce qu'on peut inclure les sitemaps dans celle de data.gouv.fr ?

[johanricher]

@Jonathan2051

Questions qui sont remontées à cette occasion et qui concernent de manière plus globale la stratégie SEO de datagouv :

• Comment gérer doublons de jeux de données entre plusieurs portails ? Est-ce que ça peut être pénalisé par Google que plusieurs portails publient la même information ?
• Sitemap : au niveau du portail ou dans datagouv ?

[Jonathan2051]

Hello @johanricher @maudetes, ce sont de bonnes interrogations. Tout ceci est sur ma feuille de route, mais l'optimisation SEO/analytics du vaisseau amiral data.gouv me prend pas mal de temps 😅

Quelles sont les verticales prioritaires ? Je vais les analyser et reviendrai vers vous dans 2 semaines avec des recommandations.

Pour commencer, je peux déjà dire :

• il faut bien un fichier sitemap pour data.gouv et un pour chacune des verticales
• toute page en double sur les verticales (datasets, organisations et autres) doit intégrer une balise canonique pointant vers la page correspondante de data.gouv
• toute page en double sera exclue du sitemap des verticales

[johanricher]

Merci beaucoup Jonathan pour ces premiers éléments. En effet pas d'urgence sur les verticales, c'est moins prioritaire que ce qui touche directement à data.gouv.fr.

Pour l'instant la verticale qui a implémenté le plus de choses sur ce sujet c'est ecologie.data.gouv.fr. En fonction de tes retours, on pourra appliquer une implé similaire ou différente sur les autres verticales.

C'est secondaire mais transport.data.gouv.fr pourrait aussi être analysé même si la solution sous-jacente est très différente (antérieure à udata-front-kit) car ça a peut-être des implications sur le bon référencement de data.gouv.fr et la problématique est la même (les jeux de données référencés sur transport.data.gouv.fr sont publiés d'abord sur data.gouv.fr).

[Jonathan2051]

Hello @johanricher, comme convenu, voici ma note SEO au sujet des transversales Ecologie et Transport

⚠️ Je précise qu’il s’agit là de grands principes du SEO applicables rapidement. Un référentiel en bonne et due forme sera produit début 2026 et déployé à l’ensemble des verticales.

Verticale : ecologie.data.gouv.fr

• Supprimer les balises parasites « < H5 > Qualité des métadonnées ». Ex : https://ecologie.data.gouv.fr/datasets et https://ecologie.data.gouv.fr/bouquets/iarbre-enraciner-la-resilience-climatique-des-territoires-en-cultivant-les-donnees-1 et https://ecologie.data.gouv.fr/organizations/ademe
• Respecter la hiérarchie des balises (ne pas passer de h2 à h4). Ex : https://ecologie.data.gouv.fr/datasets
• Indiquer une balise meta description pour chacune des pages. Ex : https://ecologie.data.gouv.fr/datasets, https://ecologie.data.gouv.fr/indicators, https://ecologie.data.gouv.fr/bouquets
• La balise meta description doit contenir idéalement 155 signes
• Ajouter une URL canonique sur tous les datasets*

*Toute page qui importe son contenu d’un autre site web (en l’occurrence data.gouv.fr doit indiquer la source en url canonique)

Verticale : https://transport.data.gouv.fr/

• Veiller à n’intégrer qu’une seule et unique balise H1 par page
• Respecter la hiérarchie des balises Hn (ex : ne pas passer de h2 à h4)
• Cette hiérarchie est également à respecter dans la rédaction des articles de blog https://blog.transport.data.gouv.fr/
• Créer un fichier sitemap.xml accessible via le fichier robots.txt

PS : J’ai tenté de lancer mon crawler sur transport.data.gouv.fr pour une analyse plus fine, mais je me suis mangé un mur « HTTP ERROR 429 » (Too many requests) 😓

[abulte]

Je lance les travaux sur https://github.com/opendatateam/udata-front-kit-seo (privé pour le moment), qui gérera de façon générique (ie pour toutes les verticales) :

• la génération et la publication du sitemap.xml (currently https://github.com/ecolabdata/ecospheres-sitemap et un dag Airflow pour simplifions, rien pour les autres)
• la génération et la publication du robots.txt (currently fait par une GitHub Actions dans ce dépôt pour certaines verticales : ecologie, simplifions et culture)

Voir aussi #1004 pour la nouvelle conf associée.

[abulte]

udata-front-kit-seo est opérationnel 🚀

Pour l'instant c'est déployé uniquement sur logistique.data.gouv.fr (eg https://logistique.data.gouv.fr/sitemap.xml). Le dépôt est générique mais il y a une étape de configuration sur l'infra pour chaque verticale. Au fur et à mesure des déploiements des différents sites/env, il faudra configurer l'infra.

A checker aussi : l'efficience de l'ajout des robots et sitemap vàv du référencement, peut-être que ça ne suffit pas. Logistique n'est visiblement pas encore indexé par exemple. Prochaine étape : brancher la console google et vérifier.

[abulte]

Constat logistique :

• aucune page indexée à cause du no-index précédemment déployé
• sitemap non détecté

Actions :

• ajout du sitemap