\u00c0 la suite de deux articles de The Markup sur le scraping, j\u2019en profite pour revenir sur ce morceau important du web et articuler quelques cl\u00e9s de lecture. Qu\u2019est-ce c\u2019est\u2009? Pourquoi est-ce important\u2009? Et quelques contextes d\u2019usage avec leurs enjeux.
\nIl y a quelques approximations par esprit de concision. Pardon par avance.
\n\nLe scraping est l\u2019op\u00e9ration consistant \u00e0 extraire syst\u00e9matiquement de l\u2019information d\u2019un ensemble de pages web (un site en particulier, une pelote de liens, etc.) pour constituer un jeu de donn\u00e9es (les donn\u00e9es, les changements dans ces donn\u00e9es, etc.) qui pourra \u00e9ventuellement servir \u00e0 produire une nouvelle information (comparaison, vue macro, etc.). Une fois automatis\u00e9e, cela permet de changer, l\u2019\u00e9chelle en quantit\u00e9 et en temporalit\u00e9, des informations provenant du web. Cela en fait un \u00e9l\u00e9ment important de l\u2019\u00e9cologie de la connaissance dans notre univers hyperm\u00e9diatique.
\nLe scraping mobilise les t\u00e2ches suivantes\u00a0:
\nLe degr\u00e9 z\u00e9ro est de le faire soit m\u00eame \u00e0 la main. Il y a longtemps, il y avait m\u00eame des extensions pour navigateurs, par exemple navicrawler du Medialab de Sciences Po, pour aider \u00e0 cela. La plupart du temps, c\u2019est un script dans un langage comme python qui permet d\u2019automatiser la partie r\u00e9p\u00e9titive.
\nPour abstraire et g\u00e9n\u00e9raliser l\u2019extraction d\u2019information, il faut souvent une comp\u00e9tence de compr\u00e9hension de la structure d\u2019une page web, c.-\u00e0-d. savoir lire du HTML, et en comprendre la syntaxe. Bien heureusement, le web est une technologie fondamentalement ouverte et tous les navigateurs permettent d\u2019afficher le code source d\u2019une page en deux clics (clic droit, voir le code source, clic gauche). Si vous entendez parler d\u2019\u00ab\u2009inspecter le code source\u2009\u00bb, c\u2019est cela, une manipulation qui permet de relier un \u00e9l\u00e9ment visuel avec un morceau de langage technique d\u00e9crivant cet \u00e9l\u00e9ment. Le jeu est alors de trouver le motif permettant de rassembler tous les \u00e9l\u00e9ments semblables.
\nCertains \u00e9diteurs de site web cherchent \u00e0 emp\u00eacher ce genre d\u2019op\u00e9ration, il n\u2019est alors pas rare d\u2019utiliser \u00e0 nouveau un script qui va simuler des s\u00e9ries d\u2019actions humaines dans un navigateur web. Redonnant ainsi un sens au terme de user agent qui permettait d\u2019identifier un navigateur comme un instrument d\u2019agissement (ou d\u2019agentivit\u00e9) d\u2019un utilisateur.
\nLe scraping et sa continuit\u00e9 de pratiques sont importants, car dans le paradigme marketing actuel de l\u2019intelligence artificielle, ce qui est automatisable a une bonne probabilit\u00e9 d\u2019\u00eatre recycl\u00e9 comme un service payant avec un travail qui est surtout de la conception d\u2019interface utilisateur, mais comme le design ne paie plus on parle de \u00ab\u2009robot\u2009\u00bb et d\u2019\u00ab\u2009intelligence artificielle\u2009\u00bb. Browse.ai est un exemple de ce genre de maquillage. D\u2019ailleurs, tout cela pourrait \u00eatre fait avec du travail humain en exploitant un service comme Mechanical Turk d\u2019Amazon et cela resterait du scraping. La diff\u00e9rence notable est la responsabilit\u00e9 de l\u2019usage de technologie et la volont\u00e9 de fermer les yeux, ou non, sur les conditions d\u2019extraction et d\u2019exploitation du travail. Dans ce contexte, la notion de comp\u00e9tence est \u00e9galement importante, car, bien que technique, savoir lire du HTML est une connaissance n\u00e9cessaire et normalement relativement facile d\u2019acc\u00e8s. On n\u2019est pas dans des affres de complexit\u00e9 et un minimum de p\u00e9dagogie fait l\u2019affaire. La promesse du no-code de l\u2019intelligence artificielle est une barri\u00e8re \u00e0 cela et emp\u00eache la r\u00e9solution du moindre probl\u00e8me ainsi que l\u2019identification d\u2019erreurs. C\u2019est une d\u00e9pendance directe au bon vouloir d\u2019une entreprise/d\u2019un service en fonction des orientations manag\u00e9riales et du march\u00e9.\nDit autrement, le scraping est un bon cas pour ouvrir les diff\u00e9rentes probl\u00e9matiques sociales invisibilis\u00e9es dans le paradigme dans lequel nous sommes plong\u00e9s depuis quelques ann\u00e9es et acc\u00e9l\u00e9rer par le succ\u00e8s commercial de OpenAI.
L\u2019autre point important est la complexification des technologies web. La professionnalisation des m\u00e9tiers du web et l\u2019\u00e9conomie num\u00e9rique alimentant un besoin de produire de plus en plus de pages am\u00e8nent \u00e0 un amoncellement de nouvelles solutions pour r\u00e9soudre des probl\u00e8mes sauf que chaque solution vient avec ses propres probl\u00e8mes. Pour mettre une page web en ligne, on est bien loin du glisser-d\u00e9poser d\u2019un fichier vers le FTP fourni gratuitement avec son acc\u00e8s \u00e0 Internet. Souvent, pas toujours, un site web est plus une surcouche sur une API, un point d\u2019acc\u00e8s programmatique, qui permet de g\u00e9n\u00e9rer des pages et d\u2019avoir une gestion plus dynamique de son contenu que le mod\u00e8le standard de la page web. Par exemple, plut\u00f4t que de faire une page diff\u00e9rente par personne c\u00f4t\u00e9 serveur, on va demander au navigateur d\u2019aller r\u00e9cup\u00e9rer des informations en parall\u00e8le et le laisser modifier la page \u00e0 un endroit qui sera indiqu\u00e9 par avance. Sch\u00e9matiquement. Une solution de repli pour l\u2019extraction d\u2019information est alors d\u2019aller la chercher dans l\u2019API. On s\u2019\u00e9loigne alors petit \u00e0 petit du scraping et de ce que percoit normalement un navigateur et donc du contexte de lecture ainsi que les diff\u00e9rentes transformations possibles. L\u2019information r\u00e9cup\u00e9r\u00e9e de cette fa\u00e7on est souvent d\u00e9j\u00e0 structur\u00e9e et ainsi plus propre.
\nCommen\u00e7ons par les choses qui f\u00e2chent. Le scraping a une fonction importante dans l\u2019\u00e9conomie num\u00e9rique. Les premiers comparateurs de prix utilisaient du scraping pour alimenter leurs contenus avant l\u2019av\u00e8nement du hangar global. Marc Zuckerberg a scrap\u00e9 les trombinoscopes, les facebooks, de sa fac pour en faire une comp\u00e9tition assez malsaine et \u00e0 la mode \u00e0 l\u2019\u00e9poque. Les startups sont friandes de donn\u00e9es personnelles laiss\u00e9es \u00e0 l\u2019air libre pour alimenter des bases de donn\u00e9es prospectives. Laisser son email en clair sur une page web, c\u2019est s\u2019assurer de retrouver sa boite inond\u00e9e de publicit\u00e9s. Avoir un profil public github, la plateforme de Microsoft pour publier du code, c\u2019est aussi la garantie de se faire prospecter de fa\u00e7on r\u00e9guli\u00e8re \u00e0 propos de nouveaux projets crypto.
\n\u00c0 ce titre, la CNIL est sur le coup et rappelle que c\u2019est interdit. Par contre, aller piller les autres bo\u00eetes, c\u2019est une autre histoire. Cousin proche du scraping, il y a un crawling qui indexe le contenu des pages pour les indexer dans un moteur de recherche. La diff\u00e9rence, c\u2019est peut-\u00eatre que le crawling est anticip\u00e9, et optimis\u00e9, par les \u00e9diteurs de site web. \u00c7a s\u2019appelle du SEO, ce n\u2019est pas beau \u00e0 voir et c\u2019est une tout autre histoire.
\nDans une autre mesure, la possibilit\u00e9 de scraper le web est un dommage collat\u00e9ral de la volont\u00e9 des acteurs du web commercial \u00e0 extraire une valeur \u00e9conomique de l\u2019attention des internautes. Afin de pouvoir assurer l\u2019exposition \u00e0 des publicit\u00e9s, Google cherche ainsi \u00e0 contr\u00f4ler la lecture d\u2019une page web avec tout un tas de complications dont l\u2019excuse est l\u2019int\u00e9grit\u00e9 de ce qui est d\u00e9clench\u00e9. C\u2019est assez fallacieux et c\u2019est un probl\u00e8me qui se mord la queue dans la mesure o\u00f9 le principal risque est les programmes malveillants qui se propagent par l\u2019interm\u00e9diaire du r\u00e9seau des banni\u00e8res publicitaires. C\u2019est une bataille du web en cours et le soutien, par l\u2019usage, de Firefox est vital.
\nC\u00f4t\u00e9 recherche, il y a diverses probl\u00e9matiques allant de la conservation \u00e0 l\u2019analyse du langage naturel ou bien l\u2019analyse des r\u00e9seaux sociaux.
\nLa plus importante est l\u2019archivage du web et sa conservation. De la m\u00eame fa\u00e7on que les crawlers commerciaux, l\u2019enjeu est de conserver de fa\u00e7on intacte le maximum de choses possibles. Cela concerne des projets comme l\u2019embl\u00e9matique archive.org et l\u2019archivage du web de la BnF et de l\u2019INA.
\nUne autre probl\u00e9matique est l\u2019analyse des controverses et le champ pr\u00e9c\u00e9dent des digital methods qui utilisent les mat\u00e9riaux comme un mat\u00e9riau pour construire des cartographies. C\u2019est beaucoup plus que cela, mais il y a des livres tr\u00e8s bien sur le sujet comme Controversy Mapping de Venturini et Munk.
\nhttps://themarkup.org/news/2020/12/03/why-web-scraping-is-vital-to-democracy
\nThe Markup est un m\u00e9dia US dont la th\u00e9matique est la technologie. N\u2019en faisant pas seulement un sujet, les journalistes de cette r\u00e9daction mobilisent r\u00e9guli\u00e8rement des m\u00e9thodologies d\u2019extraction d\u2019information qu\u2019il serait laborieux de faire manuellement. \u00c0 ce titre, ils soulignent que le scraping du web est important d\u2019un point de vue d\u00e9mocratique et central dans certaines de leurs enqu\u00eates. Cela d\u00e9range assez les gros acteurs pour que cela se termine devant la justice avec de gros enjeux de r\u00e9gulation.
\nLa question que je me pose alors est le lien entre pratique du scraping dans les r\u00e9dactions fran\u00e7aises et la faiblesse du journalisme de donn\u00e9es, en tant que champ, en France. Si vous \u00eates journaliste et que vous scrapez le web pour vos articles, cela m\u2019int\u00e9resse d\u2019en discuter dans le cadre d\u2019une \u00e9tude au long cours sur vos pratiques.
\nLa transparence et l\u2019acc\u00e8s de l\u2019information sont \u00e9galement importants pour la soci\u00e9t\u00e9 civile et l\u2019existence d\u2019un \u00e9cosyst\u00e8me citoyen qui ne soient pas dans une confrontation constante avec la sph\u00e8re marchande et la sph\u00e8re administrative.
\nLaisser la possibilit\u00e9 de construire de l\u2019information publique et de nouveaux services, comme vite ma dose, est un signe de sant\u00e9 d\u00e9mocratique, car il est alors possible de construire des communs et, enfin, orienter des technologies vers plus d\u2019inclusion, de solidarit\u00e9 et de compr\u00e9hension des collectifs.
\nL\u2019association UFC-Que Choisir construit ainsi une cartographie des drives \u00e0 partir d\u2019un scraping des sites des diff\u00e9rentes enseignes. \u00c0 partir de l\u00e0, il fournit un indicateur de co\u00fbt du panier moyen selon les profils de m\u00e9nage. Avec un peu de travail, il est possible de scraper \u00e0 nouveau ces pages pour les transformer en donn\u00e9es tabulaires permettant des analyses alternatives et de nouvelles mises en r\u00e9cit.
\nLe scraping est symbolique de la possibilit\u00e9 de prendre du recul, d\u2019avoir une vue d\u2019ensemble, \u00e0 propos du web et de ce qui y circule. Certainement pas une pratique quotidienne pour l\u2019internaute moyen, c\u2019est un indicateur de la fronti\u00e8re entre ce qui est ouvert ou ne l\u2019est pas sur le web. \u00c0 ce titre, sa pratique permet de mesurer la surface du web comme espace public. Une trajectoire vers moins de contenus qui seraient disponibles au regard des internautes par cet interm\u00e9diaire est indicateur d\u2019une opacit\u00e9 de l\u2019information. Les grandes entreprises technologiques, et les gouvernements, en parall\u00e8le, b\u00e9n\u00e9ficient d\u2019une grande transparence sur nos donn\u00e9es individuelles. Comme dirait Cory Doctorow \u00e0 propos de l\u2019interop\u00e9rabilit\u00e9, le scraping est une condition n\u00e9cessaire, mais pas suffisante pour un futur d\u00e9sirable o\u00f9 Internet reste omnipr\u00e9sent. Autrement dit, Internet ne peut pas \u00eatre une technologie sociale si le web ne reste pas ouvert et s\u2019il n\u2019y a pas la possibilit\u00e9 de construire une \u00e9cologie de la connaissance o\u00f9 le contr\u00f4le technique ne serait pas du c\u00f4t\u00e9 des citoyens.
\nDu c\u00f4t\u00e9 de la production de contenus, de pages et de sites web, il est ainsi important d\u2019avoir cette intention du web comme commun et espace public. La prolif\u00e9ration des applications pour smartphones (\u00e0 99,9\u00a0% r\u00e9serv\u00e9es aux jardins/enclos d\u2019Apple et de Google) est ainsi un grand pas vers la cl\u00f4ture du web et par extension de l\u2019information comme moteur de la d\u00e9mocratie.
\ntype\u00a0: #analyse\nsujets\u00a0: #openweb #scraping
\nMerci d'avoir lu ce texte ! On peut en discuter sur mastodon. Pour \u00eatre inform\u00e9\u00b7e lors de la parution de nouveaux articles, abonnez-vous au fil rss.
\n