Récupération de données sur Internet

Partager
" Retour à l'index des glossaires

Web scraping is a method of extracting data from websites. It originated with the creation of the World Wide Web[1] Wanderer in 1993, and its techniques have evolved with technological advances. These techniques include text pattern matching, HTTP programming, and HTML[3] parsing. Despite its utility, web scraping has faced legal issues, with differing global perspectives on its legality. Some consider it a violation of site web[2] terms of service, leading to legal disputes. Nevertheless, many websites offer public data access via web APIs, which were first introduced in 2000. This method of data collection is continually developing, with its legality and techniques subject to ongoing changes.

Définitions des termes
1. World Wide Web ( World Wide Web ) Le World Wide Web, souvent appelé le Web, est une plateforme de système d'information très répandue avec laquelle des milliards de personnes interagissent quotidiennement. Inventé par Tim Berners-Lee en 1989 au sein de l'Organisation européenne pour la recherche nucléaire (CERN), le Web a été conçu pour prendre en charge les connexions entre plusieurs bases de données sur différents ordinateurs. Sa fonction est de faciliter le partage de contenu sur l'internet d'une manière conviviale. Pour ce faire, des serveurs web mettent à disposition des documents et des contenus multimédias. Les utilisateurs peuvent localiser ces ressources et y accéder grâce à des localisateurs de ressources uniformes (URL). Le web prend en charge différents types de contenu et permet une navigation aisée entre les sites web par le biais d'hyperliens. Son utilisation s'étend à divers secteurs, dont l'éducation, le divertissement, le commerce et le gouvernement, avec des informations fournies par des entreprises, des organisations, des agences gouvernementales et des utilisateurs individuels.
2. site web. Ce texte traite principalement du concept de "site web". Un site web est un ensemble de pages web interconnectées, comprenant généralement une page d'accueil, situées sur le même serveur et préparées et maintenues comme un ensemble de données par une personne, un groupe ou une organisation. Les sites web sont une pierre angulaire de l'internet, servant de centres d'information, de commerce, de communication et de divertissement. Ils peuvent revêtir diverses formes, telles que des sites commerciaux, des sites de jeux, des plateformes universitaires ou des sites de réseaux sociaux. Les sites web ont évolué au fil du temps, passant du texte et des images statiques à des plateformes multimédias dynamiques et interactives. Le développement et la fonctionnalité des sites web sont régis par les normes web établies par le World Wide Web Consortium (W3C). Les sites web sont également influencés par les progrès de la technologie des serveurs web et les principes de conception tels que le responsive design.

Récupération de données sur Internet, web harvestingou web data extraction is data scraping used for extracting data de sites web. Web scraping software may directly access the World Wide Web using the Hypertext Transfer Protocol or a web browser. While web scraping can be done manually by a software user, the term typically refers to automated processes implemented using a bot ou web crawler. It is a form of copying in which specific data is gathered and copied from the web, typically into a central local database or spreadsheet, for later retrieval ou analysis.

Scraping a web page involves fetching it and extracting from it. Fetching is the downloading of a page (which a browser does when a user views a page). Therefore, web crawling is a main component of web scraping, to fetch pages for later processing. Once fetched, extraction can take place. The content of a page may be parsed, searched and reformatted, and its data copied into a spreadsheet or loaded into a database. Web scrapers typically take something out of a page, to make use of it for another purpose somewhere else. An example would be finding and copying names and telephone numbers, companies and their URLs, or e-mail addresses to a list (contact scraping).

As well as contact scraping, web scraping is used as a component of applications used for web indexing, web mining et data mining, online price change monitoring and price comparison, product review scraping (to watch the competition), gathering real estate listings, weather data monitoring, website change detection, research, tracking online presence and reputation, web mashupet web data integration.

Web pages are built using text-based mark-up languages (HTML et XHTML), and frequently contain a wealth of useful data in text form. However, most web pages are designed for human end-users and not for ease of automated use. As a result, specialized tools and software have been developed to facilitate the scraping of web pages.

Newer forms of web scraping involve monitoring data feeds from web servers. For example, JSON is commonly used as a transport mechanism between the client and the web server.

There are methods that some websites use to prevent web scraping, such as detecting and disallowing bots from crawling (viewing) their pages. In response, there are web scraping systems that rely on using techniques in DOM parsing, computer vision et natural language processing to simulate human browsing to enable gathering web page content for offline parsing

" Retour à l'index des glossaires
fr_FRFR
Retour en haut