Se a programação é como mágica, então o web scraping é certamente uma forma de aplicação dessa mágica.Ao escrever um programa automatizado simples, você pode consultar servidores da web, solicitar dados e analisá-los para extrair as informações neces sárias.Esta terceira edição, totalmente atualizada, não só apresenta você ao web scraping, mas também serve como um guia abrangente para coletar quase todos os tipos de dados disponíveis na web.A Parte I deste livro tem como foco os princípios básico s do web scraping:como utilizar Python para solicitar informações de um servidor web, realizar o tratamento básico da resposta do servidor e começar a interagir com sites de forma automatizada.A Parte II explora uma variedade de ferramentas e aplicaç ões mais específicas para se adequar a qualquer cenário de web scraping que você provavelmente encontrará.Este livro mostra como:Fazer o parsing de páginas HTML complexasDesenvolver crawlers com o framework ScrapyAprender métodos para armazenar os dados coletadosLer e extrair dados de documentosLimpar e normalizar dados mal formatadosLer e escrever linguagens naturaisRastrear formulários e loginsFazer o scraping de JavaScript e rastrear APIsUtilizar e escrever software de conversão de i magem em textoEvitar armadilhas de scraping e bloqueadores de botsUtilizar scrapers para realizar testes em seu site