Dati dal Web: Web Scraping

Oggi voglio parlarvi un po' di web scraping, e di come si possono estrarre informazioni da un sito web in modo rapido ed ottimale.
Nota: per comprendere quanto segue sono necessarie delle conoscenze di base di almeno un linguaggio di programmazione, un po' di HTML e di XML.

Come ormai sappiamo oggi giorno vale l'affermazione "su Internet trovi tutto".
E questo è vero! Sul web si trovano tutte le informazioni possibili ed immaginabili. Il problema, per chi come me vuole poter elaborare queste informazioni, è che questi dati non sono sempre fruibili in modo ottimale ai nostri scopi, e soprattutto, non sono utilizzabili "all'istante" perchè per poterle avere disponibili dobbiamo sempre scaricarli dal Web.
Ed è qua che entra il gioco il Web Scraping.
Per citare la Wiki inglese si può dire che Web scraping is a computer software technique of extracting information from websites. Usually, such software programs simulate human exploration of the World Wide Web. In parole povere quello che voglio proporvi oggi è un approccio per poter scaricare automaticamente in locale le informazioni contenute in una o più pagine web, e per poterle poi elaborare nel modo che si ritiene più opportuno.
D'altro canto cercherò anche di offrire delle soluzioni e dei metodi per potersi eventualmente difendere da tutto ciò, perchè come si dice "le informazioni sono fonte di potere".