![\"How](\"http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/wp-content\/uploadsnieuwssocial\/2015\/12\/WebScraper_PatricVanMaaren-700x366.png\" "\\"\\"")
<\/p>\n<\/p>\n
Web scraping is hot en niet alleen voor startups of growth hackers. Handige\u00a0(online)\u00a0marketeers\u00a0gebruiken het om sites\u00a0te\u00a0analyseren, marktonderzoek te doen of leads\u00a0te verzamelen.<\/p>\n
Web scraping is de extractie van informatie uit websites of applicaties van derden. Met speciale scripts of tools wordt ongestructureerde data van een website omgezet naar een gestructureerde opslag. Dit gebeurt in de vorm van een bestand\u00a0of database. Sommige tools kunnen ook\u00a0API’s maken, zodat je de data\u00a0uit de bron ook in andere applicaties kunt opvragen.<\/p>\n
Een opvallend voorbeeld is de\u00a0lead generation van een amerikaanse makelaarsfirma: zij scrapen<\/em>\u00a0de overlijdensberichten van online kranten om daarna de familie te benaderen en hulp te bieden bij de verkoop van het huis.<\/p>\n Marketing teams bij grote bedrijven\u00a0maken\u00a0ook al veel gebruik van web scraping technieken.\u00a0Denk hierbij aan:<\/p>\n De discussie wordt\u00a0sinds lange tijd gevoerd,\u00a0een bekend voorbeeld is de vete tussen Funda en Jaap.nl. Vaak\u00a0is het kopi\u00ebren\u00a0van informatie een inbreuk op auteurs- en\/of databankrecht.<\/p>\n Gebruik je de data\u00a0als input voor research waarmee je\u00a0nieuwe\u00a0informatie produceert, mag het vaak wel. Maar dat\u00a0hangt ook af van de gebruiksvoorwaarden van de website. Kortom een grijs gebied waar je bij twijfel een gespecialiseerde jurist bij moet\u00a0raadplegen.<\/p>\n Platformen, zoals Facebook, Twitter of LinkedIn, hebben\u00a0een eigen API waarmee je data kunt uitlezen. Vooral\u00a0bij blogs,\u00a0fora en community websites die dat niet hebben kan\u00a0web scraping een uitkomst zijn.<\/p>\n Wil je weten welke content het meest gelezen wordt, welke bezoeker\u00a0de meeste comments\u00a0schrijft, of wil je een lijst van populaire vloggers op YouTube? Dat kan eenvoudig,\u00a0als je gebruikt maakt van de juiste tool.<\/p>\n Vroeger\u00a0moest je veel zelf programmeren, maar met deze\u00a0nieuwe\u00a0tools is het eenvoudiger geworden. Ik noem er een paar die gratis te gebruiken of te proberen zijn:<\/p>\n <\/p>\n Om eenvoudig te beginnen heb ik in een aantal stappen een extractie gemaakt van de artikelen op\u00a0nieuws.marketing.<\/p>\n 1. Maak een account aan op Import.io,\u00a0installeer\u00a0en open de desktop applicatie.<\/p>\n 2. Klik op New<\/strong><\/p>\n 3. Kies Start Magic<\/strong><\/p>\n 4. Voer de URL in van de webpagina die je wilt scrapen, http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/<\/a><\/p>\n 5. Klik op Extract Data<\/strong><\/p>\n Je krijgt nu een overzicht van alle data gestructureerd in kolommen. In deze kolommen vind je bijvoorbeeld de titel van het artikel, het aantal views en de auteur.<\/p>\n <\/p>\n <\/p>\n 6. Klik op Save API<\/strong>\u00a0om de definitie van de extractie op te slaan en opnieuw te gebruiken<\/p>\n 7. In het\u00a0volgende scherm\u00a0selecteer je bij “How would you like to use the API?<\/em>” de optie\u00a0Bulk Extract<\/strong><\/p>\n 8. Open een spreadsheet en maak even snel een samenvoeging van het hoofdbestanddeel van de url van overzichtspagina (http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/page\/<\/a>) en de nummers 2 tot en met …\u00a0(de laatste overzichtspagina)<\/p>\n <\/p>\n <\/p>\n 9. Knip en plak de eerste webpagina\u00a0http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/<\/a>\u00a0en de gehele lijst uit de spreadsheet voor overzichtpaginas 2 t\/m \u2026 in het veld voor extractie<\/p>\n <\/p>\n <\/p>\n 10. Klik op Run Queries<\/strong> en wacht op het resultaat<\/p>\n 11. Klik daarna op\u00a0Export<\/strong>, en vervolgens\u00a0Spreadsheet<\/strong> om de file op te slaan als csv bestand<\/p>\n <\/p>\n <\/p>\n 12. Open het csv-bestand in je spreadsheet.<\/p>\n Vervolgens schoon je de data een beetje op en haal je daar met een Pivot table eenvoudig wat cijfers uit, zoals de top 3 auteurs van 2015\u00a0naar\u00a0aantal artikelen en totaal aantal views.\u00a0Wil je zelf met de data aan de slag, maak dan een kopie van deze\u00a0spreadsheet<\/a>.<\/p>\n De tussenstand van 19 december 2015:<\/p>\n\n
Mag het eigenlijk wel?<\/h2>\n
Hoe pas je dit op Social Media toe?<\/h2>\n
Welke tools zijn er?<\/h2>\n
\n
How To: Web scraping\u00a0met Import.io<\/h2>\n
![\"webscraping_1\"](\"http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/wp-content\/uploadsnieuwssocial\/2015\/12\/webscraping_1-700x379.png\" "\\"\\"")
<\/p>\n![\"Google](\"http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/wp-content\/uploadsnieuwssocial\/2015\/12\/webscraping_2-700x382.png\" "\\"\\"")
<\/p>\n![\"Import.io](\"http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/wp-content\/uploadsnieuwssocial\/2015\/12\/webscraping_3-700x375.png\" "\\"\\"")
<\/p>\n![\"Import.io](\"http:\/\/www.socialmediasocialmedia.nl\/strategie_nieuws\/wp-content\/uploadsnieuwssocial\/2015\/12\/webscraping_4-700x375.png\" "\\"\\"")
<\/p>\nDe resultaten<\/h2>\n
\n
Ge\u00efnspireerd?<\/h2>\n