小破站配置低，僅開放兩天給看官體驗(yàn)下。如有定制需求可以私聊哦~

前些天，有同學(xué)問(wèn)我能不能抓取Facebook廣告庫(kù)中的廣告素材，根據(jù)需要每天自動(dòng)發(fā)送指定產(chǎn)品的新素材。

Facebook的廣告庫(kù)理論上列出了所有在Facebook上展示的廣告素材，大家通常會(huì)去它的網(wǎng)頁(yè)端直接查看。但是如果同時(shí)在關(guān)注很多款產(chǎn)品，一個(gè)個(gè)地看過(guò)來(lái)的確會(huì)占用很多時(shí)間。

那既然有這需求了，咱就動(dòng)手吧。在廣告庫(kù)網(wǎng)頁(yè)的左下角有一個(gè)Ad Library API的鏈接，這么簡(jiǎn)單的嗎，接口居然這么明晃晃地給出來(lái)了？我感覺(jué)事情遠(yuǎn)沒(méi)有這么簡(jiǎn)單……

成與不成，試試再說(shuō)。打開

按照文檔中的說(shuō)明，隨便找個(gè)產(chǎn)品的粉絲頁(yè)ID，填入相應(yīng)參數(shù)：

果然報(bào)錯(cuò)了，提示是：

For access to the API you need to be authorized and logged into Facebook.To begin authorization, you can visit facebook.com/ID.

需要驗(yàn)證賬戶。訪問(wèn)它給的這個(gè)鏈接地址，跳轉(zhuǎn)到了如下頁(yè)面：

居然要先通過(guò)一個(gè)身份審核，這個(gè)審核是為了在Facebook上投放政治類廣告。感覺(jué)不太對(duì)啊，調(diào)用個(gè)查詢廣告的接口而已，我不花錢投放?。?br>
人在屋檐下不得不低頭，審核就審核吧，點(diǎn)擊開始驗(yàn)證：

沒(méi)有中國(guó)??？我就是要調(diào)個(gè)接口怎么這么難！

行吧，只能拿起媳婦的Facebook賬號(hào)和臺(tái)灣護(hù)照，提交審核。過(guò)了1天，審核通過(guò)了。我們繼續(xù)。

（此處本應(yīng)有截圖）

WTF，又報(bào)錯(cuò)了。本來(lái)應(yīng)該放個(gè)截圖，但是懶得換賬號(hào)再試一次，就不截了?？傊?，瞎折騰了兩天才發(fā)現(xiàn)通過(guò)這個(gè)接口只能查詢政治類廣告，難怪要通過(guò)之前的審核。

所以你這接口的參數(shù)放了這么多選項(xiàng)干啥？明明只能選擇政治類廣告。這么看來(lái)，F(xiàn)acebook開放這一接口只是迫于政治和輿論壓力，普通廣告主就別想通過(guò)這個(gè)接口輕松獲得其他廣告商的素材了。

既然這樣，通過(guò)調(diào)用接口實(shí)現(xiàn)開篇說(shuō)的需求是沒(méi)辦法了。我也不打算去破解Facebook的加密算法，那就簡(jiǎn)單粗暴祭出Puppeteer吧。

Puppeteer
Puppeteer is a project from the Google Chrome team which enables us to control a Chrome (or any other Chrome DevTools Protocol based browser) and execute common actions, much like in a real browser – programmatically, through a decent API. Put simply, it’s a super useful and easy tool for automating, testing and scraping web pages over a headless mode or headful either.
Puppeteer是Google Chrome團(tuán)隊(duì)推出的一個(gè)工具，允許我們通過(guò)調(diào)用API來(lái)模擬在Chrome瀏覽器中的真實(shí)操作。它被廣泛用于自動(dòng)化測(cè)試和網(wǎng)頁(yè)爬蟲。

思路很簡(jiǎn)單，訪問(wèn)

https://www.facebook.com/ads/library/?active_status=active&ad_type=all&country=ALL&impression_search_field=has_impressions_lifetime&view_all_page_id=這個(gè)鏈接，將粉絲頁(yè)的ID加到鏈接最后面，即可看到該粉絲頁(yè)的所有廣告。Facebook采用Ajax來(lái)展示和加載數(shù)據(jù)，因此需要不斷將頁(yè)面滾動(dòng)到最下面來(lái)獲取更多數(shù)據(jù)。

每個(gè)廣告元素都和這個(gè)類似：

我們可以通過(guò)歸納，抓取到每個(gè)廣告的ID、上線時(shí)間、標(biāo)題、描述以及視頻/圖片鏈接。

最后，每天定時(shí)爬取指定的粉絲頁(yè)，將上線時(shí)間為昨天的廣告通過(guò)郵件發(fā)送給自己。

由于項(xiàng)目代碼比較冗長(zhǎng)，此處不再上傳。