#高速擁擠#
在11號(hào)高速公路上堵車(chē)已經(jīng)不是新聞了,但出發(fā)前要檢查路況。否則高速堵塞會(huì)很不方便。
百度推出的節(jié)假日出行儀表板中就有全國(guó)高速擁堵情況的數(shù)據(jù)。如果你選中其中一條高速就會(huì)顯示擁堵的路段:
我們今天就來(lái)測(cè)試一下抓取高速實(shí)時(shí)擁堵路況數(shù)據(jù)。
網(wǎng)站分析
在谷歌瀏覽器檢查中找到roadrank這一行:
這就是我們需要高速擁堵排行數(shù)據(jù),點(diǎn)選一條高速再找到highwayroadinfo這一行:
就是具體的高速擁堵路徑點(diǎn)。
以上兩組數(shù)據(jù)都是jsoncallback,我們只要提取括號(hào)中的內(nèi)容就能做json格式分析。
試抓:
大家有沒(méi)有發(fā)現(xiàn),地圖上提供的各種數(shù)據(jù),好像都比較容易抓取,沒(méi)有那么多的驗(yàn)證,希望百度這個(gè)數(shù)據(jù)也是這樣。
果然這樣,連時(shí)間戳都不用修改,就能直接抓,太方便了。
路徑點(diǎn)數(shù)據(jù)也是一樣的。
接下來(lái)的就是數(shù)據(jù)展開(kāi)與整理,擁堵排名數(shù)據(jù)里有個(gè)日期時(shí)間的整理值得說(shuō)一下:
我們要把字符串格式的日期時(shí)間轉(zhuǎn)換成日期時(shí)間格式:
Da([data_time],8,"T"))
我們要在202010071130中間添加一個(gè)T變成這樣20201007T1130,這樣就可以被Da函數(shù)識(shí)別了。
路徑數(shù)據(jù)整理涉及到一個(gè)逆透視排列經(jīng)緯度的工作,就是要添加索引,用MOD,INT函數(shù)來(lái)處理編號(hào),然后再透視就可以了:
要有兩列0101的列與001122的列,然后用0101列做透視,就排好了:
定義函數(shù)
全國(guó)的數(shù)據(jù)太多,我們要抓取某省份的數(shù)據(jù),就要通過(guò)省份的編號(hào)來(lái)抓?。?/p>
省份編號(hào)列表在一個(gè)js文件中:
也是json格式,直接復(fù)制出來(lái)就可以了。
我們測(cè)試一下抓取廣東數(shù)據(jù):
定義路徑點(diǎn)函數(shù):
同樣做一個(gè)測(cè)試:
抓取
我們要在第一個(gè)函數(shù)引用結(jié)果之上抓取各條高速的路徑點(diǎn)數(shù)據(jù)然后展開(kāi):
展開(kāi)數(shù)據(jù):
把這份數(shù)據(jù)加載,做一個(gè)圖出來(lái):
幾條小蚯蚓,慢慢爬行。
1.《001122,干貨看這篇!Power Query 百度實(shí)時(shí)高速擁堵路況數(shù)據(jù)》援引自互聯(lián)網(wǎng),旨在傳遞更多網(wǎng)絡(luò)信息知識(shí),僅代表作者本人觀點(diǎn),與本網(wǎng)站無(wú)關(guān),侵刪請(qǐng)聯(lián)系頁(yè)腳下方聯(lián)系方式。
2.《001122,干貨看這篇!Power Query 百度實(shí)時(shí)高速擁堵路況數(shù)據(jù)》僅供讀者參考,本網(wǎng)站未對(duì)該內(nèi)容進(jìn)行證實(shí),對(duì)其原創(chuàng)性、真實(shí)性、完整性、及時(shí)性不作任何保證。
3.文章轉(zhuǎn)載時(shí)請(qǐng)保留本站內(nèi)容來(lái)源地址,http://f99ss.com/yule/2028089.html