版面導航:| 新聞資訊 | 統計導刊 | 數說民生 | 經世導刊 | 行業看臺 | 汽車時代 | 周末副刊 | 數苑觀象 | 地方經濟 | 新月刊 |
區域觀察 | 經濟觀察 | 城市經緯 | 藝苑大觀 | 調查月刊 | 特色產業 | 脫貧攻堅 | 青春之聲 | 大數據時代 | 法治利劍 | 統計戰“疫” |
  重點欄目:| 今日評論 | 潘璠視點 |
在北京卖串串赚钱吗 天津时时彩遗漏值统计 如何看北京pk拾走势图 河北11选5基本走势图 久久棋牌救济金送29 青海快三投注技巧 七星彩百万位杀号 股票推荐101私募 极速快三是不是合法 极速快三计划免费 半导体k线怎么跟上证线比较 防疫物資監測_“爬蟲”技術用處大_中國信息報
當前位置:[大數據時代] →返回首頁
更新時間:2020年02月28日 08:54:56

防疫物資監測_“爬蟲”技術用處大

■ 王科 

    新冠肺炎疫情防控中,一批大數據應用產品既方便了居民,又為政府決策提供借鑒與參考。特別是網絡“爬蟲”技術發揮了至關重要的作用。以醫用口罩、醫用酒精、消毒液、一次性手套等防疫物資為例,有必要對其供需狀況實施嚴密監測?紤]到相應物資的網上銷售占比較大,“爬蟲”技術可以作為數據監測的有益補充。
    
    防疫監測中 “爬蟲”技術顯優勢
    
    “爬蟲”技術在本質上是一種較簡單的人工智能,代替了瀏覽網站、查找數據并整理保存的人工手動操作。爬山虎、集搜客、八爪魚、后羿采集器等多個中英文“爬蟲”工具,可以 “零編程”抓取海量網絡數據。產品開發者運用程序內提供的智能采集功能設定抓取規則,經過調試與完善后,在后續的數據抓取過程中能夠實現“一鍵式”操作。
    一部分防疫物資通過淘寶、京東、蘇寧、小紅書等網站進行銷售,對相關網站數據進行抓取、匯總和分析,能夠得到相關物資的的信息。
    在疫情防控期間,出現了以“爬蟲”技術為基礎的大量應用工具,如與確診患者同行程查詢工具、疫情實時追蹤工具、疫情辟謠信息、確診患者活動軌跡查詢工具等,應用十分靈活與廣泛。在對疫情防疫物資的分析中,可以通過抓取關鍵字段,獲取銷售產品的商家、品牌、銷量、價格、規格、產地、物流、促銷活動與適用人群等信息,從而對相關數據進行深入挖掘與分析。
    
    醫用酒精網銷監測實例
    
    為更加清晰地說明“爬蟲”技術在防疫物資監測中的應用,下面介紹一則實例。使用后羿采集器,以南京市浦口區為收貨地,對京東商城2月5日-15日“75%醫用酒精”相關產品的網上銷售數據進行抓取及分析。
    供應情況:抓取結果顯示,醫用酒精的網上供應情況自2月13日后明顯好轉。從商家及上架商品數量看,2月5日,南京市浦口區居民可以通過京東商城,在97個商家出售的388個單品中選購“75%醫用酒精”相關產品,到2月15日,商家數量增長到337個,上架商品數量增加1889個,分別比2月5日提高了2.5倍和3.9倍。
    從上架商品的可獲得性看,需要搶購的商品占比由2月5日的10.3%下降到2月15日的4.9%,下降了5.4個百分點;暫時缺貨商品占比由46.1%下降到10.8%,大幅降低38.3個百分點;可加入購物車的商品占比由46.1%相應提高到84.3%。
    從可購商品的發貨日期看,需要延期3日以上發貨的商品占比由2月5日的24.2%,在2月11日達到最高值28.7%后,目前已經回落至3.1%,在物流公司逐步恢復運營后,絕大部分相關商品可以及時發貨。
    產品種類:酒精噴霧類產品和桶裝醫用酒精的供應增長較快,酒精棉球和酒精棉片等需要進一步加工的酒精產品仍相對緊缺。2月5日到15日,酒精噴霧類商品由215件大幅增加到1065件,在酒精相關商品中的占比由55.4%提高到56.4%,基本保持穩定;酒精棉球和消毒棉片的占比由9.5%和13.4%分別下降到2.8%和5.3%。
    
    如何加強“爬蟲”技術在防疫中的應用
    
    事實上,例子中僅為“爬蟲”技術在疫情防控物資監測中的一小部分粗淺應用,在加大投入的前提下,“爬蟲”技術可以進一步發揮作用。
    第一,建立防疫物資供應的預警機制!芭老x”技術可以緊跟現實數據更新的步伐,通過海量大數據,在較短的時間內完成對最新情況的數據描述。數據工作者可以借助“爬蟲”技術與疫情的變化情況“賽跑”,對疫情的發展超前預判,為各級防疫指揮機構提供科學權威的決策依據。
    第二,完善基于數據的分析決策機制。疫情防控下,等級響應機制、復工復學時間等重大決策,不僅依靠各部門通過逐級上報得到的匯總數據,也可以參考“爬蟲”抓取的網絡數據,形成更加科學、精準、高效的決策判斷。將“爬蟲”技術作為用數據說話、用數據決策的有益補充,形成大數據與傳統數據的聯動效應。
    第三,規范“爬蟲”工具的使用機制。使用“爬蟲”技術抓取數據,不可避免地會對被抓取網站的服務器帶來較大流量負擔,有時還可能涉及到網絡用戶的個人隱私,部分網站因此設置了反“爬蟲”機制,提高數據抓取門檻,設置數據抓取障礙。建議在疫情防控過程中,相關部門在充分發揮“爬蟲”技術作用的同時,通過細致的觀察與及時的總結,厘清應用“爬蟲”技術的范圍、條件與法律界限,確保數據獲取與使用合法依規,促進相關技術有序發展。
(作者單位:國家統計局南京調查隊)

 
[近期推薦]
· 國家統計局黨組深入學習...
· 寧夏局積極開展疫情期間...
· 廣東局密切監測分析疫情...
· 國家統計局黨組就貫徹落...
· 國家統計局黨組深入學習...
 
[聯系我們]
中國信息報記者名錄

新聞熱線:(010)63376728
廣告熱線:(010)63376800
發行熱線:(010)63376723
舉報電話:(010)63376713

中國產業報協會
產業報行業報新聞道德委員會
舉報投訴電話:010-65573925
舉報投訴郵箱:[email protected]

天津时时彩遗漏值统计 如何看北京pk拾走势图 河北11选5基本走势图 久久棋牌救济金送29 青海快三投注技巧 七星彩百万位杀号 股票推荐101私募 极速快三是不是合法 极速快三计划免费 半导体k线怎么跟上证线比较
報社簡介 | 廣告刊例 | 投稿信箱 | 記者名錄 | 新聞記者證管理辦法 | 報刊記者站管理辦法 |
通訊地址:北京月壇南街57號國家統計局中國信息報社 郵政編碼:100826
網址:http://www.397941.live 中國信息報社版權所有
京ICP備06043878號-2
天津时时彩遗漏值统计 如何看北京pk拾走势图 河北11选5基本走势图 久久棋牌救济金送29 青海快三投注技巧 七星彩百万位杀号 股票推荐101私募 极速快三是不是合法 极速快三计划免费 半导体k线怎么跟上证线比较 天津时时彩遗漏值统计 如何看北京pk拾走势图 河北11选5基本走势图 久久棋牌救济金送29 青海快三投注技巧 七星彩百万位杀号 股票推荐101私募 极速快三是不是合法 极速快三计划免费 半导体k线怎么跟上证线比较