成人av天堂中文在线_欧美黄色一级片免费_亚洲福利午夜污在线观看_国产成人精品无码视频_a级夜夜爽免费看_38d蜜桃臀无码中文字幕_国产精品综合一区二区vr在线观看_美女又美女又黄又免费网站_h动漫无遮挡成本人h视频999_久久亚洲精品天天综合网

職位描述

1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與開發(fā)(結(jié)構(gòu)化抽取，分布式，調(diào)度策略）；

2、研究爬蟲策略和防屏蔽規(guī)則，解決封鎖、驗(yàn)證碼、加密，等問題，優(yōu)化爬蟲效率和質(zhì)量；

3、對(duì)抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)，并持續(xù)優(yōu)化平臺(tái)，提升爬蟲穩(wěn)定性及可擴(kuò)展性。

4、向部長(zhǎng)匯報(bào)。

職位要求

1.至少1年爬蟲項(xiàng)目開發(fā)經(jīng)驗(yàn)；至少熟練掌握主流爬蟲框架中的一種

2.精通Python語(yǔ)言，熟練運(yùn)用多進(jìn)程、多線程開發(fā)；

3.熟悉爬蟲原理，熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁(yè)信息抽取技術(shù)以及提取多層Json結(jié)構(gòu)數(shù)據(jù)；

4.熟悉常見反爬機(jī)制，IP池、cookie、js加密等；對(duì)破解驗(yàn)證碼有豐富經(jīng)驗(yàn)，獨(dú)立解決js反爬和模擬登陸問題5.熟練使用Scrapy、Requests、Selenium、PhantomJS等框架；熟練使用抓包工具；

投遞郵箱