亚洲日本亚洲黄色网站,欧美色射,亚洲黄色官网,人妻视频自拍网站,亚洲曰韩国产乱人伦,欧美XXXX色视频在线观看免费,亚洲色图1

**Python軟件開(kāi)發(fā)工程師 9-13K元/月

立即開(kāi)聊
投遞簡(jiǎn)歷
  • 1周前

    最近登錄

  • 1年

    會(huì)員等級(jí)

  • 單位性質(zhì): 民營(yíng)企業(yè)
  • 注冊(cè)資金:
  • 員工人數(shù):20-99
  • 營(yíng)業(yè)執(zhí)照:
  • 基本信息

  • 職位描述

    職位描述:
    1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)
    (如抓取調(diào)度,多樣化抓取,頁(yè)面解析和結(jié)構(gòu)化抽取)、技術(shù)選型:
    2、研究爬蟲(chóng)策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼、混淆加密,算法還原,so層,頁(yè)面跳轉(zhuǎn)等難點(diǎn)攻克,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量:
    3、對(duì)抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)等,并持續(xù)優(yōu)化平臺(tái),以便滿足各種爬取業(yè)務(wù)需求。
    崗位要求:
    1.精通Python語(yǔ)言或者Java語(yǔ)言,至少熟練掌握主流爬蟲(chóng)框架中的一種:熟悉常用的庫(kù)requests/gevent等
    2.了解各種加密算法,在破解驗(yàn)證碼方面有豐富經(jīng)驗(yàn),能夠獨(dú)立解決is反爬和模擬登陸問(wèn)題:
    3.熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁(yè)信息抽取技術(shù):
    4.熟悉常見(jiàn)反爬機(jī)制,驗(yàn)證碼識(shí)別,IP代理池
    應(yīng)用lp池、headers認(rèn)證和cookie等
    5.熟練掌握應(yīng)用Selenium、PhantomJS
    Splash、Puppeteer實(shí)施動(dòng)態(tài)抓取;
    6.熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先;
    7熟悉數(shù)據(jù)清洗,能夠用numpy、pandas
    iieba等工具對(duì)數(shù)據(jù)進(jìn)行處理者優(yōu)先:
    8.熟悉mvsgl、mongodb、redis.
    rabbitMQ、kafka、spark者優(yōu)先
    聯(lián)系我時(shí),請(qǐng)說(shuō)是在吉安人事人才網(wǎng)上看到的,謝謝!
  • 競(jìng)爭(zhēng)力分析
    你的競(jìng)爭(zhēng)力超過(guò)了
    的求職者
    查看完整個(gè)人競(jìng)爭(zhēng)力>>

  • 聯(lián)系方式

    溫馨提示:以任何形式向勞動(dòng)者收取定金、保證金(物)的行為均違反《中華人民共和國(guó)勞動(dòng)法》,請(qǐng)求職者提起注意并加以甄別。
  • 投遞簡(jiǎn)歷
    立即開(kāi)聊
  • 熱門(mén)搜索
  • 熱門(mén)職位
  • 熱門(mén)城市
  • 其他區(qū)域
×
完善簡(jiǎn)歷提醒
你當(dāng)前的在線簡(jiǎn)歷填寫(xiě)不完整,現(xiàn)在投遞求職成功率不高, 建議先完善后再投遞,不能浪費(fèi)任何一個(gè)機(jī)會(huì)哦~
去完善
暫不投遞