亚洲中字慕日产2020,大陆极品少妇内射AAAAAA,无码av大香线蕉伊人久久,久久精品国产亚洲av麻豆网站

資訊專欄INFORMATION COLUMN

python爬蟲招聘網站（智聯(lián)）

keelii / 2622人閱讀

摘要：年月日爬取，爬蟲代碼不知道是否失效文章目錄爬蟲目標具體過程源碼爬蟲目標要求搜索大數(shù)據(jù)專業(yè)，爬相關公司的招聘信息。

2021年10月7日爬取，爬蟲代碼不知道是否失效

爬蟲目標

要求：搜索“大數(shù)據(jù)”專業(yè)，爬相關公司的招聘信息。列數(shù)不少于10列，行數(shù)不少于3000 。

目標：搜索“大數(shù)據(jù)”，爬取智聯(lián)招聘 北京上海廣州深圳天津武漢西安 職位名稱，企業(yè)名稱，薪資，什么市(區(qū))，學歷要求，經驗要求，公司規(guī)模，公司性質，工作類型，詳情頁鏈接https

具體過程

登錄網站，搜索大數(shù)據(jù)，右鍵查看網頁源代碼

Ctrl+F搜索大數(shù)據(jù)工程師，發(fā)現(xiàn)數(shù)據(jù)都在網頁源代碼中


基本思路有了，可用正則直接在源碼里匹配得到數(shù)據(jù)，也可以打開開發(fā)者工具抓包分析接口用scrapy爬。這篇博客用正則表達式匹配。

pycharm響應成功。

然后用正則寫代碼就行了。

源碼

import reimport requestsimport timeheaders = {"User-Agent": "登陸后自己的user-agent",        "Cookie":"登陸后自己的cookie"   }for page in range(1,28):    #北京上海廣州深圳天津武漢西安的url    url=f"https://sou.zhaopin.com/?jl=854&kw=%E5%A4%A7%E6%95%B0%E6%8D%AE&p={page}"    time.sleep(5)    #停頓5秒    response = requests.get(url, headers=headers).text    for i in range(30):    #每頁有最多30條數(shù)據(jù)        name = re.findall(r""matchInfo":.*?"name":"(.*?)"", response)[i]  #工作名稱        companyName = re.findall(r""companyName":"(.*?)"", response)[i]        cityDistrict=re.findall(r""cityDistrict":"(.*?)"",response)[i]        education=re.findall(r""education":"(.*?)"",response)[i]  #學歷        salary60=re.findall(r""salary60":"(.*?)"",response)[i]  #薪資        workingExp=re.findall(r""workingExp":"(.*?)"",response)[i]  #經驗要求        property=re.findall(r""property":"(.*?)"",response)[i] #公司性質        companySize=re.findall(r""companySize":"(.*?)"",response)[i] #公司規(guī)模        workType = re.findall(r""workType":"(.*?)"", response)[i] #工作類型        positionURL=re.findall(r""positionURL":"(.*?)"",response)[i]#詳情頁鏈接        f = open("zhilian.csv", "a", encoding="utf8")        f.write("{},{},{},{},{},{},{},{},{},{}/n".format(name, companyName, cityDistrict,education,salary60,workingExp,property,companySize,workType,positionURL))        f.close()

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://www.ezyhdfw.cn/yun/124522.html

相關文章

  • node.js 89行爬蟲爬取智聯(lián)招聘信息

    摘要：智聯(lián)其實一共寫了兩次，有興趣的可以在源碼看看，第一版的是回調版，只能一次一頁的爬取。 寫在前面的話， 　　　.......還是不寫了，直接上效果圖。附上源碼地址 github.lonhon showImg(https://segmentfault.com/img/bVUM3F?w=714&h=543);showImg(https://segmentfault.com/img/bVUM...

    _ivan 評論0 收藏0

  • 簡歷大數(shù)據(jù)公司全員被抓，HR要注意什么？

    摘要：日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。買賣簡歷，直接違法。三人累計販賣個人簡歷萬余份，智聯(lián)招聘由此蒙受損失近 日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。到底發(fā)生了什么？?一 、為什么公司全員被抓？3月14日團隊被警方帶走，有HR等非核心成員回家，但核心高管依然失...

    邱勇 評論0 收藏0

  • 智聯(lián)招聘數(shù)據(jù)爬取準備(1)-智聯(lián)招聘搜索列表源碼解析

    摘要：網頁源碼解析智聯(lián)招聘搜索列表一開始必須要解析智聯(lián)招聘搜索列表頁，從這里更方便實現(xiàn)各種深層級數(shù)據(jù)抓取。顯示不同源碼也不同，盡量選列表模式，源碼更好解析。 網頁源碼解析 - 智聯(lián)招聘搜索列表 一開始必須要解析智聯(lián)招聘搜索列表頁，從這里更方便實現(xiàn)各種深層級數(shù)據(jù)抓取。網頁地址是：http://sou.zhaopin.com/jobs/searchresult.ashx 搜索參數(shù) 智聯(lián)招聘的服務...

    VPointer 評論0 收藏0

  • 簡歷大數(shù)據(jù)公司全員被抓，HR要注意什么？

    摘要：日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。買賣簡歷，直接違法。三人累計販賣個人簡歷萬余份，智聯(lián)招聘由此蒙受損失近日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。到底發(fā)生了什么？ ?一 、為什么公司全員被抓？ 3月14日團隊被警方帶走，有HR等非核心成員回家，但核心高管依然失聯(lián)中。3月25日，一位巧達科技前員工告訴燃財經。 在天眼查中北京...

    Loong_T 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<