python爬蟲-requests與bs4獲得所有爐石傳說卡背

Eirunye 發(fā)布于2019-07-30 18:42 / 1022人閱讀

摘要：太簡單了就當做個記錄，直接貼代碼了發(fā)送請求設(shè)置編碼防止亂碼解析頁面和保存數(shù)據(jù)程序用時

太簡單了就當做個記錄，直接貼代碼了

import os
import requests
from bs4 import BeautifulSoup
import time
# 發(fā)送請求
def send():
    r = requests.get(url=base_url)
    # 設(shè)置編碼防止亂碼
    r.encoding ="GBK";
    content = r.text
    parseAndSave(content)
# 解析頁面和保存數(shù)據(jù)
def parseAndSave(html):
    soup = BeautifulSoup(html, "lxml")
    ulList = soup.find_all("ul", attrs={"class": "kzlist"})
    # print(ulList);
    for ul in ulList:
        li = ul.find_all("li");
        for item in li:
            name  = item.find("img").next_sibling
            obtain_method  = item.find("a").find("p").text
            rootDir = os.getcwd()
            if not os.path.exists(name):
                os.mkdir(name);
                os.chdir(name);
                src = item.find("a").find("img")["src"]
                pic = requests.get(src)
                with open("pic.jpg", "wb") as fw:
                      fw.write(pic.content)
                with open("info.txt", "a+") as fw:
                      fw.write(name+"
")
                      fw.write(obtain_method)
                os.chdir(rootDir);
def main():
    start_time = time.time()
    send()
    end_time = time.time()
    print("程序用時：",(end_time - start_time))
if __name__ == "__main__":
    base_url = "http://news.4399.com/gonglue/lscs/kabei/"
    cardList = []
    main()

云服務(wù)器 GPU云服務(wù)器爬蟲與python js獲得所有的文檔 python的requests安裝爐石 linux

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://www.ezyhdfw.cn/yun/42905.html

相關(guān)文章

一步一步教你如何搭建自己的視頻聚合站

摘要：不過因為各個平臺互相挖人的關(guān)系，導(dǎo)致關(guān)注的一些主播分散到了各個直播平臺，來回切換有點麻煩，所以萌生了做一個視頻聚合站的想法。后續(xù)我們會對這三個部分的功能做逐一展開說明。正則處理要求比較高，但是幾乎能應(yīng)對所有的情況，屬于大殺器。前言作為一個爐石傳說玩家，經(jīng)常有事沒事開著直播網(wǎng)站看看大神們的精彩表演。不過因為各個平臺互相挖人的關(guān)系，導(dǎo)致關(guān)注的一些主播分散到了各個直播平臺，來回切換有點麻...

justjavac 2019-07-30 14:20 評論0 收藏0
爬蟲問題總結(jié)

摘要：編碼我們發(fā)現(xiàn)，中有時候存在中文，這是就需要對進行編碼。可以先將中文轉(zhuǎn)換成編碼，然后使用方法對參數(shù)進行編碼后傳遞。本文檔對日常學(xué)習(xí)中用 python 做數(shù)據(jù)爬取時所遇到的一些問題做簡要記錄，以便日后查閱，部分問題可能因為認識不到位會存在一些誤解，敬請告知，萬分感謝，共同進步。估算網(wǎng)站規(guī)模該小節(jié)主要針對于整站爬取的情況。爬取整站之前，肯定是要先對一個網(wǎng)站的規(guī)模進行估計。這是可以使用g...

nanfeiyan 2019-07-30 16:34 評論0 收藏0
Python3爬蟲下載pdf（二）

摘要：爬蟲下載二最近在學(xué)習(xí)的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載下載以下模塊模塊模塊一源碼設(shè)置命令行參數(shù)功能下載目標最大的線程數(shù)。方法的作用與內(nèi)置函數(shù)類似，不過函數(shù)會在多個線程中并發(fā)調(diào)用方法返回一個生成器。 Python3爬蟲下載pdf（二）最近在學(xué)習(xí)python的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載下載以下模塊 bs4模塊 reques...

LancerComet 2019-07-30 14:32 評論0 收藏0
Python3爬蟲下載pdf（一）

摘要：爬蟲下載一最近在學(xué)習(xí)的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。 Python3爬蟲下載pdf（一）最近在學(xué)習(xí)python的爬蟲，并且玩的不亦說乎，因此寫個博客，記錄并分享一下。需下載以下模塊 bs4 模塊 requests 模塊一、源碼功能：下載指定url內(nèi)的所有的pdf 語法：將含有pdf的url放到腳本后面執(zhí)行就可以了 from bs4 import...

instein 2019-07-30 14:32 評論0 收藏0
Python3 爬蟲 requests+BeautifulSoup4(BS4) 爬取小說網(wǎng)站數(shù)據(jù)

摘要：剛學(xué)爬蟲不久，迫不及待的找了一個網(wǎng)站練手，新筆趣閣一個小說網(wǎng)站。繼續(xù)學(xué)習(xí)，有改進方案的歡迎提出來，一起交流。剛學(xué)Python爬蟲不久，迫不及待的找了一個網(wǎng)站練手，新筆趣閣：一個小說網(wǎng)站。前提準備安裝Python以及必要的模塊（requests，bs4），不了解requests和bs4的同學(xué)可以去官網(wǎng)看個大概之后再回來看教程爬蟲思路剛開始寫爬蟲的小白都有一個疑問，進行到什么時候...

taoszu 2019-07-30 18:36 評論0 收藏0