摘要：介紹本篇博客將繼續(xù)上一篇博客爬蟲之使用的模塊爬取各國國旗的內(nèi)容，將用來實(shí)現(xiàn)這個(gè)爬蟲，下載全世界國家的國旗圖片。

??本篇博客將繼續(xù)上一篇博客：Python爬蟲之使用Fiddler+Postman+Python的requests模塊爬取各國國旗 的內(nèi)容，將用Java來實(shí)現(xiàn)這個(gè)爬蟲，下載全世界國家的國旗圖片。項(xiàng)目不再過多介紹，具體可以參考上一篇博客。
??我們將全世界國家的名稱放在一個(gè)txt文件中，每一行一個(gè)國家名字，該文件位于E盤flag目錄下，名稱為countries.txt， 部分內(nèi)容如下：

??我們這個(gè)爬蟲的思路還是和上一篇博客的思路一樣：先是讀取countries.txt中的國家名稱，以國家名稱為參數(shù)，讀取該國家搜索后的所在網(wǎng)頁，再找到該搜索網(wǎng)頁中的國家的國旗圖片，并實(shí)現(xiàn)下載。這個(gè)搜索的過程，我們可以用Java的URL包中的POST方法來實(shí)現(xiàn)，關(guān)于POST方法的請求頭和請求體，可以用Fiddler工具進(jìn)行抓包分析。
??該Java項(xiàng)目的具體結(jié)構(gòu)如下：

其中用到的第三方API為commons-io和Jsoup，主函數(shù)為Country_Flag_Download.java，其java代碼完整如下：

package wikiScrape;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

import org.apache.commons.io.FileUtils;

public class Country_Flag_Download {

    public static void main(String[] args){
        
        String fileName ="E://flag/countries.txt";
        // 讀取countries.txt文件中的國家名，儲存在ArrayList中
        ArrayList countries = readFileByLines(fileName);
        
        for(String country: countries) {
            String page = doPost(country); // 獲取國家所在的網(wǎng)頁
            if (page.indexOf("html") >= 0) { // 獲取成功
                getContent(page);            // 下載該國國家的國旗
            }
        }
        
        System.out.println("國旗下載完畢！");
        
    }

    /* 發(fā)送HTTP的POST請求，獲取指定國家的網(wǎng)頁地址
     * 傳入?yún)?shù)：country(國家): String類型
     */
    public static String doPost(String country){

        String url = "http://country.911cha.com/";

        try {
            // 設(shè)置網(wǎng)址，打開連接
            URL obj = new URL(url);
            HttpURLConnection conn = (HttpURLConnection) obj.openConnection();
            
            // 設(shè)置POST請求頭和請求體，請求體的參數(shù)為國家(country)
            conn.setUseCaches(false);
            conn.setRequestMethod("POST");
            String USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36";
            conn.setRequestProperty("User-Agent", USER_AGENT);
            conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8");
            String postParams = String.format("q=%s", country);

            // 傳入POST請求體的參數(shù)
            conn.setDoOutput(true);
            OutputStreamWriter os = new OutputStreamWriter(conn.getOutputStream(),"UTF-8");
            os.write(postParams);
            os.flush();
            os.close();
            
            // 獲取響應(yīng)結(jié)果狀態(tài)碼
            int responseCode = conn.getResponseCode();

            if (responseCode == HttpURLConnection.HTTP_OK) { //如果響應(yīng)狀態(tài)碼為200

                // 將HTML內(nèi)容解析成UTF-8格式
                Document doc = Jsoup.parse(conn.getInputStream(), "utf-8", url);
                // 刷選需要的網(wǎng)頁內(nèi)容
                String page = doc.select("div.mcon").get(1)
                                        .selectFirst("ul")
                                        .selectFirst("li")
                                        .selectFirst("a")
                                        .attr("href");
                return page;

            } 
            else { // 如果響應(yīng)狀態(tài)碼不是200， 則返回"Get page failed!"
                return "Get page failed.!";
            }
        }
        catch(Exception e){
            return "Get page failed.";
        }
    }
    
    // getContent()函數(shù)主要實(shí)現(xiàn)下載指定國家的國旗
    public static void getContent(String page){
        
        String base_url = "http://country.911cha.com/";
        String url = base_url+page;
        
        try{
            // 利用URL解析網(wǎng)址
            URL urlObj =  new URL(url);
            // URL連接
            URLConnection urlCon = urlObj.openConnection(); // 打開URL連接
            // 將HTML內(nèi)容解析成UTF-8格式
            Document doc = Jsoup.parse(urlCon.getInputStream(), "utf-8", url);
            // 刷選需要的網(wǎng)頁內(nèi)容
            Element image = doc.selectFirst("img");
            String flag_name = image.attr("alt").replace("國旗", "");
            String flag_url = image.attr("src");
            
            URL httpurl = new URL(base_url+"/"+flag_url);
            // 利用FileUtils.copyURLToFile()實(shí)現(xiàn)圖片下載
            FileUtils.copyURLToFile(httpurl, new File("E://flag/"+flag_name+".gif"));
            
            System.out.println(String.format("%s國旗下載成功~", flag_name));
            
        }
        catch(Exception e){
            e.printStackTrace();
            System.out.println("下載失敗！");
            
        }

    }
    
    // 以行讀取文件，返回ArrayList, 里面的元素為每個(gè)國家的名稱
    public static ArrayList readFileByLines(String fileName) {  

        File file = new File(fileName);  
        BufferedReader reader = null;  // 設(shè)置reader為null
        ArrayList countries = new ArrayList();

        try {  

            reader = new BufferedReader(new FileReader(file));  
            String tempString = null;  
            
            // 一次讀入一行，直到讀入null為文件結(jié)束  
            while ((tempString = reader.readLine()) != null)
                countries.add(tempString); // 在列表中添加國家名稱
             
            reader.close(); // 關(guān)閉reader
            
            return countries;
        } 
        catch (IOException e) {  
            return countries;  
        } 
        finally {  
            if (reader != null) {  
                try {  
                    reader.close();  
                }
                catch (IOException e1) {  
                    e1.printStackTrace();
                }  

            }  

        }  

    } 
    

}

??點(diǎn)擊運(yùn)行該Java程序，可以發(fā)現(xiàn)在E盤的flag目錄下已經(jīng)下載了全世界國家的國旗圖片，查看如下：

??Bingo， 我們的Java爬蟲程序運(yùn)行成功！本次爬蟲的主要目標(biāo)是為了在Java中實(shí)現(xiàn)類似于Python中的requests模塊的POST方法~

注意：本人現(xiàn)已開通兩個(gè)微信公眾號： 因?yàn)镻ython（微信號為：python_math）以及輕松學(xué)會Python爬蟲（微信號為：easy_web_scrape）， 歡迎大家關(guān)注哦~~