使用Go+GoQuery庫實現(xiàn)頭條新聞采集

更新時間：2023年10月30日 09:33:40 作者：億牛云爬蟲專家

在本文中,我們將介紹如何使用Go語言和GoQuery庫實現(xiàn)一個簡單的爬蟲程序,用于抓取頭條新聞的網(wǎng)頁內(nèi)容,我們還將使用爬蟲代理服務,提高爬蟲程序的性能和安全性,我們將使用多線程技術,提高采集效率,最后,我們將展示爬蟲程序的運行結果和代碼,需要的朋友可以參考下

正文

GoQuery簡介

GoQuery是一個Go語言的庫，用于解析和操作HTML文檔。它提供了類似于jQuery的API，讓我們可以方便地查詢和處理網(wǎng)頁元素。GoQuery可以從本地文件、字符串或者網(wǎng)絡請求中加載HTML文檔，并返回一個文檔對象。我們可以使用選擇器、過濾器、遍歷器等方法來操作文檔對象中的節(jié)點。GoQuery還支持鏈式調(diào)用，讓我們可以編寫更簡潔和優(yōu)雅的代碼。

爬蟲代理服務簡介

爬蟲代理服務是一個專業(yè)的代理IP服務商，提供高質(zhì)量、高速度、高穩(wěn)定性的代理IP資源。爬蟲代理服務可以幫助我們隱藏真實的IP地址，避免被目標網(wǎng)站屏蔽或者限制。爬蟲代理服務還提供了多種認證方式、多種協(xié)議支持、多種地域選擇等功能，滿足不同的爬蟲需求。

多線程技術簡介

多線程技術是一種編程技術，用于在同一時間執(zhí)行多個任務。多線程技術可以提高程序的并發(fā)性和效率，特別是在處理網(wǎng)絡請求等耗時操作時。Go語言提供了goroutine和channel等機制，讓我們可以輕松地實現(xiàn)多線程編程。goroutine是一種輕量級的線程，可以在同一個進程中并發(fā)執(zhí)行。channel是一種通信機制，可以在不同的goroutine之間傳遞數(shù)據(jù)。

頭條新聞抓取流程

我們的目標是抓取頭條新聞的網(wǎng)頁內(nèi)容，并提取出每條新聞的標題、鏈接、摘要、圖片等信息。我們將使用Go語言和GoQuery庫來實現(xiàn)這個功能。我們還將使用爬蟲代理服務來獲取代理IP，并使用多線程技術來提高采集效率。具體的流程如下：

從爬蟲代理（億牛云）服務獲取代理IP地址、端口、用戶名和密碼。
使用代理IP地址和端口創(chuàng)建一個HTTP客戶端。
使用HTTP客戶端發(fā)送請求到頭條新聞的首頁。
使用GoQuery從響應中加載HTML文檔，并返回一個文檔對象。
使用選擇器從文檔對象中找到所有包含新聞信息的節(jié)點，并遍歷每個節(jié)點。
從每個節(jié)點中提取出新聞的標題、鏈接、摘要、圖片等信息，并保存到一個結構體中。
將結構體添加到一個切片中，作為最終的結果。
重復上述步驟，直到抓取完所有想要的新聞或者遇到錯誤。
打印或者輸出最終的結果。

頭條新聞抓取代碼

以下是根據(jù)上述流程編寫的代碼示例，請注意，這個示例僅用于演示目的，您可能需要根據(jù)實際需求進行調(diào)整。在實際應用中，您應該考慮使用更復雜的代理服務器和更嚴格的安全設置。

package main

import (
	"fmt"
	"log"
	"net/http"
	"net/url"
	"sync"

	"github.com/PuerkitoBio/goquery"
)

// News 結構體用于存儲新聞信息
type News struct {
	Title   string // 新聞標題
	Link    string // 新聞鏈接
	Summary string // 新聞摘要
	Image   string // 新聞圖片
}

// getProxy 函數(shù)用于從代理服務獲取代理IP地址和端口
func getProxy() (string, error) {
	// 使用億牛云爬蟲代理 設置代理IP的域名、端口、用戶名和密碼
	proxyHost := "www.16yun.cn"
	proxyPort := "8100"
	proxyUser := "16XXXX"
	proxyPass := "IPXXXX"

	// 構造代理請求的URL
	requestURL := fmt.Sprintf("http://%s:%s/getip?num=1&type=1&pro=&city=0&yys=0&port=11&pack=%s&ts=0&ys=0&cs=0&lb=1&sb=0&pb=4&mr=1&regions=", proxyHost, proxyPort, proxyUser)

	// 發(fā)送請求到代理服務
	resp, err := http.Get(requestURL)
	if err != nil {
		return "", err
	}
	defer resp.Body.Close()

	// 從響應中讀取代理IP地址和端口
	var proxy string
	fmt.Fscanf(resp.Body, "%s", &proxy)

	return proxy, nil
}

// getNews 函數(shù)用于抓取新聞信息
func getNews(proxy string, wg *sync.WaitGroup, result *[]News) {
	defer wg.Done()

	// 使用代理IP地址創(chuàng)建HTTP客戶端
	client := &http.Client{
		Transport: &http.Transport{
			Proxy: func(req *http.Request) (*url.URL, error) {
				return url.Parse("http://" + proxy)
			},
		},
	}

	// 發(fā)送請求到頭條新聞首頁
	resp, err := client.Get("https://www.toutiao.com/")
	if err != nil {
		log.Println(err)
		return
	}
	defer resp.Body.Close()

	// 解析HTML文檔
	doc, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		log.Println(err)
		return
	}

	// 查找新聞信息節(jié)點并遍歷
	doc.Find(".single-mode-rbox").Each(func(i int, s *goquery.Selection) {
		var news News
		news.Title = s.Find(".title-box a").Text()
		news.Link, _ = s.Find(".title-box a").Attr("href")
		news.Summary = s.Find(".abstract").Text()
		news.Image, _ = s.Find(".img-wrap img").Attr("src")

		fmt.Println(news)
		*result = append(*result, news)
	})
}

func main() {
	var wg sync.WaitGroup
	var result []News
	var threadNum int = 10

	for i := 0; i < threadNum; i++ {
		wg.Add(1)
		proxy, err := getProxy()
		if err != nil {
			log.Println("無法獲取代理：", err)
		} else {
			go getNews(proxy, &wg, &result)
		}
	}

	wg.Wait()

	fmt.Println("抓取到的新聞：")
	for i, news := range result {
		fmt.Printf("新聞 %d:\n", i+1)
		fmt.Printf("標題: %s\n", news.Title)
		fmt.Printf("鏈接: %s\n", news.Link)
		fmt.Printf("摘要: %s\n", news.Summary)
		fmt.Printf("圖片: %s\n", news.Image)
	}
}