基于PHP的簡(jiǎn)單采集數(shù)據(jù)入庫(kù)程序
說(shuō)到采集,無(wú)非就是遠(yuǎn)程獲取信息->提取所需內(nèi)容->分類存儲(chǔ)->讀取->展示
也算是簡(jiǎn)單"小偷程序"的加強(qiáng)版吧
下面是對(duì)應(yīng)核心代碼(別拿去做壞事哦^_^)
所要采集的內(nèi)容是某游戲網(wǎng)站上的公告,如下圖:
可先利用file_get_contents和簡(jiǎn)單正則獲取基本頁(yè)面信息
整理下基本信息,采集入庫(kù):
<?php include_once("conn.php"); if($_GET['id']<=8&&$_GET['id']){ $id=$_GET['id']; $conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html");//獲取頁(yè)面內(nèi)容 $pattern="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";//正則 preg_match_all($pattern, $conn, $arr);//匹配內(nèi)容到arr數(shù)組 //print_r($arr);die; foreach ($arr[1] as $key => $value) {//二維數(shù)組[2]對(duì)應(yīng)id和[1]剛好一樣,利用起key $url="http://www.93moli.com/".$arr[2][$key]; $sql="insert into list(title,url) value ('$value', '$url')"; mysql_query($sql); //echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>"; } $id++; echo "正在采集URL數(shù)據(jù)列表$id...請(qǐng)稍后..."; echo "<script>window.location='list.php?id=$id'</script>"; }else{ echo "采集數(shù)據(jù)結(jié)束。"; } ?>
conn.php是數(shù)據(jù)庫(kù)連接文件
list.php是本頁(yè)面
由于要采集的數(shù)據(jù)是分頁(yè)顯示的,且頁(yè)面地址是規(guī)律遞增,所以我用了js跳轉(zhuǎn)代碼,利用id傳值控制采集的頁(yè)數(shù),也避免了for循環(huán)數(shù)目過(guò)大。
輕輕松松數(shù)據(jù)入庫(kù),下篇文章寫關(guān)于具體url采集信息的過(guò)程。
- 開(kāi)啟CURL擴(kuò)展,讓服務(wù)器支持PHP curl函數(shù)(遠(yuǎn)程采集)
- 基于PHP的cURL快速入門教程 (小偷采集程序)
- PHP采集利器 Snoopy 試用心得
- php file_get_contents函數(shù)輕松采集html數(shù)據(jù)
- PHP實(shí)現(xiàn)采集抓取淘寶網(wǎng)單個(gè)商品信息
- PHP 采集程序 常用函數(shù)
- PHP 采集獲取指定網(wǎng)址的內(nèi)容
- snoopy 強(qiáng)大的PHP采集類使用實(shí)例代碼
- PHP采集類snoopy詳細(xì)介紹(snoopy使用教程)
- 利用PHP命令行模式采集股票趨勢(shì)信息
相關(guān)文章
PHP提取字符串中的手機(jī)號(hào)正則表達(dá)式怎么寫
PHP通過(guò)正則表達(dá)式提取字符串中的手機(jī)號(hào)并判斷運(yùn)營(yíng)商,簡(jiǎn)單快速方便,能提取多個(gè)手機(jī)號(hào)。下面通過(guò)本文實(shí)例代碼給大家詳細(xì)介紹,需要的的朋友參考下吧2017-07-07Laravel validate error處理,ajax,json示例
今天小編就為大家分享一篇Laravel validate error處理,ajax,json示例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-10-10php+iframe實(shí)現(xiàn)隱藏?zé)o刷新上傳文件
首先ajax不能上傳文件,這誤導(dǎo)了我有段時(shí)間,今晚睡不著就照著說(shuō)明做了個(gè)無(wú)刷新上傳文件2012-02-02PHP中__set()實(shí)例用法和基礎(chǔ)講解
在本篇文章里小編給大家整理了關(guān)于HP中__set()實(shí)例用法和基礎(chǔ)講解,對(duì)此有需要的朋友們可以學(xué)習(xí)參考下。2019-07-07php 如何禁用eval() 函數(shù)實(shí)例詳解
在php中eval是一個(gè)函數(shù)并且不能直接禁用了,但eval函數(shù)又相當(dāng)?shù)奈kU(xiǎn)并經(jīng)常會(huì)出現(xiàn)一些問(wèn)題,今天我們就一起來(lái)看看eval函數(shù)對(duì)數(shù)組的操作及php 如何禁用eval() 函數(shù),需要的朋友可以參考下2016-12-12