基于PHP的簡單采集數(shù)據(jù)入庫程序【續(xù)篇】
在上篇文章中,我們已經(jīng)采集新聞信息頁的列表數(shù)據(jù),接下來要做的操作就是從數(shù)據(jù)庫中讀取所需要采集的URL,進(jìn)行頁面抓取就行
新建一個(gè)content表
不過需要注意的一點(diǎn)是,不能再采用采集URL這種id遞增的方法去采集,因?yàn)閿?shù)據(jù)表中可能出現(xiàn)id斷續(xù),比如id=9,id=11,當(dāng)采集到id=10的時(shí)候,URL是空白的,這樣可能會(huì)導(dǎo)致采集到了空字段。
這里用到的一個(gè)技巧是數(shù)據(jù)庫的查詢語句,在我們采集完第一條數(shù)據(jù)的時(shí)候,判斷數(shù)據(jù)庫里是否還有大于此id的id編號(hào),若有,讀取一條,查詢信息重復(fù)上面的工作。
具體代碼如下:
<?php include_once("conn.php"); $id=(int)$_GET['id']; $sql="select * from list where id=$id"; $result=mysql_query($sql); $row=mysql_fetch_array($result);//取得對(duì)應(yīng)的url地址 $content=file_get_contents($row['url']); $pattern="/<dd class=\"dataWrap\">(.*)<\/dd>/iUs"; preg_match($pattern, $content,$info);//獲取內(nèi)容存放info echo $title=$row[1]."<br/>"; echo $content=$info[0]."<hr/>"; //插入數(shù)據(jù)庫 $add="insert into content(title,content) value('$title','$content')"; mysql_query($add); $sql2="select * from list where id>$id order by id asc limit 1"; $result2=mysql_query($sql2); $row2=mysql_fetch_array($result2);//取得對(duì)應(yīng)的url地址 if($row2['id']){ echo "<script>window.location='content.php?id=$row2[0]'</script>"; } ?>
這樣子我們所要的新聞內(nèi)容就采集入庫了,接下來只需要對(duì)數(shù)據(jù)的一些樣式進(jìn)行整理就行了。
- PHP實(shí)現(xiàn)采集中國天氣網(wǎng)未來7天天氣
- 基于PHP的簡單采集數(shù)據(jù)入庫程序
- PHP使用CURL_MULTI實(shí)現(xiàn)多線程采集的例子
- PHP遠(yuǎn)程采集圖片詳細(xì)教程
- 一個(gè)基于phpQuery的php通用采集類分享
- php使用curl模擬登錄后采集頁面的例子
- php實(shí)現(xiàn)的一個(gè)很好用HTML解析器類可用于采集數(shù)據(jù)
- php采集文章中的圖片獲取替換到本地(實(shí)現(xiàn)代碼)
- 解析php利用正則表達(dá)式解決采集內(nèi)容排版的問題
- 深入php數(shù)據(jù)采集的詳解
- PHP采集靜態(tài)頁面并把頁面css,img,js保存的方法
相關(guān)文章
簡單的php數(shù)據(jù)庫操作類代碼(增,刪,改,查)
這幾天準(zhǔn)備重新學(xué)習(xí),梳理一下知識(shí)體系,同時(shí)按照功能模塊劃分做一些東西。所以。mysql的操作成為第一個(gè)要點(diǎn)。我寫了一個(gè)簡單的mysql操作類,實(shí)現(xiàn)數(shù)據(jù)的簡單的增刪改查功能。2013-04-04PHP將URL轉(zhuǎn)換成短網(wǎng)址的算法分享
短網(wǎng)址(Short URL)顧名思義就是在形式上比較短的網(wǎng)址。在Web 2.0的今天,不得不說這是一個(gè)潮流。目前已經(jīng)有許多類似服務(wù),借助短網(wǎng)址您可以用簡短的網(wǎng)址替代原來冗長的網(wǎng)址,讓使用者可以更容易的分享鏈接,下面來看看如何用PHP實(shí)現(xiàn)這個(gè)功能,有需要的朋友們可以參考。2016-09-09php 數(shù)組處理函數(shù)extract詳解及實(shí)例代碼
php extract 函數(shù)使用數(shù)組鍵名作為變量名,使用數(shù)組鍵值作為變量值, 本函數(shù)可以處理表單提交并插入數(shù)據(jù)庫。文章向大家講解extract函數(shù)的基本使用方法及實(shí)例,需要的朋友可以參考下2016-11-11