基于PHP的簡單采集數(shù)據(jù)入庫程序【續(xù)篇】
更新時間：2014年07月30日 10:22:18 投稿：hebedich
在上篇 基于PHP的簡單采集數(shù)據(jù)入庫程序 中提到采集新聞信息頁的列表數(shù)據(jù)，接下來講講關于采集新聞具體內(nèi)容
在上篇文章中，我們已經(jīng)采集新聞信息頁的列表數(shù)據(jù)，接下來要做的操作就是從數(shù)據(jù)庫中讀取所需要采集的URL，進行頁面抓取就行
新建一個content表
不過需要注意的一點是，不能再采用采集URL這種id遞增的方法去采集，因為數(shù)據(jù)表中可能出現(xiàn)id斷續(xù)，比如id=9，id=11，當采集到id=10的時候，URL是空白的，這樣可能會導致采集到了空字段。
這里用到的一個技巧是數(shù)據(jù)庫的查詢語句，在我們采集完第一條數(shù)據(jù)的時候，判斷數(shù)據(jù)庫里是否還有大于此id的id編號，若有，讀取一條，查詢信息重復上面的工作。
具體代碼如下：
<?php
include_once("conn.php");
$id=(int)$_GET['id'];
$sql="select * from list where id=$id";
$result=mysql_query($sql);
$row=mysql_fetch_array($result);//取得對應的url地址
$content=file_get_contents($row['url']);
$pattern="/<dd class=\"dataWrap\">(.*)<\/dd>/iUs";
preg_match($pattern, $content,$info);//獲取內(nèi)容存放info
echo $title=$row[1]."<br/>";
echo $content=$info[0]."<hr/>";
//插入數(shù)據(jù)庫
$add="insert into content(title,content) value('$title','$content')";
mysql_query($add);
$sql2="select * from list where id>$id order by id asc limit 1";
$result2=mysql_query($sql2);
$row2=mysql_fetch_array($result2);//取得對應的url地址
if($row2['id']){
echo "<script>window.location='content.php?id=$row2[0]'</script>";
}
?>
這樣子我們所要的新聞內(nèi)容就采集入庫了，接下來只需要對數(shù)據(jù)的一些樣式進行整理就行了。
您可能感興趣的文章:
相關文章
PHP整站防注入程序，需要在公共文件中require_once本文件，因為現(xiàn)在網(wǎng)站被注入攻擊現(xiàn)象很嚴重，所以推薦大家使用2012-04-04
這篇文章主要介紹了Yii實現(xiàn)多按鈕保存與提交且不沖突的方法,是表單制作中非常實用的技巧,需要的朋友可以參考下2014-12-12
本文給大家分享的是使用PHP編寫的RESTful接口的方法和簡單示例，有需要的小伙伴可以參考下。2016-02-02
簡單的php數(shù)據(jù)庫操作類代碼(增,刪,改,查)
這幾天準備重新學習，梳理一下知識體系，同時按照功能模塊劃分做一些東西。所以。mysql的操作成為第一個要點。我寫了一個簡單的mysql操作類，實現(xiàn)數(shù)據(jù)的簡單的增刪改查功能。2013-04-04
短網(wǎng)址（Short URL）顧名思義就是在形式上比較短的網(wǎng)址。在Web 2.0的今天，不得不說這是一個潮流。目前已經(jīng)有許多類似服務，借助短網(wǎng)址您可以用簡短的網(wǎng)址替代原來冗長的網(wǎng)址，讓使用者可以更容易的分享鏈接,下面來看看如何用PHP實現(xiàn)這個功能，有需要的朋友們可以參考。2016-09-09
這篇文章主要介紹了Yii框架表單模型和驗證用法,結合實例形式分析了Yii表單模型的原理及驗證器的使用技巧,需要的朋友可以參考下2016-05-05
這篇文章主要介紹了ThinkPHP3.2.2最新開始支持的插件控制器功能的使用方法，非常詳細，這里推薦給小伙伴們。2015-03-03
這篇文章主要介紹了laravel框架使用極光推送消息操作,結合實例形式詳細分析了laravel框架擴展jpush-api-php-client實現(xiàn)極光推送消息具體操作步驟與使用技巧,需要的朋友可以參考下2020-02-02
php 數(shù)組處理函數(shù)extract詳解及實例代碼
php extract 函數(shù)使用數(shù)組鍵名作為變量名，使用數(shù)組鍵值作為變量值， 本函數(shù)可以處理表單提交并插入數(shù)據(jù)庫。文章向大家講解extract函數(shù)的基本使用方法及實例,需要的朋友可以參考下2016-11-11
這篇文章主要介紹了php 生成Tab鍵或逗號分隔的CSV的相關資料,代碼簡單易懂，非常不錯，具有參考借鑒價值，需要的朋友可以參考下2016-09-09