一、前言

隨著時間的增加，存儲的歷史記錄也在不斷增加，如果設備數(shù)量很多，存儲間隔很短，不用多久，數(shù)據(jù)庫中的記錄就非常多，至少是百萬級別起步，而且有些用戶還是需要存儲每一次的采集的數(shù)據(jù)，這數(shù)據(jù)量別說一年，就是一個月下來都是恐怖級別的，所以這就涉及到一個重要的需求，如何自動清理早期的不需要的數(shù)據(jù)，比如只保存最近10萬條記錄，或者保存最近30天的記錄，這就需要安排個線程，在線程中打開數(shù)據(jù)庫以后，每隔一段時間去查詢記錄數(shù)量，超過了設定的最大值，則按照時間順序把早期的數(shù)據(jù)刪除，其實就是執(zhí)行一個sql語句。如果設置的是只存儲最近30天的記錄，則每隔一段時間執(zhí)行刪除sql語句，帶上條件where 時間<(今天-30)。由于是在線程中打開的數(shù)據(jù)庫，所以在線程中執(zhí)行的sql語句都不會對主界面使用的數(shù)據(jù)庫相關處理造成卡頓。

光有數(shù)據(jù)記錄清理可能還是不夠的，比如系統(tǒng)還不斷的在存儲報警圖片或者其他數(shù)據(jù)文件，由于硬盤的大小有限，也需要一個機制做清理，尤其是對于視頻監(jiān)控系統(tǒng)尤為重要。由于和數(shù)據(jù)庫記錄清理功能類似，而且數(shù)據(jù)庫清理線程99.99%的時間都是空余的，就算是到了需要清理的時候，也是一次性清理多條，也不會頻繁的在清理中，為了不讓這個線程閑著，直接也把清理文件的機制也放到了這個類，指定要監(jiān)聽的目錄，指定最大的大小，每隔一段時間讀取下大小，超過了則清理早期的文件。

二、功能特點

2.1 軟件模塊

設備監(jiān)控模塊，包括數(shù)據(jù)監(jiān)控（表格形式展示）、設備面板（面板形式展示）、地圖監(jiān)控（地圖形式展示）、曲線監(jiān)控（曲線形式展示）。

數(shù)據(jù)查詢模塊，包括報警記錄、運行記錄、操作記錄。

系統(tǒng)設置模塊，包括基本設置、端口管理、控制器管理、探測器管理、報警聯(lián)動、類型設置等。

其他設置模塊，包括用戶管理、地圖管理、位置調整、組態(tài)設計、設備調試等。

2.2 基礎功能

1. 設備數(shù)據(jù)采集，支持串口、網絡，串口可設置串口號、波特率，網絡可設置IP地址、通訊端口。
2. 每個端口支持采集周期時間，默認1秒鐘一個設備。
3. 支持設置通訊超時次數(shù)，默認3次。
4. 支持最大重連時間，用于重新讀取離線的設備。
5. 控制器信息，能夠添加控制器名稱，選擇控制器地址、控制器型號，設置該控制器下面的探測器數(shù)量。
6. 探測器信息，能夠添加位號、探測器型號、氣體種類、氣體符號、高報值、低報值、緩沖值、清零值、是否啟用、報警聲音、背景地圖、存儲周期、數(shù)值換算小數(shù)點位數(shù)、報警延時時間、報警的類型（HH,LL,HL）等。
7. 類型管理可配置控制器型號、探測器型號、氣體種類、氣體符號等。
8. 地圖支持導入和刪除，所有的探測器在地圖上的位置可自由拖動保存。
9. 端口信息、控制器信息、探測器信息、類型信息、用戶信息等，都支持導入、導出、導出到excel、打印。
10. 運行記錄、報警記錄、操作記錄，都支持多條件組合查詢，比如時間段、控制器、探測器等，所有記錄支持導出到excel/pdf和打印。
11. 運行記錄、報警記錄、操作記錄都可刪除指定時間范圍內的數(shù)據(jù)。
12. 系統(tǒng)設置可選擇對應表最大保存記錄數(shù)，自動清理早期數(shù)據(jù)，留出足夠的空間存儲重要的數(shù)據(jù)。
13. 報警短信轉發(fā)，支持多個接收手機號碼，可設定發(fā)送間隔，比如即時發(fā)送或者6個小時發(fā)送一次所有的報警信息，短信內容過長，自動拆分多條短信。
14. 報警郵件轉發(fā)，支持多個接收郵箱，可設定發(fā)送間隔，比如即時發(fā)送或者6個小時發(fā)送一次所有的報警信息，支持附件發(fā)送。
15. 設置軟件的中文標題、英文標題、logo路徑、版權所有等。
16. 開關設置開機運行、報警聲音、自動登錄、記住密碼等。
17. 報警聲音可設置播放次數(shù)，界面風格樣式提供18套皮膚文件選擇。
18. 用戶管理，包括用戶權限配置，不同用戶可以有不同模塊的權限。
19. 用戶登錄和用戶退出，可以記住密碼和自動登錄，超過三次報錯提示并關閉程序。
20. 四種監(jiān)控模式，設備面板監(jiān)控、地圖監(jiān)控、表格數(shù)據(jù)監(jiān)控、曲線數(shù)據(jù)監(jiān)控，可自由切換，四種模式下都實時展示采集到的數(shù)據(jù)，報警閃爍等。
21. 報警繼電器聯(lián)動，一個位號可以跨串口聯(lián)動多個模塊和繼電器號，支持多對多。

2.3 特色功能

1. 通信協(xié)議支持modbus_com、modbus_tcp_rtu，后期拓展mqtt等協(xié)議。
2. 數(shù)據(jù)源除了真實的硬件設備采集，還可選數(shù)據(jù)庫采集，這樣用戶可以安排其他程序員比如java程序員將前端采集好的數(shù)據(jù)放到數(shù)據(jù)庫，本系統(tǒng)直接從數(shù)據(jù)庫采集即可。數(shù)據(jù)庫采集模式可以作為通用的系統(tǒng)使用，更適合多人多系統(tǒng)協(xié)作。
3. 智能跳過超時的設備，加快對在線設備的采集速度，當設備數(shù)量很多的時候尤其有用。
4. 對智能跳過的超時的設備，在設定的重連時間自動采集一次，以便探測設備是否又重新上線。
5. 每個探測器可控是否啟用，不啟用則不會采集，也不會在界面顯示，相當于運行階段臨時關閉。
6. 探測器可設置緩沖值和報警延時時間，在該值附近波動產生的報警，不計入報警，只有持續(xù)處于報警值且超過報警延時時間才算真正報警，這樣可以規(guī)避很多波動導致的誤報。
7. 探測器可設置存儲周期，按照設定的時間來存儲一條運行記錄，可以按照重要程度對重要性高的設定存儲周期短一些，不重要的設定大一些，這樣可以節(jié)省不少的存儲空間，也保證了重要的數(shù)據(jù)及時存儲。
8. 探測器可設置清零值，在一些高精度高靈敏的設備可能出廠的時候默認值未必是0，需要設定清零值來表示初始值。
9. 探測器可設置小數(shù)點，用于計算后的真實數(shù)據(jù)控制小數(shù)點點位顯示，相當于除以10、除以100、除以1000，這樣大部分的探測器數(shù)據(jù)直接通過小數(shù)點位設置控制真實換算后的值，極個別的需要特殊轉換的可以在通信協(xié)議中約定。
10. 探測器報警的類型支持多種，有些設備是高于某個值高報，低于某個值低報，而有些設備是在最小值最大值范圍內是高報，低于最小值低報，高于最大值正常。這樣可以分情況處理，涵蓋各種報警類型。
11. 原創(chuàng)數(shù)據(jù)導入、導出、打印機制，跨平臺不依賴任何組件，瞬間導出數(shù)據(jù)。
12. 導出到excel的記錄支持所有excel、wps等表格文件版本，不依賴excel等軟件。
13. 高報顏色、低報顏色、正常顏色、默認值顏色等，都可以自由設置。
14. 支持云端數(shù)據(jù)同步，將本地采集到的數(shù)據(jù)實時同步到云端。
15. 支持網絡轉發(fā)和網絡接收，網絡接收開啟后，軟件從udp接收數(shù)據(jù)進行解析。網絡轉發(fā)支持多個目標IP，這樣就實現(xiàn)了本地采集的軟件，自由將數(shù)據(jù)轉到客戶端，隨時查看采集到的數(shù)據(jù)。
16. 自動記住用戶最后停留的界面以及其他配置信息，重啟后自動應用。
17. 報警自動切換到對應的地圖，探測器按鈕閃爍，表格數(shù)據(jù)對應顏色顯示。
18. 雙擊探測器圖標，彈出對應探測器詳細信息，可以根據(jù)需要定制回控操作。
19. 數(shù)據(jù)庫支持多種，包括sqlite、mysql、sqlserver、postgresql、oracle、人大金倉等。
20. 本地設備采集到的數(shù)據(jù)實時上傳到云端，以便手機APP或者web等其他方式提取。
21. 自帶設備模擬工具，支持不同型號的多個設備數(shù)據(jù)模擬，同時還帶數(shù)據(jù)庫數(shù)據(jù)模擬，以便在沒有設備的時候測試數(shù)據(jù)。
22. 標準modbus協(xié)議，各種控制器類型、探測器類型、種類、符號等全部自定義，非常靈活和強大，通信協(xié)議示例數(shù)據(jù)非常完整，通用各種modbus協(xié)議系統(tǒng)，適用于各種應用場景接入。
23. 同時集成了串口通信、網絡通信、數(shù)據(jù)庫通信、數(shù)據(jù)導入導出打印、通信協(xié)議解析、界面UI、全局換膚等眾多組件和知識點，非常適合新手入門和進階。
24. 支持xp、win7、win10、、win11、linux、mac、各種國產系統(tǒng)（UOS、中標麒麟、銀河麒麟等）、嵌入式linux等系統(tǒng)。
25. 注釋完整，項目結構清晰，超級詳細完整的使用開發(fā)手冊，精確到每個代碼文件的功能說明，不斷持續(xù)迭代版本。

三、體驗地址

國內站點：https://gitee.com/feiyangqingyun

國際站點：https://github.com/feiyangqingyun

體驗地址：https://pan.baidu.com/s/1foas7ytSXh7gHOTDqDREjQ 提取碼：axip 文件名：bin_iotsystem.zip。

四、效果圖

五、相關代碼

int DbCleanThread::getCount()
{
    int count = -1;
    if (!dbOk) {
        return count;
    }

    time.restart();
    QString sql = QString("select count(%1) from %2").arg(countName).arg(tableName);
    QSqlQuery query(database);
    if (query.exec(sql)) {
        if (query.next()) {
            count = query.value(0).toInt();
            QString msg = QString("(共 %1 條/用時 %2 秒)").arg(count).arg(getUseTime());
            emit debug(QString("%1數(shù)據(jù)庫獲取記錄行數(shù)%2").arg(dbFlag).arg(msg));
            emit receiveCount(tableName, count, time.elapsed());
        }
    }

    return count;
}

QStringList DbCleanThread::getCleanValue(int cleanCount)
{
    QStringList list;
    if (!dbOk) {
        return list;
    }

    QSqlQuery query(database);
    query.setForwardOnly(true);
    QString sql = DbHelper::getSelectCountSql(dbType, tableName, whereColumnName, "", orderSql, cleanCount);
    if (query.exec(sql)) {
        while (query.next()) {
            list << query.value(0).toString();
        }
    }

    return list;
}

void DbCleanThread::cleanData()
{
    if (!dbOk) {
        return;
    }

    //首先查找總記錄數(shù),如果總記錄數(shù)超過限制,則將超出的部分按照字段排序進行刪除
    int count = getCount();
    int cleanCount = (count - maxCount);
    if (cleanCount < 100) {
        return;
    }

    time.restart();

    //每次最大清理1000條數(shù)據(jù)
    cleanCount = cleanCount > 1000 ? 1000 : cleanCount;
    //將要刪除的數(shù)據(jù)指定字段集合查詢出來
    QStringList list = getCleanValue(cleanCount);
    if (list.count() == 0) {
        return;
    }

    //刪除數(shù)據(jù)
    QSqlQuery query(database);
    QString sql = QString("delete from %1 where %2 in(%3)").arg(tableName).arg(whereColumnName).arg(list.join(","));
    dbOk = query.exec(sql);
    //qDebug() << TIMEMS << sql;

    QString msg = QString("(共 %1 條/用時 %2 秒)").arg(cleanCount).arg(getUseTime());
    if (dbOk) {
        emit debug(QString("%1數(shù)據(jù)庫清理數(shù)據(jù)成功%2").arg(dbFlag).arg(msg));
    } else {
        QString text = database.lastError().text();
        emit error(QString("%1數(shù)據(jù)庫清理數(shù)據(jù)失敗%2, 原因: %3").arg(dbFlag).arg(msg).arg(text));
        qDebug() << TIMEMS << this->objectName() << text;
    }
}

void DbCleanThread::cleanPath()
{
    if (dirPath.isEmpty()) {
        return;
    }

    //找出該文件夾下的所有文件夾
    QDir dir(dirPath);
    if (!dir.exists()) {
        return;
    }

    //按照目錄查找,過濾文件夾,按照文件名稱排序
    dir.setFilter(QDir::Dirs | QDir::NoSymLinks | QDir::NoDotAndDotDot);
    dir.setSorting(QDir::Name);
    QStringList list = dir.entryList();

    //遍歷所有目錄,對所有文件大小相加得到總大小,文件就在文件夾下,不會再有子目錄
    qint64 size = 0;
    foreach (QString path, list) {
        QDir d(dirPath + "/" + path);
        QFileInfoList infos = d.entryInfoList(dirFileFilter);
        foreach (QFileInfo info, infos) {
            size += info.size();
        }

        //轉化成MB,超過預定大小自動刪除第一個文件夾,跳出循環(huán)無需繼續(xù)判斷
        int sizeMB = size / (1024 * 1024);
        if (sizeMB >= dirMaxSize) {
            //刪除該目錄下的所有文件
            QString path = dirPath + "/" + list.at(0);
            QDir dir(path);
            dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
            QStringList files = dir.entryList();
            foreach (QString file, files) {
                dir.remove(file);
                qDebug() << TIMEMS << "刪除文件" << path << file;
            }

            //刪除文件夾本身
            dir.rmdir(path);
            QString msg = QString("(共 %1 個文件/用時 %2 秒)").arg(files.count()).arg(getUseTime());
            emit debug(QString("%1數(shù)據(jù)庫自動清理目錄成功%2").arg(dbFlag).arg(msg));
            break;
        }
    }
}

void DbCleanThread::deletePath(const QString &path)
{
    QDir dir(path);
#if (QT_VERSION >= QT_VERSION_CHECK(5,0,0))
    //這個方法可以遞歸徹底刪除文件夾 不管文件夾下是否有文件 比較暴力
    //此方法慎用 必須指定明確的文件夾 不然刪除默認的目錄哭都來不及 網上多個人中招
    dir.removeRecursively();
#else
    //循環(huán)遍歷刪除文件及文件夾
    dir.setFilter(QDir::AllEntries | QDir::NoDotAndDotDot);
    QFileInfoList fileList = dir.entryInfoList();
    foreach (QFileInfo fi, fileList) {
        if (fi.isFile()) {
            fi.dir().remove(fi.fileName());
        } else {
            deletePath(fi.absoluteFilePath());
            dir.rmpath(fi.absoluteFilePath());
        }
    }
    //最后刪除最外層的目錄
    dir.rmpath(path);
#endif
}

以上就是Qt物聯(lián)網管理平臺之實現(xiàn)自動清理早期數(shù)據(jù)功能的詳細內容，更多關于Qt自動清理數(shù)據(jù)的資料請關注腳本之家其它相關文章！

最新評論