欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

InnoDB的關鍵特性-插入緩存,兩次寫,自適應hash索引詳解

 更新時間:2017年03月29日 10:01:06   投稿:jingxian  
下面小編就為大家?guī)硪黄狪nnoDB的關鍵特性-插入緩存,兩次寫,自適應hash索引詳解。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

InnoDB存儲引擎的關鍵特性包括插入緩沖、兩次寫(double write)、自適應哈希索引(adaptive hash index)。這些特性為InnoDB存儲引擎帶來了更好的性能和更高的可靠性。

插入緩沖

插入緩沖是InnoDB存儲引擎關鍵特性中最令人激動的。不過,這個名字可能會讓人認為插入緩沖是緩沖池中的一個部分。其實不然,InnoDB緩沖池中有Insert Buffer信息固然不錯,但是Insert Buffer和數(shù)據(jù)頁一樣,也是物理頁的一個組成部分。

主鍵是行唯一的標識符,在應用程序中行記錄的插入順序是按照主鍵遞增的順序進行插入的。因此,插入聚集索引一般是順序的,不需要磁盤的隨機讀取。

比如說我們按下列SQL定義的表:create table t(id int auto_increment,name varchar(30),primary key(id));

id列是自增長的,這意味著當執(zhí)行插入操作時,id列會自動增長,頁中的行記錄按id執(zhí)行順序存放。一般情況下,不需要隨機讀取另一頁執(zhí)行記錄的存放。因此,在這樣的情況下,插入操作一般很快就能完成。但是,不可能每張表上只有一個聚集索引,在更多的情況下,一張表上有多個非聚集的輔助索引(secondary index)。比如,我們還需要按照name這個字段進行查找,并且name這個字段不是唯一的。

表是按如下的SQL語句定義的:create table t (id int auto_increment,name varchar(30),primary key(id),key(name));

這樣的情況下產(chǎn)生了一個非聚集的并且不是唯一的索引。在進行插入操作時,數(shù)據(jù)頁的存放還是按主鍵id的執(zhí)行順序存放,但是對于非聚集索引,葉子節(jié)點的插入不再是順序的了。這時就需要離散地訪問非聚集索引頁,插入性能在這里變低了。然而這并不是這個name字段上索引的錯誤,因為B+樹的特性決定了非聚集索引插入的離散性。

InnoDB存儲引擎開創(chuàng)性地設計了插入緩沖,對于非聚集索引的插入或更新操作,不是每一次直接插入索引頁中,而是先判斷插入的非聚集索引頁是否在緩沖池中。如果在,則直接插入;如果不在,則先放入一個插入緩沖區(qū)中,好似欺騙數(shù)據(jù)庫這個非聚集的索引已經(jīng)插到葉子節(jié)點了,然后再以一定的頻率執(zhí)行插入緩沖和非聚集索引頁子節(jié)點的合并操作,這時通常能將多個插入合并到一個操作中(因為在一個索引頁中),這就大大提高了對非聚集索引執(zhí)行插入和修改操作的性能。

插入緩沖的使用需要滿足以下兩個條件:

1.索引是輔助索引。

2.索引不是唯一的。

當滿足以上兩個條件時,InnoDB存儲引擎會使用插入緩沖,這樣就能提高性能了。不過考慮一種情況,應用程序執(zhí)行大量的插入和更新操作,這些操作都涉及了不唯一的非聚集索引,如果在這個過程中數(shù)據(jù)庫發(fā)生了宕機,這時候會有大量的插入緩沖并沒有合并到實際的非聚集索引中。如果是這樣,恢復可能需要很長的時間,極端情況下甚至需要幾個小時來執(zhí)行合并恢復操作。

輔助索引不能是唯一的,因為在把它插入到插入緩沖時,我們并不去查找索引頁的情況。如果去查找肯定又會出現(xiàn)離散讀的情況,插入緩沖就失去了意義。

查看插入緩沖的信息:

show engine innodb status\G

seg size顯示了當前插入緩沖的大小為2*16KB,free list len代表了空閑列表的長度,size代表了已經(jīng)合并記錄頁的數(shù)量。

下面一行可能是我們真正關心的,因為它顯示了提高性能了。inserts代表插入的記錄數(shù),merged recs代表合并的頁的數(shù)量,merges代表合并的次數(shù)。

merged recs:merges大約為3:1,代表插入緩沖將對于非聚集索引頁的IO請求大約降低了3倍。

問題:

目前插入緩沖存在一個問題是,在寫密集的情況下,插入緩沖會占用過多的緩沖池內存,默認情況下最大可以占用1/2的緩沖池內存。Percona已發(fā)布一些patch來修正插入緩沖占用太多緩沖池內存的問題,具體的可以到http://www.percona.com/percona-lab.html查找。簡單來說,修改IBUF_POOL_SIZE_PER_MAX_SIZE就可以對插入緩沖的大小進行控制,例如,將IBUF_POOL_SIZE_PER_MAX_SIZE改為3,則最大只能使用1/3的緩沖池內存。

兩次寫

如果說插入緩沖帶給InnoDB存儲引擎的是性能,那么兩次寫帶給InnoDB存儲引擎的是數(shù)據(jù)的可靠性。當數(shù)據(jù)庫宕機時,可能發(fā)生數(shù)據(jù)庫正在寫一個頁面,而這個頁只寫了一部分(比如16K的頁,只寫前4K的頁)的情況,我們稱之為部分寫失效(partial page write)。在InnoDB存儲引擎未使用double write技術前,曾出現(xiàn)過因為部分寫失效而導致數(shù)據(jù)丟失的情況。

有人也許會想,如果發(fā)生寫失效,可以通過重做日志進行恢復。這是一個辦法。但是必須清楚的是,重做日志中記錄的是對頁的物理操作,如偏移量800,寫'aaaa'記錄。如果這個頁本身已經(jīng)損壞,再對其進行重做是沒有意義的。這就是說,在應用(apply)重做日志前,我們需要一個頁的副本,當寫入失效發(fā)生時,先通過頁的副本來還原該頁,再進行重做,這就是doublewrite。

InnoDB存儲引擎doublewrite的體系架構如圖2-4所示

doublewrite由兩部分組成:一部分是內存中的doublewrite buffer,大小為2MB;另一部分是物理磁盤上共享表空間中連續(xù)的128個頁,即兩個區(qū)(extent),大小同樣為2MB(頁的副本)。當緩沖池的臟頁刷新時,并不直接寫磁盤,而是會通過memcpy函數(shù)將臟頁先拷貝到內存中的doublewrite buffer,之后通過doublewrite buffer再分兩次,每次寫入1MB到共享表空間的物理磁盤上,然后馬上調用fsync函數(shù),同步磁盤,避免緩沖寫帶來的問題。在這個過程中,因為doublewrite頁是連續(xù)的,因此這個過程是順序寫的,開銷并不是很大。在完成doublewrite頁的寫入后,再將doublewrite buffer中的頁寫入各個表空間文件中,此時的寫入則是離散的。

可以通過以下命令觀察到doublewrite運行的情況: show global status like 'innodb_dblwr%'\G

doublewrite一共寫了18 445個頁,但實際的寫入次數(shù)為434,(42:1)   基本上符合64:1。

如果發(fā)現(xiàn)你的系統(tǒng)在高峰時Innodb_dblwr_pages_written:Innodb_dblwr_writes遠小于64:1,那么說明你的系統(tǒng)寫入壓力并不是很高。

如果操作系統(tǒng)在將頁寫入磁盤的過程中崩潰了,在恢復過程中,InnoDB存儲引擎可以從共享表空間中的doublewrite中找到改頁的一個副本,將其拷貝到表空間文件,再應用重做日志。下面顯示了由doublewrite進行恢復的一種情況: 

090924 11:36:32 mysqld restarted
090924 11:36:33 InnoDB:Database was not shut down normally!
InnoDB:Starting crash recovery.
InnoDB:Reading tablespace information from the.ibd files……
InnoDB:Error:space id in fsp header 0,but in the page header 4294967295
InnoDB:Error:tablespace id 4294967295 in file./test/t.ibd is not sensible
InnoDB:Error:tablespace id 0 in file./test/t2.ibd is not sensible
090924 11:36:33 InnoDB:Operating system error number 40 in a file operation.
InnoDB:Error number 40 means'Too many levels of symbolic links'.
InnoDB:Some operating system error numbers are described at
InnoDB:http://dev.mysql.com/doc/refman/5.0/en/operating-system-error-codes.html
InnoDB:File name./now/member
InnoDB:File operation call:'stat'.
InnoDB:Error:os_file_readdir_next_file()returned-1 in
InnoDB:directory./now
InnoDB:Crash recovery may have failed for some.ibd files!
InnoDB:Restoring possible half-written data pages from the doublewrite
InnoDB:buffer……

參數(shù)skip_innodb_doublewrite可以禁止使用兩次寫功能,這時可能會發(fā)生前面提及的寫失效問題。不過,如果你有多臺從服務器(slave server),需要提供較快的性能(如slave上做的是RAID0),也許啟用這個參數(shù)是一個辦法。不過,在需要提供數(shù)據(jù)高可靠性的主服務器(master server)上,任何時候我們都應確保開啟兩次寫功能。

注意:有些文件系統(tǒng)本身就提供了部分寫失效的防范機制,如ZFS文件系統(tǒng)。在這種情況下,我們就不要啟用doublewrite了。 

自適應哈希索引

哈希(hash)是一種非??斓牟檎曳椒?,一般情況下查找的時間復雜度為O(1)。常用于連接(join)操作,如SQL Server和Oracle中的哈希連接(hash join)。但是SQL Server和Oracle等常見的數(shù)據(jù)庫并不支持哈希索引(hash index)。MySQL的Heap存儲引擎默認的索引類型為哈希,而InnoDB存儲引擎提出了另一種實現(xiàn)方法,自適應哈希索引(adaptive hash index)。

InnoDB存儲引擎會監(jiān)控表上索引的查找,如果觀察到建立哈希索引可以帶來速度的提升,則建立哈希索引,所以稱之為自適應(adaptive)的。自適應哈希索引通過緩沖池的B+樹構造而來,因此建立的速度很快。而且不需要將整個表都建哈希索引,InnoDB存儲引擎會自動根據(jù)訪問的頻率模式來為某些頁建立哈希索引。

根據(jù)InnoDB的官方文檔顯示,啟用自適應哈希索引后,讀取和寫入速度可以提高2倍;對于輔助索引的連接操作,性能可以提高5倍。自適應哈希索引是非常好的優(yōu)化模式,其設計思想是數(shù)據(jù)庫自優(yōu)化(self-tuning),即無需DBA對數(shù)據(jù)庫進行調整。

查看當前自適應哈希索引的使用狀況:show engine innodb status\G

現(xiàn)在可以看到自適應哈希索引的使用信息了,包括自適應哈希索引的大小、使用情況、每秒使用自適應哈希索引搜索的情況。值得注意的是,哈希索引只能用來搜索等值的查詢,如select * from table where index_col='xxx',而對于其他查找類型,如范圍查找,是不能使用的。因此,這里出現(xiàn)了non-hash searches/s的情況。用hash searches:non-hash searches命令可以大概了解使用哈希索引后的效率。

由于自適應哈希索引是由InnoDB存儲引擎控制的,所以這里的信息只供我們參考。不過我們可以通過參數(shù)innodb_adaptive_hash_index來禁用或啟動此特性,默認為開啟。

以上這篇InnoDB的關鍵特性-插入緩存,兩次寫,自適應hash索引詳解就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關文章

  • MySQL數(shù)據(jù)分析存儲引擎示例講解

    MySQL數(shù)據(jù)分析存儲引擎示例講解

    這篇文章主要為大家介紹了MySQL數(shù)據(jù)分析關于存儲引擎的示例講解,搞懂存儲引擎會對大家在數(shù)據(jù)分析方面有很大的幫助,有需要的朋友可以借鑒參考下
    2021-10-10
  • MySQL多表查詢實例詳解【鏈接查詢、子查詢等】

    MySQL多表查詢實例詳解【鏈接查詢、子查詢等】

    這篇文章主要介紹了MySQL多表查詢,結合實例形式詳細分析了mysql多表查詢中的鏈接查詢、子查詢等相關操作技巧與使用注意事項,需要的朋友可以參考下
    2019-12-12
  • MYSQL半同步配置思路

    MYSQL半同步配置思路

    在默認設置下,MySQL使用異步復制,主庫發(fā)送binlog后不等待從庫確認,可能導致數(shù)據(jù)不一致或丟失,半同步復制則在主庫更新數(shù)據(jù)后先等待從庫確認同步完成,本文給大家介紹MYSQL半同步配置,感興趣的朋友一起看看吧
    2023-09-09
  • MySQL OOM 系列三 擺脫MySQL被Kill的厄運

    MySQL OOM 系列三 擺脫MySQL被Kill的厄運

    這篇文章主要介紹了MySQL OOM 系列三 擺脫MySQL被Kill的厄運 ,需要的朋友可以參考下
    2016-07-07
  • Mysql環(huán)境變量配置的詳細圖文教程

    Mysql環(huán)境變量配置的詳細圖文教程

    如果第一次安裝好Mysql后,利用DOS窗口可能無法打開Mysql,此時大概率是未配置好Mysql的環(huán)境變量,下面這篇文章主要給大家介紹了關于Mysql環(huán)境變量配置的相關資料,需要的朋友可以參考下
    2022-08-08
  • mysql數(shù)據(jù)插入效率比較

    mysql數(shù)據(jù)插入效率比較

    今天小編就為大家分享一篇關于mysql數(shù)據(jù)插入效率比較,小編覺得內容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-01-01
  • 解決數(shù)據(jù)庫有數(shù)據(jù)但查詢出來的值為Null問題

    解決數(shù)據(jù)庫有數(shù)據(jù)但查詢出來的值為Null問題

    這篇文章主要介紹了解決數(shù)據(jù)庫有數(shù)據(jù)但查詢出來的值為Null問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-10-10
  • MySQL基于SSL協(xié)議進行主從復制的詳細操作教程

    MySQL基于SSL協(xié)議進行主從復制的詳細操作教程

    這篇文章主要介紹了MySQL基于SSL協(xié)議進行主從復制的詳細操作教程,示例環(huán)境基于Linux系統(tǒng)以及OpenSSL客戶端,需要的朋友可以參考下
    2015-12-12
  • 基于MYSQL中優(yōu)化的一些方法

    基于MYSQL中優(yōu)化的一些方法

    本篇文章是對MYSQL中優(yōu)化的一些方法進行了詳細的介紹,需要的朋友參考下
    2013-05-05
  • Linux環(huán)境下設置MySQL表名忽略大小寫的方法小結

    Linux環(huán)境下設置MySQL表名忽略大小寫的方法小結

    在MySQL中,表名的大小寫敏感性取決于操作系統(tǒng)和MySQL的配置,在Unix/Linux系統(tǒng)上,表名通常是區(qū)分大小寫的,由于之前MySQL未設置忽略表名大小寫導致數(shù)據(jù)查詢失敗等問題,所以本文給大家介紹了Linux環(huán)境下設置MySQL表名忽略大小寫的方法,需要的朋友可以參考下
    2024-06-06

最新評論