MySQL中SQL模式的特點(diǎn)總結(jié)

前言

成都創(chuàng)新互聯(lián)公司一直秉承“誠(chéng)信做人，踏實(shí)做事”的原則，不欺瞞客戶(hù)，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個(gè)客戶(hù)多一個(gè)朋友！為您提供網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、成都網(wǎng)頁(yè)設(shè)計(jì)、成都小程序開(kāi)發(fā)、成都網(wǎng)站開(kāi)發(fā)、成都網(wǎng)站制作、成都軟件開(kāi)發(fā)、成都app軟件開(kāi)發(fā)公司是成都本地專(zhuān)業(yè)的網(wǎng)站建設(shè)和網(wǎng)站設(shè)計(jì)公司，等你一起來(lái)見(jiàn)證！

SQL模式影響MySQL支持的SQL語(yǔ)法和執(zhí)行的數(shù)據(jù)驗(yàn)證檢查。

MySQL服務(wù)器可以在不同的SQL模式下運(yùn)行，并且可以針對(duì)不同的客戶(hù)端以不同的方式應(yīng)用這些模式，具體取決于sql_mode系統(tǒng)變量的值。DBA可以設(shè)置全局SQL模式以匹配站點(diǎn)服務(wù)器操作要求，并且每個(gè)應(yīng)用程序可以將其會(huì)話SQL模式設(shè)置為其自己的要求。

模式會(huì)影響MySQL支持的SQL語(yǔ)法以及它執(zhí)行的數(shù)據(jù)驗(yàn)證檢查。這使得在不同環(huán)境中使用MySQL以及將MySQL與其他數(shù)據(jù)庫(kù)服務(wù)器一起使用變得更加容易。

下面話不多說(shuō)了，來(lái)一起看看詳細(xì)的介紹吧

設(shè)置SQL模式

要在運(yùn)行時(shí)更改SQL模式，請(qǐng)sql_mode使用以下SET

語(yǔ)句設(shè)置全局或會(huì)話

系統(tǒng)變量

SET

GLOBAL

sql_mode

=

'modes';

SET

SESSION

sql_mode

=

'modes';

模式列表

模式

注釋

ALLOW_INVALID_DATES

無(wú)效日期會(huì)生成錯(cuò)誤

ERROR_FOR_DIVISION_BY_ZERO

除0錯(cuò)誤

NO_BACKSLASH_ESCAPES

禁止使用反斜杠字符（\）作為字符串中的轉(zhuǎn)義字符。啟用此模式后，反斜杠就像其他任何一個(gè)普通字符一樣。

NO_UNSIGNED_SUBTRACTION

在整數(shù)值之間減去（其中一個(gè)是類(lèi)型）

UNSIGNED，默認(rèn)情況下會(huì)產(chǎn)生無(wú)符號(hào)結(jié)果。如果結(jié)果否則為負(fù)，則會(huì)導(dǎo)致錯(cuò)誤

NO_ZERO_IN_DATE

'0000-00-00'

則允許并且插入產(chǎn)生警告

ONLY_FULL_GROUP_BY

select

內(nèi)指定字段必須出現(xiàn)在

groupby

中，否則錯(cuò)誤

STRICT_TRANS_TABLES

為事務(wù)存儲(chǔ)引擎啟用嚴(yán)格的SQL模式，并在可能的情況下為非事務(wù)性存儲(chǔ)引擎啟用。

STRICT_ALL_TABLES

為所有存儲(chǔ)引擎啟用嚴(yán)格SQL模式。無(wú)效的數(shù)據(jù)值被拒絕。

詳情請(qǐng)參考

...

嚴(yán)格SQL模式

MySQL服務(wù)器可以在不同的SQL模式下運(yùn)行，并且可以針對(duì)不同的客戶(hù)端以不同的方式應(yīng)用這些模式，具體取決于sql_mode系統(tǒng)變量的值。在嚴(yán)格SQL模式下，服務(wù)器會(huì)將某些警告升級(jí)為錯(cuò)誤。

嚴(yán)格SQL模式適用于以下語(yǔ)句

ALTER

TABLE

CREATE

TABLE

CREATE

TABLE

...

SELECT

DELETE

INSERT

LOAD

DATA

LOAD

XML

SELECT

SLEEP()

UPDATE

在存儲(chǔ)的程序中，如果在嚴(yán)格模式生效時(shí)定義了程序，則列出的類(lèi)型的單個(gè)語(yǔ)句將以嚴(yán)格的SQL模式執(zhí)行。

嚴(yán)格的SQL模式適用于以下錯(cuò)誤，表示輸入值無(wú)效或缺失的一類(lèi)錯(cuò)誤。如果值具有錯(cuò)誤的列數(shù)據(jù)類(lèi)型或可能超出范圍，則該值無(wú)效。如果要插入的新行不包含其定義中NOT

NULL沒(méi)有顯式DEFAULT子句的列的值，則缺少值。

ER_BAD_NULL_ERROR

ER_CUT_VALUE_GROUP_CONCAT

ER_DATA_TOO_LONG

ER_DATETIME_FUNCTION_OVERFLOW

ER_DIVISION_BY_ZERO

ER_INVALID_ARGUMENT_FOR_LOGARITHM

ER_NO_DEFAULT_FOR_FIELD

ER_NO_DEFAULT_FOR_VIEW_FIELD

ER_TOO_LONG_KEY

ER_TRUNCATED_WRONG_VALUE

ER_TRUNCATED_WRONG_VALUE_FOR_FIELD

ER_WARN_DATA_OUT_OF_RANGE

ER_WARN_NULL_TO_NOTNULL

ER_WARN_TOO_FEW_RECORDS

ER_WRONG_ARGUMENTS

ER_WRONG_VALUE_FOR_TYPE

WARN_DATA_TRUNCATED

致謝

感謝你看到這里，希望本篇文章可以幫到你，謝謝。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章:如何開(kāi)啟mysql中的嚴(yán)格模式學(xué)習(xí)SQL語(yǔ)句(強(qiáng)大的group

by與select

from模式)老生常談MYSQL模式匹配

REGEXP和like的用法Mysql

SQL服務(wù)器模式介紹PHP基于單例模式實(shí)現(xiàn)的mysql類(lèi)NoSQL反模式

-

文檔數(shù)據(jù)庫(kù)篇mysql中binlog_format模式與配置詳細(xì)分析mysql啟用skip-name-resolve模式時(shí)出現(xiàn)Warning的處理辦法

Mongodb和mysql的區(qū)別

Mongodb和mysql的區(qū)別

1.Mongodb簡(jiǎn)介及優(yōu)缺點(diǎn)分析

Mongodb是非關(guān)系型數(shù)據(jù)庫(kù)(nosql ),屬于文檔型數(shù)據(jù)庫(kù)。文檔是mongoDB中數(shù)據(jù)的基本單元，類(lèi)似關(guān)系數(shù)據(jù)庫(kù)的行，多個(gè)鍵值對(duì)有序地放置在一起便是文檔，語(yǔ)法有點(diǎn)類(lèi)似javascript面向?qū)ο蟮牟樵?xún)語(yǔ)言，它是一個(gè)面向集合的，模式自由的文檔型數(shù)據(jù)庫(kù)。

存儲(chǔ)方式：虛擬內(nèi)存+持久化。

查詢(xún)語(yǔ)句：是獨(dú)特的Mongodb的查詢(xún)方式。

適合場(chǎng)景：事件的記錄，內(nèi)容管理或者博客平臺(tái)等等。

架構(gòu)特點(diǎn)：可以通過(guò)副本集，以及分片來(lái)實(shí)現(xiàn)高可用。

數(shù)據(jù)處理：數(shù)據(jù)是存儲(chǔ)在硬盤(pán)上的，只不過(guò)需要經(jīng)常讀取的數(shù)據(jù)會(huì)被加載到內(nèi)存中，將數(shù)據(jù)存儲(chǔ)在物理內(nèi)存中，從而達(dá)到高速讀寫(xiě)。

成熟度與廣泛度：新興數(shù)據(jù)庫(kù)，成熟度較低，Nosql數(shù)據(jù)庫(kù)中最為接近關(guān)系型數(shù)據(jù)庫(kù)，比較完善的DB之一，適用人群不斷在增長(zhǎng)。

優(yōu)點(diǎn)：

快速！在適量級(jí)的內(nèi)存的Mongodb的性能是非常迅速的，它將熱數(shù)據(jù)存儲(chǔ)在物理內(nèi)存中，使得熱數(shù)據(jù)的讀寫(xiě)變得十分快。高擴(kuò)展性，存儲(chǔ)的數(shù)據(jù)格式是json格式！

缺點(diǎn)：

① mongodb不支持事務(wù)操作。

② mongodb占用空間過(guò)大。

③ 開(kāi)發(fā)文檔不是很完全，完善。

2.MySQL優(yōu)缺點(diǎn)分析

優(yōu)點(diǎn)：

在不同的引擎上有不同 的存儲(chǔ)方式。

查詢(xún)語(yǔ)句是使用傳統(tǒng)的sql語(yǔ)句，擁有較為成熟的體系，成熟度很高。

開(kāi)源數(shù)據(jù)庫(kù)的份額在不斷增加，mysql的份額頁(yè)在持續(xù)增長(zhǎng)。

缺點(diǎn)：

在海量數(shù)據(jù)處理的時(shí)候效率會(huì)顯著變慢。

3.Mongodb和MySQL數(shù)據(jù)庫(kù)的對(duì)比

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)一般由數(shù)據(jù)庫(kù)（database）、表（table）、記錄（record）三個(gè)層次概念組成，MongoDB是由數(shù)據(jù)庫(kù)（database）、集合（collection）、文檔對(duì)象（document）三個(gè)層次組成。

MongoDB對(duì)于關(guān)系型數(shù)據(jù)庫(kù)里的表，但是集合中沒(méi)有列、行和關(guān)系概念，這體現(xiàn)了模式自由的特點(diǎn)。

4.MongoDB常用語(yǔ)句

# 連接Mongo數(shù)據(jù)庫(kù)，并設(shè)置數(shù)據(jù)存儲(chǔ)地址

mongod.exe --dbpath "d:softwareMongoDBServer3.0data"

#-----------------------#1# 數(shù)據(jù)庫(kù)

# 查看所有的數(shù)據(jù)庫(kù)

show dbs

# 刪除當(dāng)前使用的數(shù)據(jù)庫(kù)

db.dropDatabase()

# 使用這個(gè)數(shù)據(jù)庫(kù)（只有插入數(shù)據(jù)后完成創(chuàng)建數(shù)據(jù)庫(kù)）

use dbt

# 查看當(dāng)前使用的數(shù)據(jù)庫(kù)

db

db.getName()

# 查看當(dāng)前數(shù)據(jù)庫(kù)狀態(tài)

db.stats()

# 修復(fù)當(dāng)前數(shù)據(jù)庫(kù)

db.repairDatabase()

# 從一個(gè)數(shù)據(jù)庫(kù)復(fù)制到另一個(gè)數(shù)據(jù)庫(kù)

db.copyDatabase("mydb", "temp", "127.0.0.1");

#-----------------------#2# 集合

# 查看當(dāng)前數(shù)據(jù)庫(kù)下所有的集合

show collections

show tables

# 創(chuàng)建名稱(chēng)為coll集合

db.createCollection('coll')

db.createCollection("coll2", {capped:true, autoIndexId:true, size:6142800, max:10000}) # 可選參數(shù)

# 查看當(dāng)前集合狀態(tài)

db.coll.stats()

# 刪除名稱(chēng)為coll集合

db.coll.drop()

#-----------------------#3# 集合數(shù)據(jù)

# 插入空數(shù)據(jù)并且直接創(chuàng)建名稱(chēng)為coll集合

db.coll.insert({})

# 插入一個(gè)或多個(gè)數(shù)據(jù)

db.coll.insert({name:'tom', age:22})

db.coll.insert([{name:'adam', age:10},{name:'john', age:23}])

# 添加數(shù)據(jù)（save方法可以修改相同id的數(shù)據(jù)）

db.coll.save({name:'allen'})

# 刪除一個(gè)或所有的數(shù)據(jù)

db.coll.remove({name:'tom'})

db.coll.remove({})

# 刪除符合條件的數(shù)據(jù)中的第一條

db.coll.remove({name:'tom'}, 1)

# 更改數(shù)據(jù)

db.coll.update({name:'tom', age:22}, {$set:{name:'tom', age:222}})

# 查看數(shù)據(jù)

db.coll.find()

# 查看一條數(shù)據(jù)

db.coll.findOne()

db.coll.find({}, {name:1, '_id':0}) # 1表示顯示，0表示不顯示（find默認(rèn)顯示_id）

# 格式化顯示數(shù)據(jù)，使數(shù)據(jù)更加清晰明了

db.coll.find().pretty()

# 使用and，or查看數(shù)據(jù)

db.coll.find({name:'tom', age:22}) # 等同and使用

db.coll.find({$or:[{name:'tom'}, {age:21}]}) # or使用

# 操作符大于，小于，等于，不等于，大于不等于，小于不等于

db.coll.find({age: {$gt: 22}}) # 大于

db.coll.find({age: {$lt: 22}}) # 大于

db.coll.find({age: 22}) # 等于

db.coll.find({age: {$ne: 22}}) # 不等于

db.coll.find({age: {$gte: 22}}) # 大于等于

db.coll.find({age: {$lte: 22}}) # 小于等于

# 顯示從skip之后limit個(gè)

db.coll.find().limit(2).skip(1)

#-----------------------# # 用戶(hù)

# 3.x之后版本添加用戶(hù)

use admin

db.createUser({user:'nu', pwd:'nu', roles:[{role:'readWrite',db:'admin'}]})

# 用戶(hù)認(rèn)證

db.auth("nu", "nu");

# 顯示當(dāng)前所有用戶(hù)

show users;

db.system.users.find()

3.x版本刪除用戶(hù)

db.removeUser('nu') # 不推薦使用，已經(jīng)廢棄

db.dropUser("nu");

# 當(dāng)前db版本

db.version();

# 當(dāng)前db的鏈接機(jī)器地址和端口

db.getMongo();

# 備份到備份目錄

mongodump

# 從備份目錄恢復(fù)備份語(yǔ)句。

mongorestore

咱們下期見(jiàn)。

MySQL性能調(diào)優(yōu) – 你必須了解的15個(gè)重要變量

前言:

MYSQL 應(yīng)該是最流行了 WEB 后端數(shù)據(jù)庫(kù)。雖然 NOSQL 最近越來(lái)越多的被提到，但是相信大部分架構(gòu)師還是會(huì)選擇 MYSQL 來(lái)做數(shù)據(jù)存儲(chǔ)。本文作者總結(jié)梳理MySQL性能調(diào)優(yōu)的15個(gè)重要變量，又不足需要補(bǔ)充的還望大佬指出。

1.DEFAULT_STORAGE_ENGINE

如果你已經(jīng)在用MySQL 5.6或者5.7，并且你的數(shù)據(jù)表都是InnoDB，那么表示你已經(jīng)設(shè)置好了。如果沒(méi)有，確保把你的表轉(zhuǎn)換為InnoDB并且設(shè)置default_storage_engine為InnoDB。

為什么？簡(jiǎn)而言之，因?yàn)镮nnoDB是MySQL(包括Percona Server和MariaDB)最好的存儲(chǔ)引擎 – 它支持事務(wù)，高并發(fā)，有著非常好的性能表現(xiàn)(當(dāng)配置正確時(shí))。這里有詳細(xì)的版本介紹為什么

2.INNODB_BUFFER_POOL_SIZE

這個(gè)是InnoDB最重要變量。實(shí)際上，如果你的主要存儲(chǔ)引擎是InnoDB，那么對(duì)于你，這個(gè)變量對(duì)于MySQL是最重要的。

基本上，innodb_buffer_pool_size指定了MySQL應(yīng)該分配給InnoDB緩沖池多少內(nèi)存，InnoDB緩沖池用來(lái)存儲(chǔ)緩存的數(shù)據(jù)，二級(jí)索引，臟數(shù)據(jù)(已經(jīng)被更改但沒(méi)有刷新到硬盤(pán)的數(shù)據(jù))以及各種內(nèi)部結(jié)構(gòu)如自適應(yīng)哈希索引。

根據(jù)經(jīng)驗(yàn)，在一個(gè)獨(dú)立的MySQL服務(wù)器應(yīng)該分配給MySQL整個(gè)機(jī)器總內(nèi)存的80%。如果你的MySQL運(yùn)行在一個(gè)共享服務(wù)器，或者你想知道InnoDB緩沖池大小是否正確設(shè)置，詳細(xì)請(qǐng)看這里。

3.INNODB_LOG_FILE_SIZE

InnoDB重做日志文件的設(shè)置在MySQL社區(qū)也叫做事務(wù)日志。直到MySQL 5.6.8事務(wù)日志默認(rèn)值innodb_log_file_size=5M是唯一最大的InnoDB性能殺手。從MySQL 5.6.8開(kāi)始，默認(rèn)值提升到48M,但對(duì)于許多稍繁忙的系統(tǒng)，還遠(yuǎn)遠(yuǎn)要低。

根據(jù)經(jīng)驗(yàn)，你應(yīng)該設(shè)置的日志大小能在你服務(wù)器繁忙時(shí)能存儲(chǔ)1-2小時(shí)的寫(xiě)入量。如果不想這么麻煩，那么設(shè)置1-2G的大小會(huì)讓你的性能有一個(gè)不錯(cuò)的表現(xiàn)。這個(gè)變量也相當(dāng)重要，更詳細(xì)的介紹請(qǐng)看這里。

當(dāng)然，如果你有大量的大事務(wù)更改，那么，更改比默認(rèn)innodb日志緩沖大小更大的值會(huì)對(duì)你的性能有一定的提高，但是你使用的是autocommit，或者你的事務(wù)更改小于幾k，那還是保持默認(rèn)的值吧。

4.INNODB_FLUSH_LOG_AT_TRX_COMMIT

默認(rèn)下，innodb_flush_log_at_trx_commit設(shè)置為1表示InnoDB在每次事務(wù)提交后立即刷新同步數(shù)據(jù)到硬盤(pán)。如果你使用autocommit，那么你的每一個(gè)INSERT, UPDATE或DELETE語(yǔ)句都是一個(gè)事務(wù)提交。

同步是一個(gè)昂貴的操作(特別是當(dāng)你沒(méi)有寫(xiě)回緩存時(shí))，因?yàn)樗婕皩?duì)硬盤(pán)的實(shí)際同步物理寫(xiě)入。所以如果可能，并不建議使用默認(rèn)值。

兩個(gè)可選的值是0和2:

* 0表示刷新到硬盤(pán)，但不同步(提交事務(wù)時(shí)沒(méi)有實(shí)際的IO操作)

* 2表示不刷新和不同步(也沒(méi)有實(shí)際的IO操作)

所以你如果設(shè)置它為0或2，則同步操作每秒執(zhí)行一次。所以明顯的缺點(diǎn)是你可能會(huì)丟失上一秒的提交數(shù)據(jù)。具體來(lái)說(shuō)，你的事務(wù)已經(jīng)提交了，但服務(wù)器馬上斷電了，那么你的提交相當(dāng)于沒(méi)有發(fā)生過(guò)。

顯示的，對(duì)于金融機(jī)構(gòu)，如銀行，這是無(wú)法忍受的。不過(guò)對(duì)于大多數(shù)網(wǎng)站，可以設(shè)置為innodb_flush_log_at_trx_commit=0|2，即使服務(wù)器最終崩潰也沒(méi)有什么大問(wèn)題。畢竟，僅僅在幾年前有許多網(wǎng)站還是用MyISAM，當(dāng)崩潰時(shí)會(huì)丟失30s的數(shù)據(jù)(更不要提那令人抓狂的慢修復(fù)進(jìn)程)。

那么，0和2之間的實(shí)際區(qū)別是什么？性能明顯的差異是可以忽略不計(jì)，因?yàn)樗⑿碌讲僮飨到y(tǒng)緩存的操作是非常快的。所以很明顯應(yīng)該設(shè)置為0，萬(wàn)一MySQL崩潰(不是整個(gè)機(jī)器)，你不會(huì)丟失任何數(shù)據(jù)，因?yàn)閿?shù)據(jù)已經(jīng)在OS緩存，最終還是會(huì)同步到硬盤(pán)的。

5.SYNC_BINLOG

已經(jīng)有大量的文檔寫(xiě)到sync_binlog，以及它和innodb_flush_log_at_trx_commit的關(guān)系，下面我們來(lái)簡(jiǎn)單的介紹下：

a) 如果你的服務(wù)器沒(méi)有設(shè)置從服務(wù)器，而且你不做備份，那么設(shè)置sync_binlog=0將對(duì)性能有好處。

b) 如果你有從服務(wù)器并且做備份，但你不介意當(dāng)主服務(wù)器崩潰時(shí)在二進(jìn)制日志丟失一些事件，那么為了更好的性能還是設(shè)置為sync_binlog=0.

c) 如果你有從服務(wù)器并且備份，你非常在意從服務(wù)器的一致性，以及能及時(shí)恢復(fù)到一個(gè)時(shí)間點(diǎn)(通過(guò)使用最新的一致性備份和二進(jìn)制日志將數(shù)據(jù)庫(kù)恢復(fù)到特定時(shí)間點(diǎn)的能力)，那么你應(yīng)該設(shè)置innodb_flush_log_at_trx_commit=1，并且需要認(rèn)真考慮使用sync_binlog=1。

問(wèn)題是sync_binlog=1代價(jià)比較高 – 現(xiàn)在每個(gè)事務(wù)也要同步一次到硬盤(pán)。你可能會(huì)想為什么不把兩次同步合并成一次，想法正確 – 新版本的MySQL(5.6和5.7，MariaDB和Percona Server)已經(jīng)能合并提交，那么在這種情況下sync_binlog=1的操作也不是這么昂貴了，但在舊的mysql版本中仍然會(huì)對(duì)性能有很大影響。

6.INNODB_FLUSH_METHOD

將innodb_flush_method設(shè)置為O_DIRECT以避免雙重緩沖.唯一一種情況你不應(yīng)該使用O_DIRECT是當(dāng)你操作系統(tǒng)不支持時(shí)。但如果你運(yùn)行的是Linux，使用O_DIRECT來(lái)激活直接IO。

不用直接IO，雙重緩沖將會(huì)發(fā)生，因?yàn)樗械臄?shù)據(jù)庫(kù)更改首先會(huì)寫(xiě)入到OS緩存然后才同步到硬盤(pán) – 所以InnoDB緩沖池和OS緩存會(huì)同時(shí)持有一份相同的數(shù)據(jù)。特別是如果你的緩沖池限制為總內(nèi)存的50%，那意味著在寫(xiě)密集的環(huán)境中你可能會(huì)浪費(fèi)高達(dá)50%的內(nèi)存。如果沒(méi)有限制為50%，服務(wù)器可能由于OS緩存的高壓力會(huì)使用到swap。

簡(jiǎn)單地說(shuō)，設(shè)置為innodb_flush_method=O_DIRECT。

7.INNODB_BUFFER_POOL_INSTANCES

MySQL 5.5引入了緩沖實(shí)例作為減小內(nèi)部鎖爭(zhēng)用來(lái)提高M(jìn)ySQL吞吐量的手段。

在5.5版本這個(gè)對(duì)提升吞吐量幫助很小，然后在MySQL 5.6版本這個(gè)提升就非常大了，所以在MySQL5.5中你可能會(huì)保守地設(shè)置innodb_buffer_pool_instances=4，在MySQL 5.6和5.7中你可以設(shè)置為8-16個(gè)緩沖池實(shí)例。

你設(shè)置后觀察會(huì)覺(jué)得性能提高不大，但在大多數(shù)高負(fù)載情況下，它應(yīng)該會(huì)有不錯(cuò)的表現(xiàn)。

對(duì)了，不要指望這個(gè)設(shè)置能減少你單個(gè)查詢(xún)的響應(yīng)時(shí)間。這個(gè)是在高并發(fā)負(fù)載的服務(wù)器上才看得出區(qū)別。比如多個(gè)線程同時(shí)做許多事情。

8.INNODB_THREAD_CONCURRENCY

InnoDB有一種方法來(lái)控制并行執(zhí)行的線程數(shù) – 我們稱(chēng)為并發(fā)控制機(jī)制。大部分是由innodb_thread_concurrency值來(lái)控制的。如果設(shè)置為0，并發(fā)控制就關(guān)閉了，因此InnoDB會(huì)立即處理所有進(jìn)來(lái)的請(qǐng)求(盡可能多的)。

在你有32CPU核心且只有4個(gè)請(qǐng)求時(shí)會(huì)沒(méi)什么問(wèn)題。不過(guò)想像下你只有4CPU核心和32個(gè)請(qǐng)求時(shí) – 如果你讓32個(gè)請(qǐng)求同時(shí)處理，你這個(gè)自找麻煩。因?yàn)檫@些32個(gè)請(qǐng)求只有4 CPU核心，顯然地會(huì)比平常慢至少8倍(實(shí)際上是大于8倍)，而然這些請(qǐng)求每個(gè)都有自己的外部和內(nèi)部鎖，這有很大可能堆積請(qǐng)求。

下面介紹如何更改這個(gè)變量，在mysql命令行提示符執(zhí)行：

對(duì)于大多數(shù)工作負(fù)載和服務(wù)器，設(shè)置為8是一個(gè)好開(kāi)端，然后你可以根據(jù)服務(wù)器達(dá)到了這個(gè)限制而資源使用率利用不足時(shí)逐漸增加?？梢酝ㄟ^(guò)show engine innodb status\G來(lái)查看目前查詢(xún)處理情況，查找類(lèi)似如下行：

9.SKIP_NAME_RESOLVE

這一項(xiàng)不得不提及，因?yàn)槿匀挥泻芏嗳藳](méi)有添加這一項(xiàng)。你應(yīng)該添加skip_name_resolve來(lái)避免連接時(shí)DNS解析。

大多數(shù)情況下你更改這個(gè)會(huì)沒(méi)有什么感覺(jué)，因?yàn)榇蠖鄶?shù)情況下DNS服務(wù)器解析會(huì)非?？臁２贿^(guò)當(dāng)DNS服務(wù)器失敗時(shí)，它會(huì)出現(xiàn)在你服務(wù)器上出現(xiàn)“unauthenticated connections” ，而就是為什么所有的請(qǐng)求都突然開(kāi)始慢下來(lái)了。

所以不要等到這種事情發(fā)生才更改。現(xiàn)在添加這個(gè)變量并且避免基于主機(jī)名的授權(quán)。

10.INNODB_IO_CAPACITY, INNODB_IO_CAPACITY_MAX

* innodb_io_capacity：用來(lái)當(dāng)刷新臟數(shù)據(jù)時(shí)，控制MySQL每秒執(zhí)行的寫(xiě)IO量。

* innodb_io_capacity_max: 在壓力下，控制當(dāng)刷新臟數(shù)據(jù)時(shí)MySQL每秒執(zhí)行的寫(xiě)IO量

首先，這與讀取無(wú)關(guān) – SELECT查詢(xún)執(zhí)行的操作。對(duì)于讀操作，MySQL會(huì)盡最大可能處理并返回結(jié)果。至于寫(xiě)操作，MySQL在后臺(tái)會(huì)循環(huán)刷新，在每一個(gè)循環(huán)會(huì)檢查有多少數(shù)據(jù)需要刷新，并且不會(huì)用超過(guò)innodb_io_capacity指定的數(shù)來(lái)做刷新操作。這也包括更改緩沖區(qū)合并（在它們刷新到磁盤(pán)之前，更改緩沖區(qū)是輔助臟頁(yè)存儲(chǔ)的關(guān)鍵）。

第二，我需要解釋一下什么叫“在壓力下”，MySQL中稱(chēng)為”緊急情況”，是當(dāng)MySQL在后臺(tái)刷新時(shí)，它需要刷新一些數(shù)據(jù)為了讓新的寫(xiě)操作進(jìn)來(lái)。然后，MySQL會(huì)用到innodb_io_capacity_max。

那么，應(yīng)該設(shè)置innodb_io_capacity和innodb_io_capacity_max為什么呢？

最好的方法是測(cè)量你的存儲(chǔ)設(shè)置的隨機(jī)寫(xiě)吞吐量，然后給innodb_io_capacity_max設(shè)置為你的設(shè)備能達(dá)到的最大IOPS。innodb_io_capacity就設(shè)置為它的50-75%，特別是你的系統(tǒng)主要是寫(xiě)操作時(shí)。

通常你可以預(yù)測(cè)你的系統(tǒng)的IOPS是多少。例如由8 15k硬盤(pán)組成的RAID10能做大約每秒1000隨機(jī)寫(xiě)操作，所以你可以設(shè)置innodb_io_capacity=600和innodb_io_capacity_max=1000。許多廉價(jià)企業(yè)SSD可以做4,000-10,000 IOPS等。

這個(gè)值設(shè)置得不完美問(wèn)題不大。但是，要注意默認(rèn)的200和400會(huì)限制你的寫(xiě)吞吐量，因此你可能偶爾會(huì)捕捉到刷新進(jìn)程。如果出現(xiàn)這種情況，可能是已經(jīng)達(dá)到你硬盤(pán)的寫(xiě)IO吞吐量，或者這個(gè)值設(shè)置得太小限制了吞吐量。

11.INNODB_STATS_ON_METADATA

如果你跑的是MySQL 5.6或5.7，你不需要更改innodb_stats_on_metadata的默認(rèn)值，因?yàn)樗呀?jīng)設(shè)置正確了。

不過(guò)在MySQL 5.5或5.1，強(qiáng)烈建議關(guān)閉這個(gè)變量 – 如果是開(kāi)啟，像命令show table status會(huì)立即查詢(xún)INFORMATION_SCHEMA而不是等幾秒再執(zhí)行，這會(huì)使用到額外的IO操作。

從5.1.32版本開(kāi)始，這個(gè)是動(dòng)態(tài)變量，意味著你不需要重啟MySQL服務(wù)器來(lái)關(guān)閉它。

12.INNODB_BUFFER_POOL_DUMP_AT_SHUTDOWN INNODB_BUFFER_POOL_LOAD_AT_STARTUP

innodb_buffer_pool_dump_at_shutdown和innodb_buffer_pool_load_at_startup這兩個(gè)變量與性能無(wú)關(guān)，不過(guò)如果你偶爾重啟mysql服務(wù)器(如生效配置)，那么就有關(guān)。當(dāng)兩個(gè)都激活時(shí)，MySQL緩沖池的內(nèi)容(更具體地說(shuō)，是緩存頁(yè))在停止MySQL時(shí)存儲(chǔ)到一個(gè)文件。當(dāng)你下次啟動(dòng)MySQL時(shí)，它會(huì)在后臺(tái)啟動(dòng)一個(gè)線程來(lái)加載緩沖池的內(nèi)容以提高預(yù)熱速度到3-5倍。

兩件事：

第一，它實(shí)際上沒(méi)有在關(guān)閉時(shí)復(fù)制緩沖池內(nèi)容到文件，僅僅是復(fù)制表空間ID和頁(yè)面ID – 足夠的信息來(lái)定位硬盤(pán)上的頁(yè)面了。然后它就能以大量的順序讀非?？焖俚募虞d那些頁(yè)面，而不是需要成千上萬(wàn)的小隨機(jī)讀。

第二，啟動(dòng)時(shí)是在后臺(tái)加載內(nèi)容，因?yàn)镸ySQL不需要等到緩沖池內(nèi)容加載完成再開(kāi)始接受請(qǐng)求(所以看起來(lái)不會(huì)有什么影響)。

從MySQL 5.7.7開(kāi)始，默認(rèn)只有25%的緩沖池頁(yè)面在mysql關(guān)閉時(shí)存儲(chǔ)到文件，但是你可以控制這個(gè)值 – 使用innodb_buffer_pool_dump_pct，建議75-100。

這個(gè)特性從MySQL 5.6才開(kāi)始支持。

13.INNODB_ADAPTIVE_HASH_INDEX_PARTS

如果你運(yùn)行著一個(gè)大量SELECT查詢(xún)的MySQL服務(wù)器(并且已經(jīng)盡可能優(yōu)化)，那么自適應(yīng)哈希索引將下你的下一個(gè)瓶頸。自適應(yīng)哈希索引是InnoDB內(nèi)部維護(hù)的動(dòng)態(tài)索引，可以提高最常用的查詢(xún)模式的性能。這個(gè)特性可以重啟服務(wù)器關(guān)閉，不過(guò)默認(rèn)下在mysql的所有版本開(kāi)啟。

這個(gè)技術(shù)非常復(fù)雜，在大多數(shù)情況下它會(huì)對(duì)大多數(shù)類(lèi)型的查詢(xún)直到加速的作用。不過(guò)，當(dāng)你有太多的查詢(xún)往數(shù)據(jù)庫(kù)，在某一個(gè)點(diǎn)上它會(huì)花過(guò)多的時(shí)間等待AHI鎖和閂鎖。

如果你的是MySQL 5.7，沒(méi)有這個(gè)問(wèn)題 – innodb_adaptive_hash_index_parts默認(rèn)設(shè)置為8，所以自適應(yīng)哈希索引被切割為8個(gè)分區(qū)，因?yàn)椴淮嬖谌只コ狻?/p>

不過(guò)在mysql 5.7前的版本，沒(méi)有AHI分區(qū)數(shù)量的控制。換句話說(shuō)，有一個(gè)全局互斥鎖來(lái)保護(hù)AHI，可能導(dǎo)致你的select查詢(xún)經(jīng)常撞墻。

所以如果你運(yùn)行的是5.1或5.6，并且有大量的select查詢(xún)，最簡(jiǎn)單的方案就是切換成同一版本的Percona Server來(lái)激活A(yù)HI分區(qū)。

14.QUERY_CACHE_TYPE

如果人認(rèn)為查詢(xún)緩存效果很好，肯定應(yīng)該使用它。好吧，有時(shí)候是有用的。不過(guò)這個(gè)只在你在低負(fù)載時(shí)有用，特別是在低負(fù)載下大多數(shù)是讀取，小量寫(xiě)或者沒(méi)有。

如果是那樣的情況，設(shè)置query_cache_type=ON和query_cache_size=256M就好了。不過(guò)記住不能把256M設(shè)置更高的值了，否則會(huì)由于查詢(xún)緩存失效時(shí)，導(dǎo)致引起嚴(yán)重的服務(wù)器停頓。

如果你的MySQL服務(wù)器高負(fù)載動(dòng)作，建議設(shè)置query_cache_size=0和query_cache_type=OFF，并重啟服務(wù)器生效。那樣Mysql就會(huì)停止在所有的查詢(xún)使用查詢(xún)緩存互斥鎖。

15.TABLE_OPEN_CACHE_INSTANCES

從MySQL 5.6.6開(kāi)始，表緩存能分割到多個(gè)分區(qū)。

表緩存用來(lái)存放目前已打開(kāi)表的列表，當(dāng)每一個(gè)表打開(kāi)或關(guān)閉互斥體就被鎖定 – 即使這是一個(gè)隱式臨時(shí)表。使用多個(gè)分區(qū)絕對(duì)減少了潛在的爭(zhēng)用。

從MySQL 5.7.8開(kāi)始，table_open_cache_instances=16是默認(rèn)的配置。

歡迎做Java的工程師朋友們私信我資料免費(fèi)獲取免費(fèi)的Java架構(gòu)學(xué)習(xí)資料（里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調(diào)優(yōu)、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個(gè)知識(shí)點(diǎn)的架構(gòu)資料）

其中覆蓋了互聯(lián)網(wǎng)的方方面面，期間碰到各種產(chǎn)品各種場(chǎng)景下的各種問(wèn)題，很值得大家借鑒和學(xué)習(xí)，擴(kuò)展自己的技術(shù)廣度和知識(shí)面。

誰(shuí)能說(shuō)說(shuō)mangodb 和 hbase的區(qū)別

1.Mongodb bson文檔型數(shù)據(jù)庫(kù)，整個(gè)數(shù)據(jù)都存在磁盤(pán)中，hbase是列式數(shù)據(jù)庫(kù)，集群部署時(shí)每個(gè)familycolumn保存在單獨(dú)的hdfs文件中。

2.Mongodb 主鍵是“_id”,主鍵上面可以不建索引,記錄插入的順序和存放的順序一樣，hbase的主鍵就是row key，可以是任意字符串(最大長(zhǎng)度是 64KB，實(shí)際應(yīng)用中長(zhǎng)度一般為 10-100bytes)，在hbase內(nèi)部，row key保存為字節(jié)數(shù)組。存儲(chǔ)時(shí)，數(shù)據(jù)按照Row key的字典序(byte order)排序存儲(chǔ)。設(shè)計(jì)key時(shí)，要充分排序存儲(chǔ)這個(gè)特性，將經(jīng)常一起讀取的行存儲(chǔ)放到一起。

字典序?qū)nt排序的結(jié)果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行鍵必須用0作左填充。

3.Mongodb支持二級(jí)索引，而hbase本身不支持二級(jí)索引

4.Mongodb支持集合查找，正則查找，范圍查找，支持skip和limit等等，是最像mysql的nosql數(shù)據(jù)庫(kù)，而hbase只支持三種查找：通過(guò)單個(gè)row key訪問(wèn)，通過(guò)row key的range，全表掃描

5.mongodb的update是update-in-place，也就是原地更新，除非原地容納不下更新后的數(shù)據(jù)記錄。而hbase的修改和添加都是同一個(gè)命令：put，如果put傳入的row key已經(jīng)存在就更新原記錄,實(shí)際上hbase內(nèi)部也不是更新，它只是將這一份數(shù)據(jù)已不同的版本保存下來(lái)而已，hbase默認(rèn)的保存版本的歷史數(shù)量是3。

6.mongodb的delete會(huì)將該行的數(shù)據(jù)標(biāo)示為已刪除，因?yàn)閙ongodb在刪除記錄時(shí)并不是真把記錄從內(nèi)存或文件中remove，而是將該刪除記錄數(shù)據(jù)置空（寫(xiě)0或特殊數(shù)字加以標(biāo)識(shí)）同時(shí)將該記錄所在地址放到一個(gè)list列表“釋放列表”中，這樣做的好就是就是如果有用戶(hù)要執(zhí)行插入記錄操作時(shí)，mongodb會(huì)首先從該“釋放列表”中獲取size合適的“已刪除記錄”地址返回，這種方法會(huì)提升性能（避免了malloc內(nèi)存操作），同時(shí)mongodb也使用了bucket size數(shù)組來(lái)定義多個(gè)大小size不同的列表，用于將要?jiǎng)h除的記錄根據(jù)其size大小放到合適的“釋放列表”中。Hbase的delete是先新建一個(gè)tombstonemarkers，然后讀的時(shí)候會(huì)和tombstonemarkers做merge，在 發(fā)生major compaction時(shí)delete的數(shù)據(jù)記錄才會(huì)真真刪除。

7.mongodb和hbase都支持mapreduce，不過(guò)mongodb的mapreduce支持不夠強(qiáng)大，如果沒(méi)有使用mongodb分片，mapreduce實(shí)際上不是并行執(zhí)行的

8.mongodb支持shard分片，hbase根據(jù)row key自動(dòng)負(fù)載均衡，這里shard key和row key的選取盡量用非遞增的字段，盡量用分布均衡的字段，因?yàn)榉制际歉鶕?jù)范圍來(lái)選擇對(duì)應(yīng)的存取server的，如果用遞增字段很容易熱點(diǎn)server的產(chǎn)生，由于是根據(jù)key的范圍來(lái)自動(dòng)分片的，如果key分布不均衡就會(huì)導(dǎo)致有些key根本就沒(méi)法切分，從而產(chǎn)生負(fù)載不均衡。

9.mongodb的讀效率比寫(xiě)高，hbase默認(rèn)適合寫(xiě)多讀少的情況，可以通過(guò)hfile.block.cache.size配置，該配置storefile的讀緩存占用Heap的大小百分比，0.2表示20%。該值直接影響數(shù)據(jù)讀的性能。如果寫(xiě)比讀少很多，開(kāi)到0.4-0.5也沒(méi)問(wèn)題。如果讀寫(xiě)較均衡，0.3左右。如果寫(xiě)比讀多，果斷默認(rèn)0.2吧。設(shè)置這個(gè)值的時(shí)候，你同時(shí)要參考hbase.regionserver.global.memstore.upperLimit，該值是memstore占heap的最大百分比，兩個(gè)參數(shù)一個(gè)影響讀，一個(gè)影響寫(xiě)。如果兩值加起來(lái)超過(guò)80-90%，會(huì)有OOM的風(fēng)險(xiǎn)，謹(jǐn)慎設(shè)置。

10.hbase采用的LSM思想(Log-Structured Merge-Tree)，就是將對(duì)數(shù)據(jù)的更改hold在內(nèi)存中，達(dá)到指定的threadhold后將該批更改merge后批量寫(xiě)入到磁盤(pán)，這樣將單個(gè)寫(xiě)變成了批量寫(xiě)，大大提高了寫(xiě)入速度，不過(guò)這樣的話讀的時(shí)候就費(fèi)勁了，需要merge disk上的數(shù)據(jù)和memory中的修改數(shù)據(jù)，這顯然降低了讀的性能。mongodb采用的是mapfile+Journal思想，如果記錄不在內(nèi)存，先加載到內(nèi)存，然后在內(nèi)存中更改后記錄日志，然后隔一段時(shí)間批量的寫(xiě)入data文件，這樣對(duì)內(nèi)存的要求較高，至少需要容納下熱點(diǎn)數(shù)據(jù)和索引。

標(biāo)題名稱(chēng)：包含nosqlskip的詞條
本文路徑：http://sd-ha.com/article48/phhphp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、響應(yīng)式網(wǎng)站、動(dòng)態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)頁(yè)設(shè)計(jì)公司、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)