golang sync.pool對象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請求或高并發(fā)的場景中，頻繁創(chuàng)建銷毀對象，會導(dǎo)致GC壓力。解決辦法之一就是使用對象復(fù)用技術(shù)。在http協(xié)議層之下，使用對象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請求處理的速度。

創(chuàng)新互聯(lián)公司主打移動網(wǎng)站、網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、網(wǎng)站改版、網(wǎng)絡(luò)推廣、網(wǎng)站維護、空間域名、等互聯(lián)網(wǎng)信息服務(wù)，為各行業(yè)提供服務(wù)。在技術(shù)實力的保障下，我們?yōu)榭蛻舫兄Z穩(wěn)定，放心的服務(wù)，根據(jù)網(wǎng)站的內(nèi)容與功能再決定采用什么樣的設(shè)計。最后，要實現(xiàn)符合網(wǎng)站需求的內(nèi)容、功能與設(shè)計，我們還會規(guī)劃穩(wěn)定安全的技術(shù)方案做保障。

先上一個測試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來優(yōu)化性能的選擇相違背。這同時也說明了一個問題，好的東西，如果濫用反而造成了性能成倍的下降。在看過pool原理之后，結(jié)合實例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個 協(xié)程安全 的 臨時對象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實類型是一個 poolLocal 數(shù)組，localSize 是數(shù)組長度。這涉及到Pool實現(xiàn)，pool為每個P分配了一個對象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時，goroutine綁定的P有對象，先用自己的，沒有去偷其它P的。go語言將數(shù)據(jù)分散在了各個真正運行的P中，降低了鎖競爭，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個關(guān)鍵字，這里的New是Pool的一個字段，也是一個閉包名稱。其API：

如果不指定New字段，對象池為空時會返回nil，而不是一個新構(gòu)建的對象。Get()到的對象是隨機的。

原生sync.Pool的問題是，Pool中的對象會被GC清理掉，這使得sync.Pool只適合做簡單地對象池，不適合作連接池。

pool創(chuàng)建時不能指定大小，沒有數(shù)量限制。pool中對象會被GC清掉，只存在于兩次GC之間。實現(xiàn)是pool的init方法注冊了一個poolCleanup()函數(shù)，這個方法在GC之前執(zhí)行，清空pool中的所有緩存對象。

為使多協(xié)程使用同一個POOL。最基本的想法就是每個協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進一步改進，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對象是無差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個綁定協(xié)程的P都分配一個子池。每個子池又分為私有池和共享列表。共享列表是分別存放在各個P之上的共享區(qū)域，而不是各個P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對象過程：

Put過程：

如何解決Get最壞情況遍歷所有P才獲取得對象呢：

方法1止前sync.pool并沒有這樣的設(shè)置。方法2由于goroutine被分配到哪個P由調(diào)度器調(diào)度不可控，無法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過短，且池大小不可控，因而不適合作連接池。僅適用于增加對象重用機率，減少GC負擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無元素的P，長時間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測試場景在goroutines遠大于GOMAXPROCS情況下，與非池化性能差異巨大。

測試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠大于GOMAXPROCS，條件2是池中對象遠大于GOMAXPROCS。歸結(jié)成一個原因就是使對象在各個P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時鐘或弱引用回收。最終確定在GC時回收Pool內(nèi)對象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強引用、弱引用、軟引用、虛引用。虛引用即沒有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時使用同一個正則，而維護了一組狀態(tài)機。

fmt包做字串拼接，從sync.pool拿[]byte對象。避免頻繁構(gòu)建再GC效率高很多。

GO語言（三十）：訪問關(guān)系型數(shù)據(jù)庫（上）

本教程介紹了使用 Godatabase/sql及其標(biāo)準(zhǔn)庫中的包訪問關(guān)系數(shù)據(jù)庫的基礎(chǔ)知識。

您將使用的database/sql包包括用于連接數(shù)據(jù)庫、執(zhí)行事務(wù)、取消正在進行的操作等的類型和函數(shù)。

在本教程中，您將創(chuàng)建一個數(shù)據(jù)庫，然后編寫代碼來訪問該數(shù)據(jù)庫。您的示例項目將是有關(guān)老式爵士樂唱片的數(shù)據(jù)存儲庫。

首先，為您要編寫的代碼創(chuàng)建一個文件夾。

1、打開命令提示符并切換到您的主目錄。

在 Linux 或 Mac 上：

在 Windows 上：

2、在命令提示符下，為您的代碼創(chuàng)建一個名為 data-access 的目錄。

3、創(chuàng)建一個模塊，您可以在其中管理將在本教程中添加的依賴項。

運行g(shù)o mod init命令，為其提供新代碼的模塊路徑。

此命令創(chuàng)建一個 go.mod 文件，您添加的依賴項將在其中列出以供跟蹤。

注意： 在實際開發(fā)中，您會指定一個更符合您自己需求的模塊路徑。有關(guān)更多信息，請參閱一下文章。

GO語言（二十五）：管理依賴項（上）

GO語言（二十六）：管理依賴項（中）

GO語言（二十七）：管理依賴項（下）

接下來，您將創(chuàng)建一個數(shù)據(jù)庫。

在此步驟中，您將創(chuàng)建要使用的數(shù)據(jù)庫。您將使用 DBMS 本身的 CLI 創(chuàng)建數(shù)據(jù)庫和表，以及添加數(shù)據(jù)。

您將創(chuàng)建一個數(shù)據(jù)庫，其中包含有關(guān)黑膠唱片上的老式爵士樂錄音的數(shù)據(jù)。

這里的代碼使用MySQL CLI，但大多數(shù) DBMS 都有自己的 CLI，具有類似的功能。

1、打開一個新的命令提示符。

在命令行，登錄到您的 DBMS，如下面的 MySQL 示例所示。

2、在mysql命令提示符下，創(chuàng)建一個數(shù)據(jù)庫。

3、切到您剛剛創(chuàng)建的數(shù)據(jù)庫，以便您可以添加表。

4、在文本編輯器的 data-access 文件夾中，創(chuàng)建一個名為 create-tables.sql 的文件來保存用于添加表的 SQL 腳本。

將以下 SQL 代碼粘貼到文件中，然后保存文件。

在此 SQL 代碼中：

（1）刪除名為album表。 首先執(zhí)行此命令可以讓您更輕松地稍后重新運行腳本。

（2）創(chuàng)建一個album包含四列的表：title、artist和price。每行的id值由 DBMS 自動創(chuàng)建。

（3）添加帶有值的四行。

5、在mysql命令提示符下，運行您剛剛創(chuàng)建的腳本。

您將使用以下形式的source命令：

6、在 DBMS 命令提示符處，使用SELECT語句來驗證您是否已成功創(chuàng)建包含數(shù)據(jù)的表。

接下來，您將編寫一些 Go 代碼進行連接，以便進行查詢。

現(xiàn)在你已經(jīng)有了一個包含一些數(shù)據(jù)的數(shù)據(jù)庫，開始你的 Go 代碼。

找到并導(dǎo)入一個數(shù)據(jù)庫驅(qū)動程序，該驅(qū)動程序會將您通過database/sql包中的函數(shù)發(fā)出的請求轉(zhuǎn)換為數(shù)據(jù)庫可以理解的請求。

1、在您的瀏覽器中，訪問SQLDrivers wiki 頁面以識別您可以使用的驅(qū)動程序。

2、使用頁面上的列表來識別您將使用的驅(qū)動程序。為了在本教程中訪問 MySQL，您將使用 Go-MySQL-Driver。

3、請注意驅(qū)動程序的包名稱 - 此處為github.com/go-sql-driver/mysql.

4、使用您的文本編輯器，創(chuàng)建一個用于編寫 Go 代碼的文件，并將該文件作為 main.go 保存在您之前創(chuàng)建的數(shù)據(jù)訪問目錄中。

5、進入main.go，粘貼以下代碼導(dǎo)入驅(qū)動包。

在此代碼中：

（1）將您的代碼添加到main包中，以便您可以獨立執(zhí)行它。

（2）導(dǎo)入 MySQL 驅(qū)動程序github.com/go-sql-driver/mysql。

導(dǎo)入驅(qū)動程序后，您將開始編寫代碼以訪問數(shù)據(jù)庫。

現(xiàn)在編寫一些 Go 代碼，讓您使用數(shù)據(jù)庫句柄訪問數(shù)據(jù)庫。

您將使用指向結(jié)構(gòu)的指針sql.DB，它表示對特定數(shù)據(jù)庫的訪問。

編寫代碼

1、進入 main.go，在import您剛剛添加的代碼下方，粘貼以下 Go 代碼以創(chuàng)建數(shù)據(jù)庫句柄。

在此代碼中：

（3）使用 MySQL 驅(qū)動程序Config和FormatDSN類型以收集連接屬性并將它們格式化為連接字符串的 DSN。

該Config結(jié)構(gòu)使代碼比連接字符串更容易閱讀。

（4）調(diào)用sql.Open 初始化db變量，傳遞 FormatDSN。

（5）檢查來自 的錯誤sql.Open。例如，如果您的數(shù)據(jù)庫連接細節(jié)格式不正確，它可能會失敗。

為了簡化代碼，您調(diào)用log.Fatal結(jié)束執(zhí)行并將錯誤打印到控制臺。在生產(chǎn)代碼中，您會希望以更優(yōu)雅的方式處理錯誤。

（6）調(diào)用DB.Ping以確認(rèn)連接到數(shù)據(jù)庫有效。在運行時， sql.Open可能不會立即連接，具體取決于驅(qū)動程序。您在Ping此處使用以確認(rèn) database/sql包可以在需要時連接。

（7）檢查來自Ping的錯誤，以防連接失敗。

（8）Ping如果連接成功，則打印一條消息。

文件的頂部現(xiàn)在應(yīng)該如下所示：

3、保存 main.go。

1、開始跟蹤 MySQL 驅(qū)動程序模塊作為依賴項。

使用go get 添加 github.com/go-sql-driver/mysql 模塊作為您自己模塊的依賴項。使用點參數(shù)表示“獲取當(dāng)前目錄中代碼的依賴項”。

2、在命令提示符下，設(shè)置Go 程序使用的DBUSER和DBPASS環(huán)境變量。

在 Linux 或 Mac 上：

在 Windows 上：

3、在包含 main.go 的目錄中的命令行中，通過鍵入go run來運行代碼。

連接成功了！

接下來，您將查詢一些數(shù)據(jù)。

go語言TCP連接池rocket049/connpool使用

安裝：

go get -v -u github.com/rocket049/connpool

go get -v -u gitee.com/rocket049/connpool

rocket049/connpool 包是本人用go語言開發(fā)的，提供一個通用的TCP連接池，初始化參數(shù)包括最高連接數(shù)、超時秒數(shù)、連接函數(shù)，放回連接池的連接被重新取出時，如果已經(jīng)超時，將會自動重新連接；如果沒有超時，連接將被復(fù)用。

可調(diào)用的函數(shù)：

調(diào)用示例：

網(wǎng)站欄目：go語言數(shù)據(jù)池,go語言操作數(shù)據(jù)庫
URL鏈接：http://sd-ha.com/article30/hsecpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、手機網(wǎng)站建設(shè)、定制網(wǎng)站、軟件開發(fā)、網(wǎng)站收錄、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)