Go語言——goroutine并發(fā)模型

參考：

成都創(chuàng)新互聯(lián)公司-云計(jì)算及IDC服務(wù)提供商，涵蓋公有云、IDC機(jī)房租用、大邑服務(wù)器托管、等保安全、私有云建設(shè)等企業(yè)級(jí)互聯(lián)網(wǎng)基礎(chǔ)服務(wù)，歡迎聯(lián)系：18982081108

Goroutine并發(fā)調(diào)度模型深度解析手?jǐn)]一個(gè)協(xié)程池

Golang 的 goroutine 是如何實(shí)現(xiàn)的？

Golang - 調(diào)度剖析【第二部分】

OS線程初始棧為2MB。Go語言中，每個(gè)goroutine采用動(dòng)態(tài)擴(kuò)容方式，初始2KB，按需增長，最大1G。此外GC會(huì)收縮棧空間。

BTW，增長擴(kuò)容都是有代價(jià)的，需要copy數(shù)據(jù)到新的stack，所以初始2KB可能有些性能問題。

更多關(guān)于stack的內(nèi)容，可以參見大佬的文章。 聊一聊goroutine stack

用戶線程的調(diào)度以及生命周期管理都是用戶層面，Go語言自己實(shí)現(xiàn)的，不借助OS系統(tǒng)調(diào)用，減少系統(tǒng)資源消耗。

Go語言采用兩級(jí)線程模型，即用戶線程與內(nèi)核線程KSE（kernel scheduling entity）是M:N的。最終goroutine還是會(huì)交給OS線程執(zhí)行，但是需要一個(gè)中介，提供上下文。這就是G-M-P模型

Go調(diào)度器有兩個(gè)不同的運(yùn)行隊(duì)列：

go1.10\src\runtime\runtime2.go

Go調(diào)度器根據(jù)事件進(jìn)行上下文切換。

調(diào)度的目的就是防止M堵塞，空閑，系統(tǒng)進(jìn)程切換。

詳見 Golang - 調(diào)度剖析【第二部分】

Linux可以通過epoll實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)用，統(tǒng)稱網(wǎng)絡(luò)輪詢器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任務(wù)竊取是防止M空閑

每個(gè)M都有一個(gè)特殊的G，g0。用于執(zhí)行調(diào)度，gc，棧管理等任務(wù)，所以g0的棧稱為調(diào)度棧。g0的棧不會(huì)自動(dòng)增長，不會(huì)被gc，來自os線程的棧。

go1.10\src\runtime\proc.go

G沒辦法自己運(yùn)行，必須通過M運(yùn)行

M通過通過調(diào)度，執(zhí)行G

從M掛載P的runq中找到G，執(zhí)行G

go語言的map多協(xié)程訪問時(shí)需要加鎖嗎

go語言的map多協(xié)程訪問時(shí)需要加鎖

支持==和!=操作就可以做key，實(shí)際上只有function、map、slice三個(gè)kind不支持作為key，因?yàn)橹荒芎蚽il比較不能和另一個(gè)值比較。布爾、整型、浮點(diǎn)、復(fù)數(shù)、字符串、指針、channel等都可以做key。

struct能不能做key要看每一個(gè)字段，如果所有字段都可以做key，那這個(gè)struct就可以。有一個(gè)字段不能做key，這個(gè)struct就不能做key。array也是，元素類型能做key，那這個(gè)array就可以。

例如：

type Foo map[struct {

B bool

I int

F float64

C complex128

S string

P *Foo

Ch chan Foo

}]bool

每一個(gè)字段都可以做key，F(xiàn)oo就可以做key。再如：

type Foo map[struct {

Fn func() Foo

M map[*Foo]int

S []Foo

}]bool

有一個(gè)字段不能做key、Foo就不允許做key，而這三個(gè)字段都不能。

字段是遞歸檢查的：

type Foo map[struct {

Sub struct {

M map[*Foo]bool

}

}]bool

Sub的M字段不能做key，Sub就不能做key，F(xiàn)oo也就不能做key。

總之想把一個(gè)數(shù)據(jù)結(jié)構(gòu)用于map的key，就不能包含function、map和slice。

Golang 線程和協(xié)程的區(qū)別

線程：

多線程是為了解決CPU利用率的問題，線程則是為了減少上下文切換時(shí)的開銷，進(jìn)程和線程在Linux中沒有本質(zhì)區(qū)別，最大的不同就是進(jìn)程有自己獨(dú)立的內(nèi)存空間，而線程是共享內(nèi)存空間。

在進(jìn)程切換時(shí)需要轉(zhuǎn)換內(nèi)存地址空間，而線程切換沒有這個(gè)動(dòng)作，所以線程切換比進(jìn)程切換代價(jià)要小得多。

協(xié)程：

想要簡單，又要性能高，協(xié)程就可以達(dá)到我們的目的，它是用戶視角的一種抽象，操作系統(tǒng)并沒有這個(gè)概念，主要思想是在用戶態(tài)實(shí)現(xiàn)調(diào)度算法，用少量線程完成大量任務(wù)的調(diào)度。

Goroutine是GO語言實(shí)現(xiàn)的協(xié)程，其特點(diǎn)是在語言層面就支持，使用起來十分方便，它的核心是MPG調(diào)度模型：M即內(nèi)核線程;P即處理器，用來執(zhí)行Goroutine，它維護(hù)了本地可運(yùn)行隊(duì)列;G即Goroutine，代碼和數(shù)據(jù)結(jié)構(gòu);S及調(diào)度器，維護(hù)M和P的信息。

【golang詳解】go語言GMP(GPM)原理和調(diào)度

Goroutine調(diào)度是一個(gè)很復(fù)雜的機(jī)制，下面嘗試用簡單的語言描述一下Goroutine調(diào)度機(jī)制，想要對(duì)其有更深入的了解可以去研讀一下源碼。

首先介紹一下GMP什么意思：

G ----------- goroutine: 即Go協(xié)程，每個(gè)go關(guān)鍵字都會(huì)創(chuàng)建一個(gè)協(xié)程。

M ---------- thread內(nèi)核級(jí)線程，所有的G都要放在M上才能運(yùn)行。

P ----------- processor處理器，調(diào)度G到M上，其維護(hù)了一個(gè)隊(duì)列，存儲(chǔ)了所有需要它來調(diào)度的G。

Goroutine 調(diào)度器P和 OS 調(diào)度器是通過 M 結(jié)合起來的，每個(gè) M 都代表了 1 個(gè)內(nèi)核線程，OS 調(diào)度器負(fù)責(zé)把內(nèi)核線程分配到 CPU 的核上執(zhí)行

模型圖：

避免頻繁的創(chuàng)建、銷毀線程，而是對(duì)線程的復(fù)用。

1）work stealing機(jī)制

當(dāng)本線程無可運(yùn)行的G時(shí)，嘗試從其他線程綁定的P偷取G，而不是銷毀線程。

2）hand off機(jī)制

當(dāng)本線程M0因?yàn)镚0進(jìn)行系統(tǒng)調(diào)用阻塞時(shí)，線程釋放綁定的P，把P轉(zhuǎn)移給其他空閑的線程執(zhí)行。進(jìn)而某個(gè)空閑的M1獲取P，繼續(xù)執(zhí)行P隊(duì)列中剩下的G。而M0由于陷入系統(tǒng)調(diào)用而進(jìn)被阻塞，M1接替M0的工作，只要P不空閑，就可以保證充分利用CPU。M1的來源有可能是M的緩存池，也可能是新建的。當(dāng)G0系統(tǒng)調(diào)用結(jié)束后，根據(jù)M0是否能獲取到P，將會(huì)將G0做不同的處理：

如果有空閑的P，則獲取一個(gè)P，繼續(xù)執(zhí)行G0。

如果沒有空閑的P，則將G0放入全局隊(duì)列，等待被其他的P調(diào)度。然后M0將進(jìn)入緩存池睡眠。

如下圖

GOMAXPROCS設(shè)置P的數(shù)量，最多有GOMAXPROCS個(gè)線程分布在多個(gè)CPU上同時(shí)運(yùn)行

在Go中一個(gè)goroutine最多占用CPU 10ms，防止其他goroutine被餓死。

具體可以去看另一篇文章

【Golang詳解】go語言調(diào)度機(jī)制 搶占式調(diào)度

當(dāng)創(chuàng)建一個(gè)新的G之后優(yōu)先加入本地隊(duì)列，如果本地隊(duì)列滿了，會(huì)將本地隊(duì)列的G移動(dòng)到全局隊(duì)列里面，當(dāng)M執(zhí)行work stealing從其他P偷不到G時(shí)，它可以從全局G隊(duì)列獲取G。

協(xié)程經(jīng)歷過程

我們創(chuàng)建一個(gè)協(xié)程 go func()經(jīng)歷過程如下圖：

說明：

這里有兩個(gè)存儲(chǔ)G的隊(duì)列，一個(gè)是局部調(diào)度器P的本地隊(duì)列、一個(gè)是全局G隊(duì)列。新創(chuàng)建的G會(huì)先保存在P的本地隊(duì)列中，如果P的本地隊(duì)列已經(jīng)滿了就會(huì)保存在全局的隊(duì)列中；處理器本地隊(duì)列是一個(gè)使用數(shù)組構(gòu)成的環(huán)形鏈表，它最多可以存儲(chǔ) 256 個(gè)待執(zhí)行任務(wù)。

G只能運(yùn)行在M中，一個(gè)M必須持有一個(gè)P，M與P是1：1的關(guān)系。M會(huì)從P的本地隊(duì)列彈出一個(gè)可執(zhí)行狀態(tài)的G來執(zhí)行，如果P的本地隊(duì)列為空，就會(huì)想其他的MP組合偷取一個(gè)可執(zhí)行的G來執(zhí)行；

一個(gè)M調(diào)度G執(zhí)行的過程是一個(gè)循環(huán)機(jī)制；會(huì)一直從本地隊(duì)列或全局隊(duì)列中獲取G

上面說到P的個(gè)數(shù)默認(rèn)等于CPU核數(shù)，每個(gè)M必須持有一個(gè)P才可以執(zhí)行G，一般情況下M的個(gè)數(shù)會(huì)略大于P的個(gè)數(shù)，這多出來的M將會(huì)在G產(chǎn)生系統(tǒng)調(diào)用時(shí)發(fā)揮作用。類似線程池，Go也提供一個(gè)M的池子，需要時(shí)從池子中獲取，用完放回池子，不夠用時(shí)就再創(chuàng)建一個(gè)。

work-stealing調(diào)度算法：當(dāng)M執(zhí)行完了當(dāng)前P的本地隊(duì)列隊(duì)列里的所有G后，P也不會(huì)就這么在那躺尸啥都不干，它會(huì)先嘗試從全局隊(duì)列隊(duì)列尋找G來執(zhí)行，如果全局隊(duì)列為空，它會(huì)隨機(jī)挑選另外一個(gè)P，從它的隊(duì)列里中拿走一半的G到自己的隊(duì)列中執(zhí)行。

如果一切正常，調(diào)度器會(huì)以上述的那種方式順暢地運(yùn)行，但這個(gè)世界沒這么美好，總有意外發(fā)生，以下分析goroutine在兩種例外情況下的行為。

Go runtime會(huì)在下面的goroutine被阻塞的情況下運(yùn)行另外一個(gè)goroutine：

用戶態(tài)阻塞/喚醒

當(dāng)goroutine因?yàn)閏hannel操作或者network I/O而阻塞時(shí)（實(shí)際上golang已經(jīng)用netpoller實(shí)現(xiàn)了goroutine網(wǎng)絡(luò)I/O阻塞不會(huì)導(dǎo)致M被阻塞，僅阻塞G，這里僅僅是舉個(gè)栗子），對(duì)應(yīng)的G會(huì)被放置到某個(gè)wait隊(duì)列(如channel的waitq)，該G的狀態(tài)由_Gruning變?yōu)開Gwaitting，而M會(huì)跳過該G嘗試獲取并執(zhí)行下一個(gè)G，如果此時(shí)沒有可運(yùn)行的G供M運(yùn)行，那么M將解綁P，并進(jìn)入sleep狀態(tài)；當(dāng)阻塞的G被另一端的G2喚醒時(shí)（比如channel的可讀/寫通知），G被標(biāo)記為，嘗試加入G2所在P的runnext（runnext是線程下一個(gè)需要執(zhí)行的 Goroutine。）， 然后再是P的本地隊(duì)列和全局隊(duì)列。

系統(tǒng)調(diào)用阻塞

當(dāng)M執(zhí)行某一個(gè)G時(shí)候如果發(fā)生了阻塞操作，M會(huì)阻塞，如果當(dāng)前有一些G在執(zhí)行，調(diào)度器會(huì)把這個(gè)線程M從P中摘除，然后再創(chuàng)建一個(gè)新的操作系統(tǒng)的線程(如果有空閑的線程可用就復(fù)用空閑線程)來服務(wù)于這個(gè)P。當(dāng)M系統(tǒng)調(diào)用結(jié)束時(shí)候，這個(gè)G會(huì)嘗試獲取一個(gè)空閑的P執(zhí)行，并放入到這個(gè)P的本地隊(duì)列。如果獲取不到P，那么這個(gè)線程M變成休眠狀態(tài)， 加入到空閑線程中，然后這個(gè)G會(huì)被放入全局隊(duì)列中。

隊(duì)列輪轉(zhuǎn)

可見每個(gè)P維護(hù)著一個(gè)包含G的隊(duì)列，不考慮G進(jìn)入系統(tǒng)調(diào)用或IO操作的情況下，P周期性的將G調(diào)度到M中執(zhí)行，執(zhí)行一小段時(shí)間，將上下文保存下來，然后將G放到隊(duì)列尾部，然后從隊(duì)列中重新取出一個(gè)G進(jìn)行調(diào)度。

除了每個(gè)P維護(hù)的G隊(duì)列以外，還有一個(gè)全局的隊(duì)列，每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列，也是為了防止全局隊(duì)列中的G被餓死。

除了每個(gè)P維護(hù)的G隊(duì)列以外，還有一個(gè)全局的隊(duì)列，每個(gè)P會(huì)周期性地查看全局隊(duì)列中是否有G待運(yùn)行并將其調(diào)度到M中執(zhí)行，全局隊(duì)列中G的來源，主要有從系統(tǒng)調(diào)用中恢復(fù)的G。之所以P會(huì)周期性地查看全局隊(duì)列，也是為了防止全局隊(duì)列中的G被餓死。

M0

M0是啟動(dòng)程序后的編號(hào)為0的主線程，這個(gè)M對(duì)應(yīng)的實(shí)例會(huì)在全局變量rutime.m0中，不需要在heap上分配，M0負(fù)責(zé)執(zhí)行初始化操作和啟動(dòng)第一個(gè)G，在之后M0就和其他的M一樣了

G0

G0是每次啟動(dòng)一個(gè)M都會(huì)第一個(gè)創(chuàng)建的goroutine，G0僅用于負(fù)責(zé)調(diào)度G，G0不指向任何可執(zhí)行的函數(shù)，每個(gè)M都會(huì)有一個(gè)自己的G0，在調(diào)度或系統(tǒng)調(diào)用時(shí)會(huì)使用G0的?？臻g，全局變量的G0是M0的G0

一個(gè)G由于調(diào)度被中斷，此后如何恢復(fù)？

中斷的時(shí)候?qū)⒓拇嫫骼锏臈Ｐ畔ⅲ４娴阶约旱腉對(duì)象里面。當(dāng)再次輪到自己執(zhí)行時(shí)，將自己保存的棧信息復(fù)制到寄存器里面，這樣就接著上次之后運(yùn)行了。

我這里只是根據(jù)自己的理解進(jìn)行了簡單的介紹，想要詳細(xì)了解有關(guān)GMP的底層原理可以去看Go調(diào)度器 G-P-M 模型的設(shè)計(jì)者的文檔或直接看源碼

參考： ()

()

如何用go語言查詢當(dāng)前正在執(zhí)行的協(xié)程是哪個(gè)

一般命令 所謂一般命令，就是在一定時(shí)間內(nèi)會(huì)執(zhí)行完的命令。比如 grep, cat 等等。 執(zhí)行命令的步驟是：連接，執(zhí)行，獲取結(jié)果 連接 連接包含了認(rèn)證，可以使用 password 或者 sshkey 2種方式來認(rèn)證。下面的示例為了簡單，使用了密碼認(rèn)證的方式來完.

Go語言設(shè)計(jì)與實(shí)現(xiàn)（上）

基本設(shè)計(jì)思路：

類型轉(zhuǎn)換、類型斷言、動(dòng)態(tài)派發(fā)。iface，eface。

反射對(duì)象具有的方法：

編譯優(yōu)化：

內(nèi)部實(shí)現(xiàn)：

實(shí)現(xiàn) Context 接口有以下幾個(gè)類型（空實(shí)現(xiàn)就忽略了）：

互斥鎖的控制邏輯：

設(shè)計(jì)思路：

（以上為寫被讀阻塞，下面是讀被寫阻塞）

總結(jié)，讀寫鎖的設(shè)計(jì)還是非常巧妙的：

設(shè)計(jì)思路：

WaitGroup 有三個(gè)暴露的函數(shù):

部件：

設(shè)計(jì)思路：

結(jié)構(gòu)：

Once 只暴露了一個(gè)方法：

實(shí)現(xiàn)：

三個(gè)關(guān)鍵點(diǎn)：

細(xì)節(jié)：

讓多協(xié)程任務(wù)的開始執(zhí)行時(shí)間可控（按順序或歸一）。（Context 是控制結(jié)束時(shí)間）

設(shè)計(jì)思路： 通過一個(gè)鎖和內(nèi)置的 notifyList 隊(duì)列實(shí)現(xiàn)，Wait() 會(huì)生成票據(jù)，并將等待協(xié)程信息加入鏈表中，等待控制協(xié)程中發(fā)送信號(hào)通知一個(gè)（Signal()）或所有（Boardcast()）等待者（內(nèi)部實(shí)現(xiàn)是通過票據(jù)通知的）來控制協(xié)程解除阻塞。

暴露四個(gè)函數(shù)：

實(shí)現(xiàn)細(xì)節(jié)：

部件：

包： golang.org/x/sync/errgroup

作用：開啟 func() error 函數(shù)簽名的協(xié)程，在同 Group 下協(xié)程并發(fā)執(zhí)行過程并收集首次 err 錯(cuò)誤。通過 Context 的傳入，還可以控制在首次 err 出現(xiàn)時(shí)就終止組內(nèi)各協(xié)程。

設(shè)計(jì)思路：

結(jié)構(gòu)：

暴露的方法：

實(shí)現(xiàn)細(xì)節(jié)：

注意問題：

包： "golang.org/x/sync/semaphore"

作用：排隊(duì)借資源（如錢，有借有還）的一種場景。此包相當(dāng)于對(duì)底層信號(hào)量的一種暴露。

設(shè)計(jì)思路：有一定數(shù)量的資源 Weight，每一個(gè) waiter 攜帶一個(gè) channel 和要借的數(shù)量 n。通過隊(duì)列排隊(duì)執(zhí)行借貸。

結(jié)構(gòu)：

暴露方法：

細(xì)節(jié)：

部件：

細(xì)節(jié)：

包： "golang.org/x/sync/singleflight"

作用：防擊穿。瞬時(shí)的相同請(qǐng)求只調(diào)用一次，response 被所有相同請(qǐng)求共享。

設(shè)計(jì)思路：按請(qǐng)求的 key 分組（一個(gè) *call 是一個(gè)組，用 map 映射存儲(chǔ)組），每個(gè)組只進(jìn)行一次訪問，組內(nèi)每個(gè)協(xié)程會(huì)獲得對(duì)應(yīng)結(jié)果的一個(gè)拷貝。

結(jié)構(gòu)：

邏輯：

細(xì)節(jié)：

部件：

如有錯(cuò)誤，請(qǐng)批評(píng)指正。

網(wǎng)頁題目：Go語言n個(gè)協(xié)程,關(guān)于golang中的協(xié)程
本文路徑：http://sd-ha.com/article46/phhheg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、外貿(mào)建站、企業(yè)網(wǎng)站制作、定制開發(fā)、App設(shè)計(jì)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)