golang使用Nsq

1. 介紹

專注于為中小企業(yè)提供做網(wǎng)站、成都做網(wǎng)站服務,電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)扎蘭屯免費做網(wǎng)站提供優(yōu)質的服務。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了近千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設實現(xiàn)規(guī)模擴充和轉變。

最近在研究一些消息中間件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一個基于Go語言的分布式實時消息平臺，它基于MIT開源協(xié)議發(fā)布，由bitly公司開源出來的一款簡單易用的消息中間件。

官方和第三方還為NSQ開發(fā)了眾多客戶端功能庫，如官方提供的基于HTTP的nsqd、Go客戶端go-nsq、Python客戶端pynsq、基于Node.js的JavaScript客戶端nsqjs、異步C客戶端libnsq、Java客戶端nsq-java以及基于各種語言的眾多第三方客戶端功能庫。

1.1 Features

1). Distributed

NSQ提供了分布式的，去中心化，且沒有單點故障的拓撲結構，穩(wěn)定的消息傳輸發(fā)布保障，能夠具有高容錯和HA（高可用）特性。

2). Scalable易于擴展

NSQ支持水平擴展，沒有中心化的brokers。內置的發(fā)現(xiàn)服務簡化了在集群中增加節(jié)點。同時支持pub-sub和load-balanced 的消息分發(fā)。

3). Ops Friendly

NSQ非常容易配置和部署，生來就綁定了一個管理界面。二進制包沒有運行時依賴。官方有Docker image。

4.Integrated高度集成

官方的 Go 和 Python庫都有提供。而且為大多數(shù)語言提供了庫。

1.2 組件

1.3 拓撲結構

NSQ推薦通過他們相應的nsqd實例使用協(xié)同定位發(fā)布者，這意味著即使面對網(wǎng)絡分區(qū)，消息也會被保存在本地，直到它們被一個消費者讀取。更重要的是，發(fā)布者不必去發(fā)現(xiàn)其他的nsqd節(jié)點，他們總是可以向本地實例發(fā)布消息。

NSQ

首先，一個發(fā)布者向它的本地nsqd發(fā)送消息，要做到這點，首先要先打開一個連接，然后發(fā)送一個包含topic和消息主體的發(fā)布命令，在這種情況下，我們將消息發(fā)布到事件topic上以分散到我們不同的worker中。

事件topic會復制這些消息并且在每一個連接topic的channel上進行排隊，在我們的案例中，有三個channel，它們其中之一作為檔案channel。消費者會獲取這些消息并且上傳到S3。

nsqd

每個channel的消息都會進行排隊，直到一個worker把他們消費，如果此隊列超出了內存限制，消息將會被寫入到磁盤中。Nsqd節(jié)點首先會向nsqlookup廣播他們的位置信息，一旦它們注冊成功，worker將會從nsqlookup服務器節(jié)點上發(fā)現(xiàn)所有包含事件topic的nsqd節(jié)點。

nsqlookupd

2. Internals

2.1 消息傳遞擔保

1）客戶表示已經(jīng)準備好接收消息

2）NSQ 發(fā)送一條消息，并暫時將數(shù)據(jù)存儲在本地（在 re-queue 或 timeout）

3）客戶端回復 FIN（結束）或 REQ（重新排隊）分別指示成功或失敗。如果客戶端沒有回復, NSQ 會在設定的時間超時，自動重新排隊消息

這確保了消息丟失唯一可能的情況是不正常結束 nsqd 進程。在這種情況下，這是在內存中的任何信息（或任何緩沖未刷新到磁盤）都將丟失。

如何防止消息丟失是最重要的，即使是這個意外情況可以得到緩解。一種解決方案是構成冗余 nsqd對（在不同的主機上）接收消息的相同部分的副本。因為你實現(xiàn)的消費者是冪等的，以兩倍時間處理這些消息不會對下游造成影響，并使得系統(tǒng)能夠承受任何單一節(jié)點故障而不會丟失信息。

2.2 簡化配置和管理

單個 nsqd 實例被設計成可以同時處理多個數(shù)據(jù)流。流被稱為“話題”和話題有 1 個或多個“通道”。每個通道都接收到一個話題中所有消息的拷貝。在實踐中，一個通道映射到下行服務消費一個話題。

在更底的層面，每個 nsqd 有一個與 nsqlookupd 的長期 TCP 連接，定期推動其狀態(tài)。這個數(shù)據(jù)被 nsqlookupd 用于給消費者通知 nsqd 地址。對于消費者來說，一個暴露的 HTTP /lookup 接口用于輪詢。為話題引入一個新的消費者，只需啟動一個配置了 nsqlookup 實例地址的 NSQ 客戶端。無需為添加任何新的消費者或生產(chǎn)者更改配置，大大降低了開銷和復雜性。

2.3 消除單點故障

NSQ被設計以分布的方式被使用。nsqd 客戶端（通過 TCP ）連接到指定話題的所有生產(chǎn)者實例。沒有中間人，沒有消息代理，也沒有單點故障。

這種拓撲結構消除單鏈，聚合，反饋。相反，你的消費者直接訪問所有生產(chǎn)者。從技術上講，哪個客戶端連接到哪個 NSQ 不重要，只要有足夠的消費者連接到所有生產(chǎn)者，以滿足大量的消息，保證所有東西最終將被處理。對于 nsqlookupd，高可用性是通過運行多個實例來實現(xiàn)。他們不直接相互通信和數(shù)據(jù)被認為是最終一致。消費者輪詢所有的配置的 nsqlookupd 實例和合并 response。失敗的，無法訪問的，或以其他方式故障的節(jié)點不會讓系統(tǒng)陷于停頓。

2.4 效率

對于數(shù)據(jù)的協(xié)議，通過推送數(shù)據(jù)到客戶端最大限度地提高性能和吞吐量的，而不是等待客戶端拉數(shù)據(jù)。這個概念，稱之為 RDY 狀態(tài)，基本上是客戶端流量控制的一種形式。

efficiency

2.5 心跳和超時

組合應用級別的心跳和 RDY 狀態(tài)，避免頭阻塞現(xiàn)象，也可能使心跳無用（即，如果消費者是在后面的處理消息流的接收緩沖區(qū)中，操作系統(tǒng)將被填滿，堵心跳）為了保證進度，所有的網(wǎng)絡 IO 時間上限勢必與配置的心跳間隔相關聯(lián)。這意味著，你可以從字面上拔掉之間的網(wǎng)絡連接 nsqd 和消費者，它會檢測并正確處理錯誤。當檢測到一個致命錯誤，客戶端連接被強制關閉。在傳輸中的消息會超時而重新排隊等待傳遞到另一個消費者。最后，錯誤會被記錄并累計到各種內部指標。

2.6 分布式

因為NSQ沒有在守護程序之間共享信息，所以它從一開始就是為了分布式操作而生。個別的機器可以隨便宕機隨便啟動而不會影響到系統(tǒng)的其余部分，消息發(fā)布者可以在本地發(fā)布，即使面對網(wǎng)絡分區(qū)。

這種“分布式優(yōu)先”的設計理念意味著NSQ基本上可以永遠不斷地擴展，需要更高的吞吐量？那就添加更多的nsqd吧。唯一的共享狀態(tài)就是保存在lookup節(jié)點上，甚至它們不需要全局視圖，配置某些nsqd注冊到某些lookup節(jié)點上這是很簡單的配置，唯一關鍵的地方就是消費者可以通過lookup節(jié)點獲取所有完整的節(jié)點集。清晰的故障事件——NSQ在組件內建立了一套明確關于可能導致故障的的故障權衡機制，這對消息傳遞和恢復都有意義。雖然它們可能不像Kafka系統(tǒng)那樣提供嚴格的保證級別，但NSQ簡單的操作使故障情況非常明顯。

2.7 no replication

不像其他的隊列組件，NSQ并沒有提供任何形式的復制和集群，也正是這點讓它能夠如此簡單地運行，但它確實對于一些高保證性高可靠性的消息發(fā)布沒有足夠的保證。我們可以通過降低文件同步的時間來部分避免，只需通過一個標志配置，通過EBS支持我們的隊列。但是這樣仍然存在一個消息被發(fā)布后馬上死亡，丟失了有效的寫入的情況。

2.8 沒有嚴格的順序

雖然Kafka由一個有序的日志構成，但NSQ不是。消息可以在任何時間以任何順序進入隊列。在我們使用的案例中，這通常沒有關系，因為所有的數(shù)據(jù)都被加上了時間戳，但它并不適合需要嚴格順序的情況。

2.9 無數(shù)據(jù)重復刪除功能

NSQ對于超時系統(tǒng)，它使用了心跳檢測機制去測試消費者是否存活還是死亡。很多原因會導致我們的consumer無法完成心跳檢測，所以在consumer中必須有一個單獨的步驟確保冪等性。

3. 實踐安裝過程

本文將nsq集群具體的安裝過程略去，大家可以自行參考官網(wǎng)，比較簡單。這部分介紹下筆者實驗的拓撲，以及nsqadmin的相關信息。

3.1 拓撲結構

topology

實驗采用3臺NSQD服務，2臺LOOKUPD服務。

采用官方推薦的拓撲，消息發(fā)布的服務和NSQD在一臺主機。一共5臺機器。

NSQ基本沒有配置文件，配置通過命令行指定參數(shù)。

主要命令如下:

LOOKUPD命令

NSQD命令

工具類，消費后存儲到本地文件。

發(fā)布一條消息

3.2 nsqadmin

對Streams的詳細信息進行查看，包括NSQD節(jié)點，具體的channel，隊列中的消息數(shù)，連接數(shù)等信息。

nsqadmin

channel

列出所有的NSQD節(jié)點:

nodes

消息的統(tǒng)計:

msgs

lookup主機的列表:

hosts

4. 總結

NSQ基本核心就是簡單性，是一個簡單的隊列，這意味著它很容易進行故障推理和很容易發(fā)現(xiàn)bug。消費者可以自行處理故障事件而不會影響系統(tǒng)剩下的其余部分。

事實上，簡單性是我們決定使用NSQ的首要因素，這方便與我們的許多其他軟件一起維護，通過引入隊列使我們得到了堪稱完美的表現(xiàn)，通過隊列甚至讓我們增加了幾個數(shù)量級的吞吐量。越來越多的consumer需要一套嚴格可靠性和順序性保障，這已經(jīng)超過了NSQ提供的簡單功能。

結合我們的業(yè)務系統(tǒng)來看，對于我們所需要傳輸?shù)陌l(fā)票消息，相對比較敏感，無法容忍某個nsqd宕機，或者磁盤無法使用的情況，該節(jié)點堆積的消息無法找回。這是我們沒有選擇該消息中間件的主要原因。簡單性和可靠性似乎并不能完全滿足。相比Kafka，ops肩負起更多負責的運營。另一方面，它擁有一個可復制的、有序的日志可以提供給我們更好的服務。但對于其他適合NSQ的consumer，它為我們服務的相當好，我們期待著繼續(xù)鞏固它的堅實的基礎。

有沒有實現(xiàn)過cas的golang客戶端

首先理解是錯的，不管用戶態(tài)的API(syscall)是否是同步還是異步，在kernel層面都是異步的。其實實現(xiàn)原理很簡單，就是利用C(嵌入?yún)R編)語言可以直接修改寄存器(setcontext/setjmp/longjmp均是類似原理，修改程序指針eip實現(xiàn)跳轉，棧指針實現(xiàn)上線文切換)來實現(xiàn)從func_a調進去，從func_b返回出來這種行為。對于golang來說，func_a/func_b屬于不同的goroutine，從而就實現(xiàn)了goroutine的調度切換。另外對于所有可能阻塞的syscall，golang對其進行了封裝，底層實際是epoll方式做的，注冊回調后切換到另一個runnable的goroutine。

go語言tcp客戶端怎么和服務端鏈接

網(wǎng)絡連接需要用socket,易語言用查易語言socket用或者看看否TCP協(xié)議相關組件

golang SSH客戶端三件套 - 1遠程連接 shell

golang SSH客戶端系列文章目錄

SSH(Secure Shell)協(xié)議在遠程登錄時比較常用，但是除此之外還有一些其它的功能也很好用，比如端口映射，X11轉發(fā)，sftp文件傳輸?shù)取?/p>

以下三篇文章將介紹golang版SSH的遠程登錄功能，端口映射功能及sftp文件傳輸功能。X11包含GUI的一些操作，沒有找到相關的包，故不做介紹

通過golang自帶的ssh包 golang.org/x/crypto/ssh 可以實現(xiàn)遠程登錄功能， 默認是不支持tab鍵和上下箭頭的 ，

通過導入golang.org/x/crypto/ssh/terminal來創(chuàng)建VT100終端可以支持tab等功能，讓golang版本的ssh客戶端體驗和平時用的其它客戶端差不多。

當前比較好用的golang的redis客戶端有哪些

packagemainimport("fmt""github.com/garyburd/redigo/redis")funcmain(){conn,err:=redis.Dial("tcp","127.0.0.1:6379")iferr!=nil{panic(err)}deferconn.Close()conn.Do("SET","app1","test1")conn.Do("SET","app2","test2")val,err:=redis.Strings(conn.Do("KEYS","app*"))fmt.Println(val,err)conn.Send("MULTI")fori,_:=rangeval{conn.Send("DEL",val[i])}fmt.Println(conn.Do("EXEC"))}Go是Google開發(fā)的一種編譯型，可平行化，并具有垃圾回收功能的編程語言。羅布·派克（RobPike）,羅伯特·格瑞史莫（RobertGriesemer），及肯·湯普遜于2007年9月開始設計Go語言，稍后IanLanceTaylor,RussCox加入項目中。Go語言是基于Inferno操作系統(tǒng)所開發(fā)的。[4]Go語言于2009年11月正式宣布推出，成為開放源代碼項目，并在Linux及MacOSX平臺上進行了實現(xiàn)，后追加Windows系統(tǒng)下的實現(xiàn)。

GO語言（十三）：使用 Go 和 Gin 開發(fā) RESTful API（下）

當客戶端在 發(fā)出POST請求時/albums，您希望將請求正文中描述的專輯添加到現(xiàn)有專輯數(shù)據(jù)中。

為此，您將編寫以下內容：

1、編寫代碼

a.添加代碼以將專輯數(shù)據(jù)添加到專輯列表。

在此代碼中：

1）用于Context.BindJSON 將請求正文綁定到newAlbum。

2） album將從 JSON 初始化的結構附加到albums 切片。

3）向響應添加201狀態(tài)代碼，以及表示您添加的專輯的 JSON。

b.更改您的main函數(shù)，使其包含該router.POST函數(shù)，如下所示。

在此代碼中：

1）將路徑中的POST方法與 /albumspostAlbums函數(shù)相關聯(lián)。

使用 Gin，您可以將處理程序與 HTTP 方法和路徑組合相關聯(lián)。這樣，您可以根據(jù)客戶端使用的方法將發(fā)送到單個路徑的請求單獨路由。

a.如果服務器從上一節(jié)開始仍在運行，請停止它。

b.從包含 main.go 的目錄中的命令行，運行代碼。

c.從不同的命令行窗口，用于curl向正在運行的 Web 服務發(fā)出請求。

該命令應顯示添加專輯的標題和 JSON。

d.與上一節(jié)一樣，使用curl檢索完整的專輯列表，您可以使用它來確認添加了新專輯。

該命令應顯示專輯列表。

當客戶端向 發(fā)出請求時GET /albums/[id]，您希望返回 ID 與id路徑參數(shù)匹配的專輯。

為此，您將：

a.在您在上一節(jié)中添加的函數(shù)下方postAlbums，粘貼以下代碼以檢索特定專輯。

此getAlbumByID函數(shù)將提取請求路徑中的 ID，然后找到匹配的專輯。

在此代碼中：

（1）Context.Param用于從 URL 中檢索id路徑參數(shù)。當您將此處理程序映射到路徑時，您將在路徑中包含參數(shù)的占位符。

（2）循環(huán)album切片中的結構，尋找其ID 字段值與id參數(shù)值匹配的結構。如果找到，則將該album結構序列化為 JSON，并將其作為帶有200 OK HTTP 代碼的響應返回。

如上所述，實際使用中的服務可能會使用數(shù)據(jù)庫查詢來執(zhí)行此查找。

（3）如果找不到專輯，則返回 HTTP 404錯誤。

b.最后，更改您的main，使其包含對router.GET的新調用，路徑現(xiàn)在為/albums/:id ，如以下示例所示。

在此代碼中：

（1）將/albums/:id路徑與getAlbumByID功能相關聯(lián)。在 Gin 中，路徑中項目前面的冒號表示該項目是路徑參數(shù)。

a.如果服務器從上一節(jié)開始仍在運行，請停止它。

b.在包含 main.go 的目錄中的命令行中，運行代碼以啟動服務器。

c.從不同的命令行窗口，用于curl向正在運行的 Web 服務發(fā)出請求。

該命令應顯示您使用其 ID 的專輯的 JSON。如果找不到專輯，您將收到帶有錯誤消息的 JSON。

恭喜！您剛剛使用 Go 和 Gin 編寫了一個簡單的 RESTful Web 服務。

本節(jié)包含您使用本教程構建的應用程序的代碼。

當前標題：go語言客戶端,go語言中文網(wǎng)
本文URL：http://sd-ha.com/article24/hcocje.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供、云服務器、Google、ChatGPT、小程序開發(fā)、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)