關于學習管理數據流圖,數據詞典和數狀模塊

各種類型數據的高等界面，后來逐漸演變成滿足所有數據訪問需要的完整解datamodule4.adoquery2.sql.add('SELECT借書證號,密碼FROM[user]WHERE(借書證號=:tt)');

東遼ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！

datamodule4.adoquery2.parameters[0].value:=username;

datamodule4.adoquery2.open;

在為TQuery或TADOquery部件設置SQL屬性時調用Close方法總是很安全的，如果TQuery或TADOquery部件已經被關閉了，調用Close方法時不會產生任何影響。在應用程序中為SQL屬性設置新的SQL命令語句時，必須要調用Clear方法以清除SQL屬性中現存的SQL命令語句，如果不調用Clear方法，便調用Add方法向SQL屬性中設置SQL命令語句，那么新設置的SQL命令語句會追加在現存SQL命令語句后面，在程序運行時常常會出現出乎意料的查詢結果甚至程序無法運行下去。

在這里要特別注意的，一般情況下TQuery或TADOquery部件的SQL屬性只能包含一條完整的SQL語句，它不允許被設置成多條SQL語句。當然有些數據庫服務器也支持在TQuery或TADOquery部件的SQL屬性中設置多條SQL語句，只要數據庫服務器允許這樣，我們在編程時可以為SQL屬性設置多條SQL語句。

在為TQuery或TADOquery部件設置完SQL屬性的屬性值之后，也即編寫好適當的SQL程序之后，可以有多種方式來執(zhí)行SQL程序。

在設計過程中，設置完TQuery或TADOquery部件的SQL屬性之后將其Active屬性的值置為True，這樣便可以執(zhí)行SQL屬性中的SQL程序，如果應用中有與TQuery或TADOquery部件相連的數據瀏覽部件(如TDDGridTDBEdit等)那么在這些數據瀏覽部件中會顯示SQL程序的執(zhí)行結果。

在應用程序運行過程中，通過程序調用TQuery或TADOquery組件的Open方法或ExecSQL方法可以執(zhí)行其SQL屬性中的SQL程序。Open方法和ExecSQL方法是不一樣的。Open方法只能用來執(zhí)行SQL語言的查詢語句(Select命令)，并返回一個查詢結果集，而ExecSQL方法還可以用來執(zhí)行其它常用的SQL語句(如INSERT,UPDATE,DELETE等命令)，例如：

Query1.Open(這樣會返回一個查詢結果集)

如果調用Open方法，而沒有查詢結果時，會出錯。此時應該調用ExecSQL方法來代替Open方法。如：

Query1.ExecSQL(沒有返回結果)

當然在設計應用程序時，程序設計人員是無法確定TQuery或TADOquery組件中的SQL語句是否會返回一個查詢結果的。對于這種情況應當用Try…Except模塊來設計程序。在Try部分調用Open方法，而在Except部分調用ExceSQL方法，這樣才能保證程序的正確運行。

例如：

Try

Query1.Open

Except

Query1.ExecSQL

End

通過Tquery或TADOquery組件可以獲得兩種類型的數據：

u“活動”的數據

這種數據就跟通過TTable部件獲得的數據一樣，用戶可以通過數據瀏覽部件來編輯修改這些數據，并且當調用Post方法或當焦點離開當前的數據瀏覽部件時，用戶對數據的修改自動地被寫回到數據庫中。

u非活動的數據(只讀數據)

用戶通過數據瀏覽部件是不能修改其中的數據。在缺省情況下，通過TQuery部件獲得的查詢結果數據是只讀數據，要想獲得“活動”的數據，在應用程序中必須要設置Tquery或TADOquery組件的RequestLive屬性值為True，然而并不是在任何情況下(通過設置RequestLive的屬值True)都可以獲得“活動”的數據的，要想獲得“活動”的數據，除了將TQuery部件的RequestLive屬性設置為True外，相應的SQL命令還要滿足以下條件。

本地SQL語句查詢情況下，要得到可更新的數據集，SQL語句的限制為：

n查詢只能涉及到一個單獨的表

nSQL語句中不能包含ORDERBY命令

nSQL語句中不能含聚集運算符SUM或AVG

n在Select后的字段斜碇脅荒苡屑撲闋侄?

n在Select語句WHERE部分只能包含字段值與常量的比較運算，這些比較運算符是：Like,,,=,=。各比較運算之間可以有并和交運算：AND和OR

當通過SQL語句查詢數據庫服務器中的數據庫表：

n查詢只能涉及到一個單獨的表

nSQL語句中不能包含ORDERBY命令

nSQL語句中不能含聚集運算符SUM或AVG運算

另外，如果是查詢Sybase數據庫中的表，那么被查詢的表中只能有一個索引。

如果在應用程序中要求TQuery或TADOquery組件返回一個“活動”的查詢結果數據集，但是SQL命令語句不滿足上述約束條件時，對于本地數據庫的SQL查詢，BDE只能返回只讀的數據集。對于數據庫服務器中的SQL查詢，只能返回錯誤的代碼。當Tquery或TADOquery組件返回一個“活動”的查詢結果數據集時，它的CanModIfy屬性的值會被設置成True。

§3.4MSSQLServer簡述

SQLServer是一個后臺數據庫管理系統(tǒng),它功能強大操作簡便,日益為廣大數據庫用戶所喜愛。越來越多的開發(fā)工具提供了與SQLServer的接口。SQLServer是一個關系數據庫管理系統(tǒng)，它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同開發(fā)的。于1988年推出了第一個OS/2版本，在WindowsNT推出后，Microsoft與Sybase在SQLServer的開發(fā)上就分道揚鑣了，Microsoft將SQLServer移植到WindowsNT系統(tǒng)上，專注于開發(fā)推廣SQLServer的WindowsNT版本。

SQLServer2000是Microsoft公司推出的SQLServer數據庫管理系統(tǒng)的最新版本，該版本繼承了SQLServer7.0版本的優(yōu)點，同時又比它增加了許多更先進的功能、具有使用方便、可伸縮性好與相關軟件集成程度高等優(yōu)點。可跨越從運行MicrosoftWindows98的膝上型電腦到運行MicrosoftWindows2000的大型多處理器的服務器等多種平臺使用。MSSQLServer不但可以應用于大中型數據庫管理中，建立分布式關系數據庫，并且也可以開發(fā)桌面數據庫。事實上，SQLServer數據庫處理的基本結構，采取關系型數據庫模式，盡管如此，相信大家都可以輕易的發(fā)現，在SQLServer的數據庫處理方式，則是使用面向對象的操作方式與精神，也就是說，SQLServer的所有功能，都可以基于系統(tǒng)已經建立好的一些對象來達成，是相當OO（面向對象）的一個系統(tǒng)結構。

SQLServer企業(yè)管理器是SQLServer的主要管理工具，它提供了一個遵從MMC標準的用戶界面，使用戶得以：

·定義SQLServer實例組。

·將個別服務器注冊到組中。

·為每個已注冊的服務器配置所有SQLServer選項。

·在每個已注冊的服務器中創(chuàng)建并管理所有SQLServer數據庫、對象、登錄、用戶和權限。

·在每個已注冊的服務器上定義并執(zhí)行所有SQLServer管理任務。

·通過喚醒調用SQL查詢分析器，交互地設計并測試SQL語句、批處理和腳本。

·喚醒調用為SQLServer定義的各種向導。

·

第三章圖書管理系統(tǒng)設計分析

§4.1應用需求分析

圖書管理系統(tǒng)需要滿足來自三方面的需求，這三個方面分別是圖書借閱者、圖書館工作人員和圖書館管理人員。圖書借閱者的需求是查詢圖書館所存的圖書、個人借閱情況及個人信息的修改；圖書館工作人員對圖書借閱者的借閱及還書要求進行操作，同時形成借書或還書報表給借閱者查看確認；圖書館管理人員的功能最為復雜，包括對工作人員、圖書借閱者、圖書進行管理和維護，及系統(tǒng)狀態(tài)的查看、維護并生成催還圖書報表。

圖書借閱者可直接查看圖書館圖書情況，如果圖書借閱者根據本人借書證號和密碼登錄系統(tǒng)，還可以進行本人借書情況的查詢和維護部分個人信息。一般情況下，圖書借閱者只應該查詢和維護本人的借書情況和個人信息，若查詢和維護其他借閱者的借書情況和個人信息，就要知道其他圖書借閱者的借書證號和密碼。這些是很難得到的，特別是密碼，所以不但滿足了圖書借閱者的要求，還保護了圖書借閱者的個人隱私。

圖書館工作人員有修改圖書借閱者借書和還書記錄的權限，所以需對工作人員登陸本模塊進行更多的考慮。在此模塊中，圖書館工作人員可以為圖書借閱者加入借書記錄或是還書記錄，并打印生成相應的報表給用戶查看和確認。

圖書館管理人員功能的信息量大，數據安全性和保密性要求最高。本功能實現對圖書信息、借閱者信息、總體借閱情況信息的管理和統(tǒng)計、工作人員和管理人員信息查看及維護。圖書館管理員可以瀏覽、查詢、添加、刪除、修改、統(tǒng)計圖書的基本信息；瀏覽、查詢、統(tǒng)計、添加、刪除和修改圖書借閱者的基本信息，瀏覽、查詢、統(tǒng)計圖書館的借閱信息，但不能添加、刪除和修改借閱信息，這部分功能應該由圖書館工作人員執(zhí)行，但是，刪除某條圖書借閱者基本信息記錄時，應實現對該圖書借閱者借閱記錄的級聯刪除。并且還應具有生成催還圖書報表，并打印輸出的功能。

在本系統(tǒng)中由于沒有打印機設備供試驗，所以預先把報表打印改成報表預覽。

設計不同用戶的操作權限和登陸方法

對所有用戶開放的圖書查詢

借閱者維護借閱者個人部分信息

借閱者查看個人借閱情況信息

維護借閱者個人密碼

根據借閱情況對數據庫進行操作并生成報表

根據還書情況對數據庫進行操作并生成報表

查詢及統(tǒng)計各種信息

維護圖書信息

維護工作人員和管理員信息

維護借閱者信息

處理信息的完整性

對借閱過期的圖書生成報表

圖4-2圖書管理系統(tǒng)數據庫應用需求的總結

根據以上所做的需求分析，并略掉一些細節(jié)（如不考慮用戶的登錄；對記錄的維護），得出以下的三層數據流圖。

§4.2系統(tǒng)功能模塊劃分

系統(tǒng)功能框圖如圖4-10所示。

§4.3系統(tǒng)數據庫設計

4.3.1概念設計

在概念設計階段中，設計人員從用戶的角度看待數據及處理要求和約束，產生一個反映用戶觀點的概念模式。然后再把概念模式轉換成邏輯模式。將概念設計從設計過程中獨立開來，使各階段的任務相對單一化，設計復雜程度大大降低，不受特定DBMS的限制。

利用ER方法進行數據庫的概念設計，可分成三步進行：首先設計局部ER模式，然后把各局部ER模式綜合成一個全局模式，最后對全局ER模式進行優(yōu)化，得到最終的模式，即概念模式。

（1）設計局部ER模式

實體和屬性的定義：

圖書（圖書編號，圖書名稱，作者，出版社，出版日期，備注，價格，數量，）

借閱者（借書證號，姓名，性別，身份證，聯系電話，密碼）

身份（身份編號，身份描述，最大借閱數）

圖書類別（圖書類別編號，類別描述）

ER模型的“聯系”用于刻畫實體之間的關聯。一種完整的方式是對局部結構中任意兩個實體類型，依據需求分析的結果，考察局部結構中任意兩個實體類型之間是否存在聯系。若有聯系，進一步確定是1:N，M:N，還是1:1等。還要考察一個實體類型內部是否存在聯系，兩個實體類型之間是否存在聯系，多個實體類型之間是否存在聯系，等等。聯系定義如圖4-5所示。解釋如下：

u一個借閱者（用戶）只能具有一種身份，而一種身份可被多個借閱者所具有；

u一本圖書只能屬于一種圖書類別（類別），而一種圖書類別可以包含多本圖書；

u一個用戶可以借閱多本不同的書，而一本書也可以被多個不同的用戶所借閱。

（2）設計全局ER模式

所有局部ER模式都設計好了后，接下來就是把它們綜合成單一的全局概念結構。全局概念結構不僅要支持所有局部ER模式，而且必須合理地表示一個完整、一致的數據庫概念結構。

1)確定公共實體類型

為了給多個局部ER模式的合并提供開始合并的基礎，首先要確定各局部結構中的公共實體類型。在這一步中我們僅根據實體類型名和鍵來認定公共實體類型。一般把同名實體類型作為公共實體類型的一類候選，把具有相同鍵的實體類型作為公共實體類型的另一類候眩

2)局部ER模式的合并

合并的原則是：首先進行兩兩合并；先和合并那些現實世界中有聯系的局部結構；合并從公共實體類型開始，最后再加入獨立的局部結構。

3)消除沖突

沖突分為三類：屬性沖突、結構沖突、命名沖突。

設計全局ER模式的目的不在于把若干局部ER模式形式上合并為一個ER模式，而在于消除沖突，使之成為能夠被所有用戶共同理解和接受的同一的概念模型。

3)全局ER模式的優(yōu)化

在得到全局ER模式后，為了提高數據庫系統(tǒng)的效率，還應進一步依據處理需求對ER模式進行優(yōu)化。一個好的全局ER模式，除能準確、全面地反映用戶功能需求外，還應滿足下列條件：實體類型的個數要盡可能的少；實體類型所含屬性個數盡可能少；實體類型間聯系無冗余。

綜上所述，“圖書管理系統(tǒng)”的全局ER模式如圖4-13所示。

4.3.2關系數據庫的邏輯設計

由于概念設計的結果是ER圖，DBMS一般采用關系型（本人所使用的MSSQLServer就是關系型的DBMS），因此數據庫的邏輯設計過程就是把ER圖轉化為關系模式的過程。由于關系模型所具有的優(yōu)點，邏輯設計可以充分運用關系數據庫規(guī)范化理論，使設計過程形式化地進行。設計結果是一組關系模式的定義。

（1）導出初始關系模式

book（圖書編號＃，圖書名稱，圖書類別＃，作者，出版社，出版日期，備注，價格，數量）class（圖書類別#，類別名）user（借書證號＃，姓名，性別，身份編號＃，身份證，聯系電話，密碼）ID（身份編號#，身份描述，最大借閱數）Owner（借書證號#,圖書編號#，借書日期）

圖4-14關系模式集

（2）產生子模式

子模式是用戶所用到的那部分數據的描述。除了指出用戶用到的數據外，還應指出數據與概念模式中相應數據的聯系，即指出概念模式與子模式之間的對應性。

借書子模式（借書證號#，姓名，圖書編號＃，圖書名稱，借書日期）

圖4-15部分子模式

（3）根據設計中出現的問題本人在寫系統(tǒng)時還加入了兩個關系模式：

1、ownertemp：用于工作人員在處理借書、還書工作時臨時存儲借書、還書信息，以便打印報表時使用。

2、keyer：用于存儲工作人員和圖書館管理員的用戶名和密碼及權限，以便工作人員或圖書館管理員進入相應的功能模塊時進行驗證用戶的身份。

4.3.3數據庫的實現

我選用MicrosoftSQLServer2000(企業(yè)版)數據庫來進行數據庫的邏輯設計。首先創(chuàng)建七個基本數據庫表如表4-1－4-7所示，然后根據全局ER圖，建立各個表之間的聯系，如圖4-8所示。

表4-1借閱者基本信息表的結構(User)

表4-2圖書信息表的結構（Book）

表4-3圖書類別信息表的結構（Class）

表4-4借閱者身份信息表的結構（ID）

表4-5借閱情況信息表的結構（Owner）

表4-6借閱情況臨時存儲信息表的結構（Ownertemp）

注：在owner表和ownertemp表中加入了索引字段，用來唯一標識一條借書記錄，并且設置為標識，標識種子為1。

表4-7工作人員和管理員信息表的結構（Keyer）

圖4-8數據庫表間聯系圖

第五章圖書管理系統(tǒng)應用程序設計

§5.1系統(tǒng)窗體模塊組成

§5.2數據模塊窗體的設置

在編寫數據庫應用程序時，經常要遇到這樣的情況，即好多組件、窗體同時訪問相同的數據源，如果為每一個組件或者窗體都設置一個數據源將是十分耗時的工件，而且要保證這些數據源的確是相同的也需花一番功夫。那么，能不能將這些數據源集中管理，最好是做成一個統(tǒng)一的模塊，需要時就將該模塊引入而不必直接操作數據源本身呢？數據模塊（DataModule）是解決這個問題最好的答案。簡單說來，數據模塊是用來集中管理數據源的一個窗體，該窗體可被需要的地方隨時引入。

但本人在開發(fā)這個系統(tǒng)時，開始使用了一下數據模塊，但在使用過程中卻碰到了一些問題。并且考慮這個系統(tǒng)使用到的TADOQuery控件比較多，如果使用數據控件可能會帶來管理上的麻煩，如弄混各個數據控件的作用。還考慮到使用動態(tài)生成ADOQuery可能會更節(jié)省資源。所以在本人的系統(tǒng)中，開始做的第一個模塊“借閱者個人模塊”中還稍微使用了一下數據模塊。但在后面做的兩個模塊中大多都是用動態(tài)生成ADOQuery來實現的。并且由于SQL語句是動態(tài)加入的所以datamodule中的控件也不會多。

§5.3啟動畫面的實現

啟動畫面是為了給用戶一個良好的印像，加深軟件的親和力，沒有實際的功能，在Form1窗體中加入了Image和Time組件。啟動畫面的窗體略，主要的源代碼如下：

§5.4用戶登錄窗體的的實現

本窗體是為三種不同的用戶（一般用戶，工作人員，管理員）提供選擇以進入不同的模塊，滿足不同用戶的需求。源代碼比較簡單，略。

§5.5用戶密碼認證窗體的的實現

本窗體是為了讓工作人員或圖書館管理員按照用戶名和密碼進行登錄，并且跟據用戶名檢查Keyer表中的“權限”字段，以分辯進入圖書館管理人員模塊還是進入工作人員模塊。窗體界面、源代碼如下

§5.6借閱者服務模塊的實現

借閱者服務窗體的功能主要是圖書的查詢，個人借閱情況查看及個人部分信息的修改。界面圖如下：

5.6.1圖書查詢功能的實現

在本系統(tǒng)中，任何人都有權限使用查詢功能，不做任何限制。界面如下，

由于實現的查詢功能有多種，如按圖書編號、圖書名稱等字段進行完全體配查找和部分體配的模糊查找，還有按多個條件進行邏輯與或是邏輯或的多條件查找。其中實現的方法者差不多，所以只給出多條件查找的代碼，如下：

5.6.2借閱者登錄功能的實現

這個功能的實現與工作人員和管理人員登錄功能實現的方法大致一樣，并且還要簡單。是從User表中查到到借閱證號與密碼，看與用戶輸入的是否一致。如果一致，那么用戶就可查看自已的借閱情況并維護自己的部分信息。源代碼與借閱者登錄界面都略。

5.6.3借閱者借閱情況功能的實現

當借閱者正確登錄到系統(tǒng)后，此功能將被激活，使用戶能查看到自身的借閱情況。在此系統(tǒng)中，信息的顯示一般用ListView來實現，只在較少的情況下用到了DBgrid，因為我覺得ListView更好實現，并能使信息數據對用戶的完全分離。

在這里跟據借閱者的不同要求實現借閱情況的查詢，有檢查所有的借閱情部、某本書的借閱情況、和根據已借閱天數的來查詢。其中根椐借閱天數來查詢更有代表性，有方式一和方式二。以下給出此功能的源代碼

按借閱天數查詢方式一

按借閱天數查詢方式二

5.6.4借閱者個人資料維護功能的實現

此功能實現當前借閱者部份資料的修改，但借書證號和身份類別這樣的信息不允許修改，這是圖書館管理員模塊的功能。在此界面中點擊修改按鈕將出現“修改”窗體（Form8），點擊修改密碼按鈕將出現groupbox8，在這里進行密碼修改。關鍵源代碼如下。

這里給出個人部分信息修改的源代碼：

這里給出密碼修改的源代碼：

5.7工作人員－圖書借閱/歸還模塊的實現

5.7.1工作人員進行圖書借閱功能實現

在這個功能中，工作人員輸入借閱者的借閱證號和所要借閱的圖書的圖書編號，然后點擊借閱按鈕就可進行圖書借閱?？紤]到實際中可能會出現只知圖書名而不知圖書編號的情況，在此界面下方加入了一個轉換功能，可以把圖書名稱轉換成圖書編號，再進行圖書借閱。

在借閱完成后會生借閱報表以便借閱者檢查和確認，借閱報表的打印效果如下圖，實現比較簡單，略去實現過程。

5.7.2工作人員進行圖書歸還功能實現

在此功能中，工作人員根據借閱者的借書證號和歸還的圖書編號進行圖書的歸還工作。并且根據現實中可能會出現的只知圖書名不知圖書編號的歸還情況，所以加入了按書籍名稱進行歸還的功能。這個功能是圖書借閱功能中把圖書名稱轉換成圖書編號的一種改進方法，這樣就不用如借閱功能中一樣要先轉換再借閱了。歸還完成后，同樣會打印出歸還報表以便用戶檢查和確認。

5.8圖書館管理員模塊的實現

5.8.1圖書館管理員圖書管理功能的實現

在這個功能中可以在（＊圖書編號）中輸入圖書編號，點查找按鈕后就會在各個相應的組件中顯示出信息，或按圖書名稱模糊查找到所要的記錄，在各個相應的組件中顯示第一條記錄的信息，也可在下端的ListView組件中點擊某一條記錄，在各個相應的組件中也會顯示所選記錄的信息。在入庫功能中只要不是相同的圖書編號并且?guī)В柼崾镜淖侄尾粸榭站涂刹迦胄碌膱D書記錄。刪除則刪除那些Book表中的圖書記錄，如果借出還可依用戶要求連帶刪除owner表中的記錄。因為圖書修改與圖書入庫的功能與工作人員記錄修改和工作人員記錄添加的實現過程一樣，所以下面僅給出刪除功能的源代碼，如下

5.8.2圖書館管理員工作人員和管理員管理功能的實現

在此功能中可以加入工作人員或是管理員，或是修改他們的密碼、權限。

在此功能中如果選中ListView中的記錄，則在右邊相應的組件中顯示出信息，并且管理員還可對這些記錄進行修改或加入新的記錄。并且也可以點刪除按鈕刪除選中的一條或多條記錄。刪除功能與圖書記錄的刪除一般，所以下面只給出添加與修改的實現過程。

5.8.3圖書館管理員修改圖書類別及統(tǒng)記功能的實現

在此窗體中能對圖書的類別進行刪除，添加和修改，這模塊的功能的實現過程與圖書記錄的刪除，添加和修改一樣的，但是這個窗體還能跟據圖書類別進行統(tǒng)計，還可根據Book表和owner表統(tǒng)計出圖書總數目，庫存圖書數目，借出圖書數目及借閱過期的圖書數目。在這里給出統(tǒng)計圖書總數目，庫存圖書數目，借出圖書數目及借閱過期的圖書數目的實現過程中的幾個函數和過程

5.8.4圖書館管理員借閱者管理功能的實現

查詢借閱者可根據借閱者的借書證號或姓名或身份編號查找到借閱者的信息，也可以實行模糊查找，這個功能的實現與前面圖書查找的實現過程一般，就不再詳細說明。

5.8.5圖書館維護借閱者管理功能的實現

此功能能對借閱者信息進行查看添加、刪除、修改。在這里給出刷新按鈕的實現過程

5.8.6圖書館身份維護功能的實現

這一部分是對借閱者身份進行管理，能對身份進行添加、刪除、修改。并且同樣的在listview中選中某條或多條記錄時會在相應的右邊的組件中顯示出信息。此功能實現過程與前面所敘有雷同，略。

5.8.7圖書館借閱者統(tǒng)計功能的實現

此功能按借閱者身份進行統(tǒng)計，得出具有某種身份的借閱者總數，此種身份的并借閱圖書的借閱者數和所借閱的圖書數，在下面給出實現過程。

5.8.8圖書館統(tǒng)計借閱過期記錄功能的實現

打印出的借閱過期催還報表如下圖所示：

此報表能顯示按借書證號升序排列的借閱信息超過限定時限的信息，其中主要的SQL語句如下：

5.9系統(tǒng)信息顯示的實現

顯過本系統(tǒng)的信息，并且右邊的字向上滾動顯示，主要實現如下：

大數據如何入門

首先我們要了解Java語言和Linux操作系統(tǒng)，這兩個是學習大數據的基礎，學習的順序不分前后。

大數據

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當于有學習大數據基礎。

Linux：因為大數據相關軟件都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟件的運行環(huán)境和網絡環(huán)境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以后新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平臺幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數據的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以后的Hbase也會用到它。它一般用來存放一些相互協(xié)作的信息，這些信息比較小一般不會超過1M，都是使用它的軟件對它有依賴，對于我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql數據庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創(chuàng)建數據庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用于把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環(huán)境中使用要注意Mysql的壓力。

Hive：這個東西對于會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark腳本，還能檢查你的程序是否執(zhí)行正確，出錯了給你發(fā)報警并能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態(tài)體系中的NOSQL數據庫，他的數據是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用于大數據處理完成之后的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協(xié)作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎么處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優(yōu)化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，并寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基于MapReduce處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

我想用C#和sqlserver做一個多表的數據庫程序，比如學生信息管理，怎么做，要讓我學會基本操作？

摘要

本文主要闡述了外科醫(yī)療信息管理系統(tǒng)的設計思路、實現過程和實現方法。最初，我們從系統(tǒng)面向的用戶著手，了解不同用戶的各種需求，從而分析得出系統(tǒng)應具備的功能，并依次設計系統(tǒng)的模塊結構和功能聯系。在分析用戶需求時，我們同時分析了系統(tǒng)管理的對象——即系統(tǒng)要管理的數據，把這些數據按照功能分類形成表，完成了數據庫的設計。后臺程序中數據庫的接口也是按數據表的結構來實現的。

根據教學信息管理的特點，系統(tǒng)采用瀏覽器/服務器（B/S）模式[1]，運用了基于C#語言的ASP.NET技術，以SQLSERVER 2005數據庫作為后臺數據庫，使用Visual Studio 2005開發(fā)前臺頁面，實現了對外科醫(yī)療信息方便、快捷的管理，不僅提高了外科醫(yī)療信息管理的效率，而且為醫(yī)院工作人員之間信息的交流提供了一個便捷的平臺。

系統(tǒng)實現的功能模塊主要有：系統(tǒng)管理員模塊，醫(yī)生管理模塊，護士管理模塊，科室秘書管理模塊，手術中管理模塊。系統(tǒng)把這些功能模塊有機的組織起來，已經具備了較高的實用價值。

關鍵字：信息管理系統(tǒng), ASP.NET, C#

ABSTRACT

Something about how to design a Surgical Medical Management Information System that will be used in a hospital is mainly discussed in this paper. Also, the process and technique for carrying out this system are described detailed. At first, we make a survey about the requirements of the client who is the user of this system and analyze the system to see what function should be included. Lastly we devise relations between different functions and work out modules of this project. Based on analysis of the object to the system, we classify these data according to their function and complete designing of the database. Interface of database in background program is done based on the structure of datasheet.

According to Surgical Medical Management Information System, we decide that mold of this project should be B/S mold and use ASP.NET that based on C# language. The database we selected is SQL Server 2005 and the web is developed by Visual Studio 2005 in foreground. So it is convenient and fast to run basis instruction information and the monitor can be implemented with great efficiency. A convenient flat for communication between Staffs in the hospital also be provided.

Primary functional molds in this project are for Administrators module, Doctor Management module, Nurses management module, Secretary of office management module and Operation management module. Because these modules are organized as an organic whole this system has high utility.

KEY WORDS: Information Management System, ASP.NET, C#

目錄

第一章 引言. 1

第二章 系統(tǒng)需求分析. 2

2.1 業(yè)務系統(tǒng)描述... 2

2.1.1 業(yè)務流程分析... 2

2.1.2 業(yè)務流程圖... 3

2.2 可行性分析... 4

2.3MIS系統(tǒng)的目標... 4

2.4 項目開發(fā)計劃... 5

第三章 概要設計. 5

3.1 系統(tǒng)目的... 5

3.2 系統(tǒng)構成圖... 6

3.3 子系統(tǒng)清單... 8

3.4 系統(tǒng)ER圖... 8

3.5 人員職責... 9

3.5.1系統(tǒng)管理員職責... 9

3.5.2 醫(yī)生職責... 10

3.5.3 護士職責... 10

3.5.4 科室秘書職責... 10

3.6數據庫設計... 11

3.6.1 實體描述... 11

3.6.2 聯系描述... 12

3.6.3 數據庫實現... 13

3.6.4 計算機系統(tǒng)配置方案的選擇和設計... 17

3.6.5 系統(tǒng)總體安全性、可靠性方案與措施... 18

3.6.6 系統(tǒng)安全性方案和措施... 18

3.6.7 可靠性方案與措施... 19

第四章 詳細設計. 20

4.1代碼設計... 20

4.2 人機界面設計... 20

4.3 輸入設計... 20

4.4 輸出設計... 22

4.5 模塊處理過程... 24

第五章 實施概況. 25

5.1 實施環(huán)境和工具... 25

5.1.1 計算機系統(tǒng)實施... 25

5.2 實施環(huán)境與工具的比較選擇... 25

5.2.1 實施環(huán)境... 25

5.2.2 幾種工具的特點及比較... 25

5.2.3 編程環(huán)境與工具... 26

5.2.4 數據準備概況... 27

5.3 系統(tǒng)測試概況... 27

5.3.1 系統(tǒng)測試的基本原則... 27

5.3.2 系統(tǒng)測試的方法... 28

5.4 歷史數據備份、數據恢復... 28

5.4.1歷史數據備份... 29

5.4.2 數據恢復... 29

5.5系統(tǒng)運行及維護概況... 30

5.5.1 系統(tǒng)運行概況... 30

5.5.2 系統(tǒng)維護概況... 30

第六章 小結. 32

6.1 系統(tǒng)功能和特點... 32

6.2 軟件開發(fā)過程的特點和體會... 32

6.3系統(tǒng)評價及改進... 33

參考文獻. 34

致 謝. 35

英文資料原文. 36

英文翻譯中文. 43

第一章 引言 隨著社會的發(fā)展，人們對健康越來越關注，醫(yī)院的業(yè)務不斷增長，處理越來越復雜，簡單的人工經營管理，已無法滿足醫(yī)院的需要, 成為醫(yī)院發(fā)展的瓶頸， 人們對醫(yī)療服務的要求也越來越高。傳統(tǒng)的手工記錄管理模式,病人信息繁雜，服務效率嚴重下降, 人工操作信息，流程容易漏、錯信息，走錯工作流程，人工記錄效率低的問題無法避免，因此,如何提高服務水平、提高工作效率，成為迫待解決的問題。醫(yī)院管理信息化不僅能提高醫(yī)務人員的工作效率和醫(yī)療水平，而且能提高醫(yī)院的服務質量和管理水平,因此，醫(yī)院對管理信息系統(tǒng)有著強烈的需求。美國著名教授Morris.Collen于1988年曾著文為醫(yī)院信息系統(tǒng)(HIS)下了如下定義：利用電子計算機和通訊設備，為醫(yī)院所屬各部門提供病人診療信息和行政管理信息的收集、存儲、處理、提取和數據交換的能力，并滿足所有授權用戶的功能需求。開發(fā)醫(yī)院外科管理信息系統(tǒng)(MIS)的目標就是立足醫(yī)院應用實際，著眼院未來發(fā)展，以強化醫(yī)院外科部門管理，提高醫(yī)療質量，方便醫(yī)院員工管理病人手術信息，提高醫(yī)院的服務效率和服務質量，設計一套符合功能規(guī)范要求，安全穩(wěn)定，操作簡便的醫(yī)院外科管理信息系統(tǒng)，為醫(yī)院外科部門的管理提供一套全方位的解決方案。

第二章 系統(tǒng)需求分析 管理信息系統(tǒng)是一門新興的、集管理科學、信息科學、系統(tǒng)科學及計算機科學為一體的綜合性學科，研究的是信息管理活動的全過程，以便有效的管理信息，提供各類管理決策信息，輔助企業(yè)進行現代化管理。管理信息系統(tǒng)它具備數據處理、計劃、控制、預測和輔助決策功能，具體作用如下5點內容：

（1）用統(tǒng)一標準處理和提供信息，排除使用前后矛盾的不完整的數據。

（2）完整、及時提供在管理及決策中需要的數據。

（3）利用指定的數據關系分析數據，客觀預測未來。

（4）向各級管理機構提供不同詳細程度的報告，縮短分析和解釋的時間。

（5）用最低的費用最短的時間提供盡可能精確、可靠的信息，以便使決策者選擇最佳的實施方案，以提高企業(yè)的經濟效益。

2.1 業(yè)務系統(tǒng)描述 醫(yī)院的外科醫(yī)療水平和服務質量是衡量一個醫(yī)院標準，僅靠增加基礎設施投入和脫離信息化的管理方法的改進，是不能從根本上提高醫(yī)院部門的工作效率、服務質量和管理水平的。MIS的目的就是減輕業(yè)務勞動強度，工作職責合理配置，減少了差錯，科學管理外科流程，節(jié)省人力，提高醫(yī)院的財、物管理水平，工作效率，增加經濟效益，方便醫(yī)院職工對病人信息的控制，提高醫(yī)院外科部門的服務效率和服務質量，提高醫(yī)院的外科部門醫(yī)療質量和管理水平。所以，一個現代化的適應社會發(fā)展需要的醫(yī)院外科部門，除了具備一流的醫(yī)療隊伍、一流的服務設施之外，還應具備一流的管理信息系統(tǒng)。

文章出處：

很不錯的網站，里面有很多免費的資料

開題報告：

題目列表：

不行就定做一個吧

定做的質量要好得多

摘要翻譯

In this information society, the computer formidable function hadrealized by the people, its application seeped to society's eachdomain, the computer especially is widespread in the informationmanagement aspect application, it has provided the quick informationprocessing method for the user, greatly enhanced people's workingefficiency. The thing flows the information management system is the typicalinformation management system, it is the collection moderntransportation, stores in a storehouse, matches delivers, thetransporting, the packing, the product circulation and the informationmanagement to a body network system, this management system managementsystem take the Internet technology as a foundation, created one kindfor the transportation enterprise to be brand-new not the region, thetime restraint information exchange, sharing and the cooperation way,this new way has brought the new opportunity to the enterprise. Thiskind of system may realize through the many kinds of technologies,current this kind of management software generally uses the C/Sstructure, the C/S structure is puts the material on the server,installs the application procedure and the database client dispositionon the client, like this processed the service work paid by time to doquite troublesomely, greatly reduces the working efficiency, thematerial security also could not obtain the guarantee. Based on theabove all sorts of reasons, this system uses Visual C# Net to take thedevelopment kit, develops the system the B/S structure, uses SQLServer 2,000 to take the backstage database application procedure,like this not only convenient customer use, moreover also hadguaranteed the material security, uses the software engineering thedevelopment principle, rests on the software flow process standard,according to process development and so on demand analysis, outlinedesign, detailed design, procedure code, test, software application,software maintenance. This article altogether is divided four chapters, the first chaptermainly introduced this topic research significance and the goal;Second chapter is the system analysis, feasible, service flow, dataflow analysis and so on; Third chapter is the system design, mainlyincludes the database design and the module functional design; Lastthe chapter is the software test. This system provides the formidable data operation function for theuser, the contact surface friendly, the use simple convenient, thesystem maintenance cost is low.

求用SQL和VB做的圖書館管理系統(tǒng)的設計!

摘 要

圖書館管理系統(tǒng)是一些單位不可缺少的部分,書籍是人類不可缺少的精神食糧，尤其對一些學校來說，尤其重要。所以圖書館管理系統(tǒng)應該能夠為用戶提供充足的信息和快捷的查詢手段。但一直以來人們使用傳統(tǒng)人工的方式管理圖書、期刊、試卷合訂本等，這種管理方式存在著許多缺點,如:效率低、保密性差,另外時間一長,將產生大量的文件和數據,這對于查找、更新和維護都帶來了不少的困難。

隨著科學技術的不斷提高,計算機科學日漸成熟,其強大的功能已為人們深刻認識,它已進入人類社會的各個領域并發(fā)揮著越來越重要的作用。作為計算機應用的一部分,使用計算機對圖書資源信息進行管理,具有著手工管理所無法比擬的優(yōu)點.例如:檢索迅速、查找方便、可靠性高、存儲量大、保密性好、壽命長、成本低等。這些優(yōu)點能夠極大地提高圖書館管理的效率,也是企業(yè)、學校的科學化、正規(guī)化管理,與世界接軌的重要條件。

因此，開發(fā)這樣一套管理軟件成為很有必要的事情,在下面的各章中我們將以開發(fā)一套圖書館管理系統(tǒng)為例,談談其開發(fā)過程和所涉及到的問題及解決方法。

關鍵字:圖書館,借書,還書,VB,sqlserver2000

Abstract

The library management system is some unit essential part, the books is humanity's essential spiritual food, especially to some schools, especially important.Therefore the library management system should be able to provide the sufficient information and the quick inquiry method for the user.But the people have since always used the traditional artificial way management books, the periodical, the examination paper one-volume edition and so on, this management way has many shortcomings, for example: The efficiency low, the secrecy is bad, moreover time one long, will produce the massive documents and the data, this regarding the search, the renewal and the maintenance has all brought many difficulties.

Along with the science and technology unceasing enhancement, the computer science is mature day after day, its formidable function had known profoundly for the people, it entered the human society each domain and is playing the more and more vital role.As a computer application part, uses the computer to carry on the management for the books resources information, is having the merit which the manual administration center is unable to compare. For example: Retrieves, the search rapidly convenient, the reliability high, the reserves big, the secrecy good, the life long, the cost low status.These merits can enhance the library management enormously the efficiency, also is the enterprise, the school scientific style, the standardized management, with world trail connection important condition.

Therefore, develops this kind of set of management software to become has the necessity matter very much, in following each chapter of we take will develop a set of library management system as the example, chats question and solution which its performance history and will involve.

Key words: Library, taking advantage of book, but also book, VB,sqlserver2000

目 錄

摘 要 2

Abstract 3

第一章 前言 5

1.1 課題背景及意義 6

1.2 課題的來源 6

1.3 國內外發(fā)展概況 7

1.4 研究內容 7

1.5 開發(fā)工具 7

第二章 系統(tǒng)開發(fā)環(huán)境介紹 8

2.1 Visual Basic的簡介 8

2.2 SQL Server 2000 簡介 9

第三章 需求分析 11

3.1 系統(tǒng)功能分析 11

3.2 系統(tǒng)功能模塊 12

3.2.1 “借閱管理”模塊： 12

3.2.2 “書籍管理”模塊： 12

3.2.3 “讀者管理”模塊： 12

3.2.4 “系統(tǒng)管理”模塊： 13

3.3 系統(tǒng)結構圖 13

3.4 數據庫關系圖 14

3.5 系統(tǒng)E-R圖 14

3.6 數據庫設計 19

第四章 系統(tǒng)總體設計 22

4.1 界面設計 22

4.2 系統(tǒng)登陸模塊 22

4.3 圖書添加信息 25

4.4 讀者信息模塊 29

4.5 借閱圖書模塊 31

4.6 還書信息模塊 36

第五章 系統(tǒng)測試 39

5．1測試項目 39

5．2測試方法 40

第六章 小 結 42

參考文獻 43

大數據云計算好不好學習？

說一下大數據的四個典型的特征：

數據量大；

數據類型繁多，（結構化、非結構化文本、日志、視頻、圖片、地理位置等）；

商業(yè)價值高，但需要在海量數據之上，通過數據分析與機器學習快速的挖掘出來；

處理時效性高，海量數據的處理需求不再局限在離線計算當中。

第一章：Hadoop

在大數據存儲和計算中Hadoop可以算是開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。

關于Hadoop，你至少需要搞清楚這些是什么：

自己學會如何搭建Hadoop，先讓它跑起來。建議先使用安裝包命令行安裝，不要使用管理工具安裝?，F在都用Hadoop 2.0。

目錄操作命令；上傳、下載文件命令；提交運行MapReduce示例程序；打開Hadoop WEB界面，查看Job運行狀態(tài)，查看Job運行日志。知道Hadoop的系統(tǒng)日志在哪里。

以上完成之后，就應該去了解他們的原理了：

MapReduce：如何分而治之；HDFS：數據到底在哪里，究竟什么才是副本；

Yarn到底是什么，它能干什么；NameNode到底在干些什么；Resource Manager到底在干些什么；

如果有合適的學習網站，視頻就去聽課，如果沒有或者比較喜歡書籍，也可以啃書。當然最好的方法是先去搜索出來這些是干什么的，大概有了概念之后，然后再去聽視頻。

第二章：更高效的WordCount

在這里，一定要學習SQL，它會對你的工作有很大的幫助。

就像是你寫（或者抄）的WordCount一共有幾行代碼？但是你用SQL就非常簡單了，例如：

SELECT word,COUNT(1) FROM wordcount GROUP BY word；

這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，而SQL一行搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL接口。

另外就是SQL On Hadoop之Hive于大數據而言一定要學習的。

什么是Hive？

官方解釋如下：The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax。

為什么說Hive是數據倉庫工具，而不是數據庫工具呢？

有的朋友可能不知道數據倉庫，數據倉庫是邏輯上的概念，底層使用的是數據庫，數據倉庫中的數據有這兩個特點：最全的歷史數據（海量）、相對穩(wěn)定的；所謂相對穩(wěn)定，指的是數據倉庫不同于業(yè)務系統(tǒng)數據庫，數據經常會被更新，數據一旦進入數據倉庫，很少會被更新和刪除，只會被大量查詢。而Hive，也是具備這兩個特點，因此，Hive適合做海量數據的數據倉庫工具，而不是數據庫工具。

了解了它的作用之后，就是安裝配置Hive的環(huán)節(jié)，當可以正常進入Hive命令行是，就是安裝配置成功了。

了解Hive是怎么工作的

學會Hive的基本命令：

創(chuàng)建、刪除表；加載數據到表；下載Hive表的數據；

MapReduce的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統(tǒng)計出現次數最多的10個單詞及次數）；

HDS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；

自己會寫簡單的MapReduce程序，運行出現問題，知道在哪里查看日志；

會寫簡單的Select、Where、group by等SQL語句；

Hive SQL轉換成MapReduce的大致流程；

Hive中常見的語句：創(chuàng)建表、刪除表、往表中加載數據、分區(qū)、將表中數據下載到本地；

從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapReduce是Hadoop提供的分布式計算框架，它可以用來統(tǒng)計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL接口，開發(fā)人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapReduce，提交運行。

此時，你的”大數據平臺”是這樣的：那么問題來了，海量數據如何到HDFS上呢？

第三章：數據采集

把各個數據源的數據采集到Hadoop上。

3.1 HDFS PUT命令

這個在前面你應該已經使用過了。put命令在實際環(huán)境中也比較常用，通常配合shell、python等腳本語言來使用。建議熟練掌握。

3.2 HDFS API

HDFS提供了寫數據的API，自己用編程語言將數據寫入HDFS，put命令本身也是使用API。

實際環(huán)境中一般自己較少編寫程序使用API來寫數據到HDFS，通常都是使用其他框架封裝好的方法。比如：Hive中的INSERT語句，Spark中的saveAsTextfile等。建議了解原理，會寫Demo。

3.3 Sqoop

Sqoop是一個主要用于Hadoop/Hive與傳統(tǒng)關系型數據庫，Oracle、MySQL、SQLServer等之間進行數據交換的開源框架。就像Hive把SQL翻譯成MapReduce一樣，Sqoop把你指定的參數翻譯成MapReduce，提交到Hadoop運行，完成Hadoop與其他數據庫之間的數據交換。

自己下載和配置Sqoop（建議先使用Sqoop1，Sqoop2比較復雜）。了解Sqoop常用的配置參數和方法。

使用Sqoop完成從MySQL同步數據到HDFS；使用Sqoop完成從MySQL同步數據到Hive表；如果后續(xù)選型確定使用Sqoop作為數據交換工具，那么建議熟練掌握，否則，了解和會用Demo即可。

3.4 Flume

Flume是一個分布式的海量日志采集和傳輸框架，因為“采集和傳輸框架”，所以它并不適合關系型數據庫的數據采集和傳輸。Flume可以實時的從網絡協(xié)議、消息系統(tǒng)、文件系統(tǒng)采集日志，并傳輸到HDFS上。

因此，如果你的業(yè)務有這些數據源的數據，并且需要實時的采集，那么就應該考慮使用Flume。

下載和配置Flume。使用Flume監(jiān)控一個不斷追加數據的文件，并將數據傳輸到HDFS；Flume的配置和使用較為復雜，如果你沒有足夠的興趣和耐心，可以先跳過Flume。

3.5 阿里開源的DataX

現在DataX已經是3.0版本，支持很多數據源。

第四章：把Hadoop上的數據搞到別處去

Hive和MapReduce進行分析了。那么接下來的問題是，分析完的結果如何從Hadoop上同步到其他系統(tǒng)和應用中去呢？其實，此處的方法和第三章基本一致的。

HDFS GET命令：把HDFS上的文件GET到本地。需要熟練掌握。

HDFS API：同3.2.

Sqoop：同3.3.使用Sqoop完成將HDFS上的文件同步到MySQL；使用Sqoop完成將Hive表中的數據同步到MySQL。

如果你已經按照流程認真完整的走了一遍，那么你應該已經具備以下技能和知識點：

知道如何把已有的數據采集到HDFS上，包括離線采集和實時采集；

知道sqoop是HDFS和其他數據源之間的數據交換工具；

知道flume可以用作實時的日志采集。

從前面的學習，對于大數據平臺，你已經掌握的不少的知識和技能，搭建Hadoop集群，把數據采集到Hadoop上，使用Hive和MapReduce來分析數據，把分析結果同步到其他數據源。

接下來的問題來了，Hive使用的越來越多，你會發(fā)現很多不爽的地方，特別是速度慢，大多情況下，明明我的數據量很小，它都要申請資源，啟動MapReduce來執(zhí)行。

第五章：SQL

其實大家都已經發(fā)現Hive后臺使用MapReduce作為執(zhí)行引擎，實在是有點慢。因此SQL On Hadoop的框架越來越多，按我的了解，最常用的按照流行度依次為SparkSQL、Impala和Presto.這三種框架基于半內存或者全內存，提供了SQL接口來快速查詢分析Hadoop上的數據。

我們目前使用的是SparkSQL，至于為什么用SparkSQL，原因大概有以下吧：使用Spark還做了其他事情，不想引入過多的框架；Impala對內存的需求太大，沒有過多資源部署。

5.1 關于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名詞解釋。

SparkSQL和Spark是什么關系，SparkSQL和Hive是什么關系。

SparkSQL為什么比Hive跑的快。

5.2 如何部署和運行SparkSQL

Spark有哪些部署模式？

如何在Yarn上運行SparkSQL？

使用SparkSQL查詢Hive中的表。Spark不是一門短時間內就能掌握的技術，因此建議在了解了Spark之后，可以先從SparkSQL入手，循序漸進。

關于Spark和SparkSQL，如果你認真完成了上面的學習和實踐，此時，你的”大數據平臺”應該是這樣的。

第六章：數據多次利用

請不要被這個名字所誘惑。其實我想說的是數據的一次采集、多次消費。

在實際業(yè)務場景下，特別是對于一些監(jiān)控日志，想即時的從日志中了解一些指標（關于實時計算，后面章節(jié)會有介紹），這時候，從HDFS上分析就太慢了，盡管是通過Flume采集的，但Flume也不能間隔很短就往HDFS上滾動文件，這樣會導致小文件特別多。

為了滿足數據的一次采集、多次消費的需求，這里要說的便是Kafka。

關于Kafka：什么是Kafka？Kafka的核心概念及名詞解釋。

如何部署和使用Kafka：使用單機部署Kafka，并成功運行自帶的生產者和消費者例子。使用Java程序自己編寫并運行生產者和消費者程序。Flume和Kafka的集成，使用Flume監(jiān)控日志，并將日志數據實時發(fā)送至Kafka。

如果你認真完成了上面的學習和實踐，此時，你的”大數據平臺”應該是這樣的。

這時，使用Flume采集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。

如果你已經認真完整的學習了以上的內容，那么你應該已經具備以下技能和知識點：

為什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的運行SQL。

使用Kafka完成數據的一次收集，多次消費架構。

自己可以寫程序完成Kafka的生產者和消費者。

從前面的學習，你已經掌握了大數據平臺中的數據采集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據采集任務成功完成后，數據計算任務才能開始運行。如果一個任務執(zhí)行失敗，需要給開發(fā)運維人員發(fā)送告警，同時需要提供完整的日志來方便查錯。

第七章：越來越多的分析任務

不僅僅是分析任務，數據采集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發(fā)，有點則需要依賴其他任務來觸發(fā)。當平臺中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監(jiān)控系統(tǒng)來完成這件事。調度監(jiān)控系統(tǒng)是整個數據平臺的中樞系統(tǒng)，類似于AppMaster，負責分配和監(jiān)控任務。

7.1 Apache Oozie

Oozie是什么？有哪些功能？

Oozie可以調度哪些類型的任務（程序）？

Oozie可以支持哪些任務觸發(fā)方式？

安裝配置Oozie。

7.2 其他開源的任務調度系統(tǒng)

Azkaban，light-task-scheduler，Zeus，等等。另外，我這邊是之前單獨開發(fā)的任務調度與監(jiān)控系統(tǒng)，具體請參考《大數據平臺任務調度與監(jiān)控系統(tǒng)》。

第八章：我的數據要實時

在第六章介紹Kafka的時候提到了一些需要實時指標的業(yè)務場景，實時基本可以分為絕對實時和準實時，絕對實時的延遲要求一般在毫秒級，準實時的延遲要求一般在秒、分鐘級。對于需要絕對實時的業(yè)務場景，用的比較多的是Storm，對于其他準實時的業(yè)務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。

8.1 Storm

什么是Storm？有哪些可能的應用場景？

Storm由哪些核心組件構成，各自擔任什么角色？

Storm的簡單安裝和部署。

自己編寫Demo程序，使用Storm完成實時數據流計算。

8.2 Spark Streaming

什么是Spark Streaming，它和Spark是什么關系？

Spark Streaming和Storm比較，各有什么優(yōu)缺點？

使用Kafka + Spark Streaming，完成實時計算的Demo程序。

至此，你的大數據平臺底層架構已經成型了，其中包括了數據采集、數據存儲與計算（離線和實時）、數據同步、任務調度與監(jiān)控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。

第九章：數據要對外

通常對外（業(yè)務）提供數據訪問，大體上包含以下方面。

離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；離線數據的提供可以采用Sqoop、DataX等離線數據交換工具。

實時：比如，在線網站的推薦系統(tǒng)，需要實時從數據平臺中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底層的數據模型比較規(guī)范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規(guī)模，那么Kylin是最好的選擇。

即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。

這么多比較成熟的框架和方案，需要結合自己的業(yè)務需求及數據平臺技術架構，選擇合適的。原則只有一個：越簡單越穩(wěn)定的，就是最好的。

本文標題：sqlserver第三章,sql第五章課后題
地址分享：http://sd-ha.com/article34/phhhse.html

成都網站建設公司_創(chuàng)新互聯，為您提供網站內鏈、企業(yè)建站、企業(yè)網站制作、ChatGPT、做網站、響應式網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯