看聯(lián)想專家如何解釋大數(shù)據、云計算與HPC的關系

周志強曾在IBM任職18年，專攻HPC相關產品和項目，后來因System X來到聯(lián)想，仍然繼續(xù)著HPC的研發(fā)和推廣工作，對于HPC有著長期的實踐經驗和理論認識。在訪談中，周志強談到了HPC技術的演變、應用場景、可能的發(fā)展突破口，以及大數(shù)據、云計算與HPC互相的影響關系等，觀點獨到，字字珠璣，給人不少啟發(fā)和思考。

下面，我們繼續(xù)直接將嘉賓觀點呈現(xiàn)給讀者，來看看周志強怎么看待HPC的現(xiàn)狀和未來發(fā)展前景。

01

Oct/2015

HPC在幾十年的發(fā)展過程中，有過不同的代表技術，比如向量計算機、多處理器共享內存的HPC，以及用多個節(jié)點構建的集群系統(tǒng)。從目前來看，因為各種各樣的原因，向量計算機和純內存共享的HPC系統(tǒng)，逐步都被淘汰了，現(xiàn)在集群架構是主流，而且具有絕對的統(tǒng)治地位，基本上90%的HPC都是這個架構。

未來是否還會有新的技術來代替集群架構呢？

應該有，但我們現(xiàn)在還沒有看到。雖然我們有人在研究虛擬的內存共享等新的協(xié)議，或者說下一代的HPC，但是有沒有一種新的革命性的架構已經證明了它比現(xiàn)有的集群架構更優(yōu)越呢？從目前來看，我們還沒有發(fā)現(xiàn)。

所以在可預見的一段時間里，我們要做的事情就是把現(xiàn)有的架構做好，增加單節(jié)點的能力，擴大節(jié)點數(shù)量等。當然，從表面上看，也就是所謂的CPU疊加、規(guī)模疊加等。但底層所代表的意義是不一樣的。

02

Oct/2015

HPC這種計算機技術是以硬件為主的，雖然可能包括一些基礎的系統(tǒng)軟件，但這不是應用軟件的概念；另一方面，程序的運行速度是否夠快，不僅取決于硬件，還取決于軟件程序。畢竟，軟件的質量決定了能發(fā)揮出硬件多少的能力。所以，有些人提到的應用的優(yōu)化，不是由HPC廠商來進行的，而應該是使用者或者應用編寫者的工作。

但我們說一個沒有做任何優(yōu)化的HPC系統(tǒng)和一個設計合理的HPC系統(tǒng)，在性能上很容易有10%~20%的差距，這個優(yōu)化是指什么呢？

首先是架構本身的優(yōu)化。一個提供HPC產品的廠商，他所提交給客戶的系統(tǒng)、設計、方案本身應該是優(yōu)化的。因為一旦依照架構、方案設計、生產出機器設備，就很難再進行改變或彌補，這直接決定了客戶的投入和產出問題。

其次是配置的優(yōu)化。HPC產品有很多參數(shù)，在同樣的成本限制條件下，怎么選擇參數(shù)并進行軟、硬件的配置存在著優(yōu)化的空間。通常在客戶的程序和應用不變的情況下，我們優(yōu)化過的系統(tǒng)可能會給客戶帶來10%~20%的性能提升或使用管理上的方便。

不過需要注意的是，HPC的應用特點千差萬別，在架構和配置方面的優(yōu)化也要根據用戶應用的不同進行，所以有時HPC廠商也要在具體工作時，與客戶協(xié)作來對應用進行優(yōu)化，所以整體而言優(yōu)化不單獨是HPC廠商或用戶某一家的事情。

03

Oct/2015

比如IBM的NextScale就是針對HPC市場特意制造的一種設備，去掉一些在HPC了用的不多的功能，從而獲得更小的體積。那我們是否能在保留所有功能的同時，做出一個更小的機器呢？現(xiàn)在看起來還不行，但未來或許可以。

比如Intel推出的基于MIC眾核架構的Xeron Phi協(xié)處理器，他的發(fā)展目標是希望能用眾核的方式做到不需要主處理器，從而自己實現(xiàn)、完成處理器的功能。如果能做到這一步，那么未來一個芯片就可以做到100個甚至更多的核，再把InfiniBand等種接口做到處理器芯片里，HPC的節(jié)點“盒子”的體積肯定會大大變小，當然集群的性能也會大大提高。

但這種東西應該就是針對于HPC而設計、專用的，因為去運行數(shù)據庫等商業(yè)軟件時，效率明顯會很低。所以我們說會有專門針對HPC市場的設備出現(xiàn)，但這應該只是當市場足夠大時，一種產品或者商業(yè)策略上的調整。

04

Oct/2015

所有的產品都是由兩個因素決定的，一是市場需求，另一個是技術。有需求但是技術無法滿足，就做不了；有技術但是市場不需要也沒人去做。對公有云里提供的HPC也是如此。

云計算里提供HPC服務，說明有著這樣的用戶，對突發(fā)性的計算能力有需求。比如一個動畫公司，接了一個單，要在三個月之內以很大的計算能力來完成動畫的制作，當然在三個月之后他就不需要這些能力了。那怎么辦？購買設備來維護的話，成本很高，這時候就可以到云服務提供商處申請一些資源。而如果一個企業(yè)7*24小時都要開機運行，每天都需要使用這種計算能力，那是否選擇云來提供這種高計算能力，只不過變成了誰來維護的問題。

所以有云計算服務商提供這種服務，說明了市場需求的存在。但這種服務是否能快速發(fā)展，還取決于多個條件，比如滿足這種需求時所投入的成本最購銷，獲得收益最夠高等等。當然還有其他問題要考慮，比如HPC數(shù)據量通常都比較大，往來不好的話，傳輸數(shù)據都要花費很多時間，這樣不行；另外，加密的要求，管理制度的要求，這些也都會制約在云上使用HPC的需求。

05

Oct/2015

云計算、大數(shù)據這幾年很火，他們的發(fā)展會對HPC產生影響嗎？

其實這個問題的方向反了，應該問HPC還能對大數(shù)據等帶來多少推動。大數(shù)據技術其實來源于HPC，所以它不大可能去反過來影響HPC。

HPC永遠在用最新、最好的東西，尤其是在高端系統(tǒng)方面。簡單來說，在現(xiàn)有的架構不變的情況下，為了把節(jié)點做得更強大，首先CPU要不斷發(fā)展，集成度更高、更節(jié)能，所以芯片的制程工藝可能會進一步往11納米甚至7納米發(fā)展，然后還會有3D組裝技術的使用等；單個節(jié)點增強之后，就會對節(jié)點之間的數(shù)據通信能力提出進一步要求，從而對網絡的發(fā)展起到推動作用等等。

所以說，HPC是很多新技術的試驗場，試驗出的新產品，好用、能用的產品，通常會再推廣到其他領域，HPC的發(fā)展，也會進一步推動大數(shù)據的快速發(fā)展。

06

Oct/2015

最后說一下，如果我們要談HPC的普及和使用情況，不能脫離用戶的具體需求來說。高端的HPC應用需要積累，一方面是技術的積累，另一方面則是經驗的積累。比如目前國內對計算規(guī)模要求比較大的氣象和石油勘探行業(yè)，假如他的程序在一千個核上能夠運行得很好，現(xiàn)在有了一萬個核是不是就一定能運行得更好呢？不一定，這個要看應用的架構設計能否很好地考慮到了資源擴展的情況，并且能夠利用更多的資源。

從目前來看，國內石油勘探的用戶現(xiàn)在的資源使用規(guī)?；旧显趲装賯€節(jié)點的水平，如果忽然得到兩千個節(jié)點的資源，而應用對資源調度的能力又跟不上的話，相應的石油勘探任務未必能完成；氣象也是如此，即便在擴大網格之后，系統(tǒng)應用能夠正常運行，還需要再花很長的時間在這個網格上去驗證這個數(shù)據是否正確，效率未必能夠得到極大的提高。

還有一個問題是，數(shù)據處理的整個周期還包括準備、預處理和結果輸出等不同流程，如果我們僅是把數(shù)據處理，比如天氣預報這一部分的時間縮短，而沒有提高其他流程的效率，從整體上來看，效率提升還是有效，所以從應用的角度來看，我們要從整體來考慮HPC的意義。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。