看聯(lián)想專家如何解釋大數(shù)據(jù)、云計算與HPC的關系

周志強曾在IBM任職18年，專攻HPC相關產(chǎn)品和項目，后來因System X來到聯(lián)想，仍然繼續(xù)著HPC的研發(fā)和推廣工作，對于HPC有著長期的實踐經(jīng)驗和理論認識。在訪談中，周志強談到了HPC技術的演變、應用場景、可能的發(fā)展突破口，以及大數(shù)據(jù)、云計算與HPC互相的影響關系等，觀點獨到，字字珠璣，給人不少啟發(fā)和思考。

下面，我們繼續(xù)直接將嘉賓觀點呈現(xiàn)給讀者，來看看周志強怎么看待HPC的現(xiàn)狀和未來發(fā)展前景。

01

Oct/2015

HPC在幾十年的發(fā)展過程中，有過不同的代表技術，比如向量計算機、多處理器共享內存的HPC，以及用多個節(jié)點構建的集群系統(tǒng)。從目前來看，因為各種各樣的原因，向量計算機和純內存共享的HPC系統(tǒng)，逐步都被淘汰了，現(xiàn)在集群架構是主流，而且具有絕對的統(tǒng)治地位，基本上90%的HPC都是這個架構。

未來是否還會有新的技術來代替集群架構呢？

應該有，但我們現(xiàn)在還沒有看到。雖然我們有人在研究虛擬的內存共享等新的協(xié)議，或者說下一代的HPC，但是有沒有一種新的革命性的架構已經(jīng)證明了它比現(xiàn)有的集群架構更優(yōu)越呢？從目前來看，我們還沒有發(fā)現(xiàn)。

所以在可預見的一段時間里，我們要做的事情就是把現(xiàn)有的架構做好，增加單節(jié)點的能力，擴大節(jié)點數(shù)量等。當然，從表面上看，也就是所謂的CPU疊加、規(guī)模疊加等。但底層所代表的意義是不一樣的。

02

Oct/2015

HPC這種計算機技術是以硬件為主的，雖然可能包括一些基礎的系統(tǒng)軟件，但這不是應用軟件的概念；另一方面，程序的運行速度是否夠快，不僅取決于硬件，還取決于軟件程序。畢竟，軟件的質量決定了能發(fā)揮出硬件多少的能力。所以，有些人提到的應用的優(yōu)化，不是由HPC廠商來進行的，而應該是使用者或者應用編寫者的工作。

但我們說一個沒有做任何優(yōu)化的HPC系統(tǒng)和一個設計合理的HPC系統(tǒng)，在性能上很容易有10%~20%的差距，這個優(yōu)化是指什么呢？

首先是架構本身的優(yōu)化。一個提供HPC產(chǎn)品的廠商，他所提交給客戶的系統(tǒng)、設計、方案本身應該是優(yōu)化的。因為一旦依照架構、方案設計、生產(chǎn)出機器設備，就很難再進行改變或彌補，這直接決定了客戶的投入和產(chǎn)出問題。

其次是配置的優(yōu)化。HPC產(chǎn)品有很多參數(shù)，在同樣的成本限制條件下，怎么選擇參數(shù)并進行軟、硬件的配置存在著優(yōu)化的空間。通常在客戶的程序和應用不變的情況下，我們優(yōu)化過的系統(tǒng)可能會給客戶帶來10%~20%的性能提升或使用管理上的方便。

不過需要注意的是，HPC的應用特點千差萬別，在架構和配置方面的優(yōu)化也要根據(jù)用戶應用的不同進行，所以有時HPC廠商也要在具體工作時，與客戶協(xié)作來對應用進行優(yōu)化，所以整體而言優(yōu)化不單獨是HPC廠商或用戶某一家的事情。

03

Oct/2015

比如IBM的NextScale就是針對HPC市場特意制造的一種設備，去掉一些在HPC了用的不多的功能，從而獲得更小的體積。那我們是否能在保留所有功能的同時，做出一個更小的機器呢？現(xiàn)在看起來還不行，但未來或許可以。

比如Intel推出的基于MIC眾核架構的Xeron Phi協(xié)處理器，他的發(fā)展目標是希望能用眾核的方式做到不需要主處理器，從而自己實現(xiàn)、完成處理器的功能。如果能做到這一步，那么未來一個芯片就可以做到100個甚至更多的核，再把InfiniBand等種接口做到處理器芯片里，HPC的節(jié)點“盒子”的體積肯定會大大變小，當然集群的性能也會大大提高。

但這種東西應該就是針對于HPC而設計、專用的，因為去運行數(shù)據(jù)庫等商業(yè)軟件時，效率明顯會很低。所以我們說會有專門針對HPC市場的設備出現(xiàn)，但這應該只是當市場足夠大時，一種產(chǎn)品或者商業(yè)策略上的調整。

04

Oct/2015

所有的產(chǎn)品都是由兩個因素決定的，一是市場需求，另一個是技術。有需求但是技術無法滿足，就做不了；有技術但是市場不需要也沒人去做。對公有云里提供的HPC也是如此。

云計算里提供HPC服務，說明有著這樣的用戶，對突發(fā)性的計算能力有需求。比如一個動畫公司，接了一個單，要在三個月之內以很大的計算能力來完成動畫的制作，當然在三個月之后他就不需要這些能力了。那怎么辦？購買設備來維護的話，成本很高，這時候就可以到云服務提供商處申請一些資源。而如果一個企業(yè)7*24小時都要開機運行，每天都需要使用這種計算能力，那是否選擇云來提供這種高計算能力，只不過變成了誰來維護的問題。

所以有云計算服務商提供這種服務，說明了市場需求的存在。但這種服務是否能快速發(fā)展，還取決于多個條件，比如滿足這種需求時所投入的成本最購銷，獲得收益最夠高等等。當然還有其他問題要考慮，比如HPC數(shù)據(jù)量通常都比較大，往來不好的話，傳輸數(shù)據(jù)都要花費很多時間，這樣不行；另外，加密的要求，管理制度的要求，這些也都會制約在云上使用HPC的需求。

05

Oct/2015

云計算、大數(shù)據(jù)這幾年很火，他們的發(fā)展會對HPC產(chǎn)生影響嗎？

其實這個問題的方向反了，應該問HPC還能對大數(shù)據(jù)等帶來多少推動。大數(shù)據(jù)技術其實來源于HPC，所以它不大可能去反過來影響HPC。

HPC永遠在用最新、最好的東西，尤其是在高端系統(tǒng)方面。簡單來說，在現(xiàn)有的架構不變的情況下，為了把節(jié)點做得更強大，首先CPU要不斷發(fā)展，集成度更高、更節(jié)能，所以芯片的制程工藝可能會進一步往11納米甚至7納米發(fā)展，然后還會有3D組裝技術的使用等；單個節(jié)點增強之后，就會對節(jié)點之間的數(shù)據(jù)通信能力提出進一步要求，從而對網(wǎng)絡的發(fā)展起到推動作用等等。

所以說，HPC是很多新技術的試驗場，試驗出的新產(chǎn)品，好用、能用的產(chǎn)品，通常會再推廣到其他領域，HPC的發(fā)展，也會進一步推動大數(shù)據(jù)的快速發(fā)展。

06

Oct/2015

最后說一下，如果我們要談HPC的普及和使用情況，不能脫離用戶的具體需求來說。高端的HPC應用需要積累，一方面是技術的積累，另一方面則是經(jīng)驗的積累。比如目前國內對計算規(guī)模要求比較大的氣象和石油勘探行業(yè)，假如他的程序在一千個核上能夠運行得很好，現(xiàn)在有了一萬個核是不是就一定能運行得更好呢？不一定，這個要看應用的架構設計能否很好地考慮到了資源擴展的情況，并且能夠利用更多的資源。

從目前來看，國內石油勘探的用戶現(xiàn)在的資源使用規(guī)模基本上在幾百個節(jié)點的水平，如果忽然得到兩千個節(jié)點的資源，而應用對資源調度的能力又跟不上的話，相應的石油勘探任務未必能完成；氣象也是如此，即便在擴大網(wǎng)格之后，系統(tǒng)應用能夠正常運行，還需要再花很長的時間在這個網(wǎng)格上去驗證這個數(shù)據(jù)是否正確，效率未必能夠得到極大的提高。

還有一個問題是，數(shù)據(jù)處理的整個周期還包括準備、預處理和結果輸出等不同流程，如果我們僅是把數(shù)據(jù)處理，比如天氣預報這一部分的時間縮短，而沒有提高其他流程的效率，從整體上來看，效率提升還是有效，所以從應用的角度來看，我們要從整體來考慮HPC的意義。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。