時間:2023-09-01 16:35:18
導言:作為寫作愛好者,不可錯過為您精心挑選的10篇云計算基礎技術,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內容能為您提供靈感和參考。
1云計算技術內涵
云計算技術是計算機技術中的一種,主要是借助網絡,將龐大處理程序拆分為幾個小的子程序,之后借助多個服務器以構建出高效的處理系統,該系統可借助數據收集及計算分析,最終將結果回傳給用戶[1]。借助云計算技術處理龐大信息僅僅需要數秒,這樣大大提高了信息的處理效率。根據用戶需求差異,云計算技術包含如下類型:1)公共云。該技術類型在于為公眾提供云服務,這在多數互聯網公司中應用廣泛。2)私有云。主要面向的是單個機構,面向個體用戶,借助內部往來獲取云服務,一般無盈利需求。3)混合云。該類型主要將公有云及私有云進行有機結合,包含混合類型的優缺點。
2高校計算機基礎教學現狀
計算機基礎教學是高校的公共課程,該課程教學肩負著為我國計算機行業發展培養應用型及技術型專業人才的重任,因此計算機基礎課程是大多數理科專業學生必須學習的課程,一些專業還要求學生通過計算機等級考試[2]。但從高校計算機基礎教學情況來看,卻存在諸多問題,比如實踐教學實踐短,教學內容過于陳舊,教師教學方式單一等,這導致計算機基礎教學質量不佳。在當前高校計算機基礎教學中,教學主要開展場所為綜合機房,機房中配備了電腦設施。從多數高校機房建設情況來看,普遍存在機房硬件設施老舊問題,這樣就導致計算機基礎教學質量長期處于較低水平。而在具體的課程教學中,雖然在“新課改”背景下相關教師經常應用項目距驅動法、小組合作討論法及講練結合法等開展計算機基礎課程教學,但是在實際教學過程中卻存在教學模式應用不合理問題,比如小組合作討論的具體實施上,常常讓學生自由組成小組進行學習,不考慮學生間的差異性,這樣勢必影響合作教學效果。在計算機教師教學上也存在一些突出的問題,如有的學校常常只配置幾名教師來擔任全校的計算機基礎教學工作[3]。雖說配備的專業課程教師具有豐富教學經驗,但是由于教學任務繁重,使得教師無法對每一節課都集中精力講解,這使得計算機基礎教學效果較差。針對高校計算機基礎教學問題,借助云計算技術輔助教學是科學有效的。在計算機基礎教學中,利用云計算技術,可讓相關教師針對課程實際情況,通過應用優秀教學方法、設置巧妙教學緩解及明確課程的教學目標等教學信息及存儲到云端,可以讓新進教師或者老教師合理利用形式豐富的教學資源,提高教師的備課質量及教學方法,進而提高高校計算機基礎教學質量。
3利用云計算技術輔助高校計算機基礎教學的策略
3.1借助云計算技術構建虛擬資源庫,為教師提供豐富的教學資源
云計算技術充分結合了計算機技術及互聯網技術,在實際應用中能夠為使用者提供高效數據處理服務以及安全的信息資源存儲服務[4]。對于高校計算機基礎課程的教師,可以根據自己的教學需求,借助云計算技術在互聯網中建立起自己的虛擬資源庫,將互聯網搜集到的信息或者他人傳輸的信息均存儲到資源庫中,同時也可將自己存儲的優秀資源同其他教師進行共享,拓展信息的應用范圍。同傳統的借助課本教材講解方式相比較,借助云計算技術構建的虛擬資源庫可擺脫知識禁錮,為學生帶去大量的豐富知識,這樣可以大大提高學生的學習積極性。在實際的教育教學中,教師還可以將網絡資源同課本資源進行結合,幫助學生更好掌握計算機基礎知識,拓展學生的認知,以獲得顯著的教學效果。
3.2借助云計算技術搭建協作平臺,充分激發學生個性化學習興趣
高校計算機基礎教學中,常以教師講解為主體,常常是教師講解什么學生就接收什么,這樣不利于學生主觀能動性的發揮。在素質教育背景下,高校教學中更加關注學生的主體性,為轉變高校計算機基礎教學模式,可以借助云計算技術來搭建便捷的師生協作平臺,讓學生在學習過程中根據自己的興趣及實際水平,選擇出適合自己的學習方式,以不斷提高自己的計算機能力。利用云計算技術還可將零散學習資源整合在一起,整合過程中將一些劣質的教學資源摒棄,這樣可讓學生在自主與協作學習的時候充分利用各種學習資源來提高自身的基礎能力與操作水平,通過學生主動探究知識,豐富學生的認知范圍。
3.3利用云計算技術轉變學生的學習方法,顯著提高學生計算機操作能力
云計算技術的顯著特征為可存儲龐大的信息資源,同時存儲的信息資源有很高的安全保障。高校在運用云計算技術為學院及教師提供各種教學研究所需的信息內容之外,還可以將云計算技術應用到輔助學生計算機知識學習及操作實踐中,讓學生借助云計算技術構建的云端來獲取自己所需的各種資源信息[5]。比如,在計算機基礎課堂的學習中,針對學生未能完成的案例內容,可提供給學生云端下載,讓學生可以借助自己的課余時間繼續處理,這不僅可幫助學生掌握相關的知識內容,而且可在學生自主實踐中提高學生的操作能力。在計算機基礎教學中,教師也可借助學生的日志庫來了解學生的學習情況,結合學生實際情況制定出針對性的教學方法,以提高學生的計算機操作能力。
3.4借助云計算技術構建虛擬實驗室,培養學生的創新能力
0引言:
云計算 [1]網格計算、分布式計算、并行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算機技術和網絡技術發展融合的產物。它旨在通過網絡把多個成本相對較低的計算實體整合成一個具有強大計算能力的完美系統,并借助先進的商業模式把這強大的計算能力分布到終端用戶手中。云計算的一個核心理念就是通過不斷提高“云”的處理能力,進而減少用戶終端的處理負擔,最終使用戶終端簡化成一個單純的輸入輸出設備,并能按需享受“云”的強大計算處理能力!
云計算的核心思想,是將大量用網絡連接的計算資源統一管理和調度云存儲,構成一個計算資源池向用戶按需服務。云存儲是在云計算概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。當云計算系統運算和處理的核心是大量數據的存儲和管理時,云計算系統中就需要配置大量的存儲設備,那么云計算系統就轉變成為一個云存儲系統,所以云存儲是一個以數據存儲和管理為核心的云計算系統。
云存儲[2]不是存儲,而是服務,就如同云狀的廣域網和互聯網一樣,云存儲對使用者來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲,并不是使用某一個存儲設備云存儲,而是使用整個云存儲系統帶來的一種數據訪問服務。所以嚴格來講,云存儲不是存儲,而是一種服務。
云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現存儲設備向存儲服務的轉變。
1云計算體系結構
云計算平臺是一個強大的“ 云” 網絡, 連接了大量并發的網絡計算和服務,可利用虛擬化技術擴展每一個服務器的能力,將各自的資源通過云計算平臺結合起來,提供超級計算和存儲能力。 一個通用的云計算體系結構如圖 1所示怎么寫論文。
圖1
云端用戶:提供云用戶請求服務的交互界面,用戶通過Web 瀏覽器可以注冊、登陸及定制服務、配置和管理用戶。
服務目錄:用戶在取得相應權限后可以選擇或定制的服務列表。
管理系統和部署工具: 提供管理和服務,能管理云用戶,能對用戶授權、 認證、 登錄進行管理, 并可以管理可用計算資源和服務, 接收用戶發送的請求,根據用戶請求并轉發到相應的應用程序,調度資源智能地部署資源和應用, 動態地部署、 配置和回收資源。
監控:監控和計量云系統資源的使用情況, 以便作出迅速反應, 完成節點同步配置、 負載均衡配置和資源監控,確保資源能順利分配合適的用戶。
服務器集群: 虛擬的或物理的服務器, 由管理系統管理,負責高并發量的用戶請求處理、 大運算量的計算處理、 用戶Web 應用服務, 云數據存儲時采用相應數據切割算法, 采用并行方式上傳和下載大容量數據。
用戶可通過云用戶端從列表選擇所需服務, 其請求通過管理系統調度相應的資源,并通過部署工具分發請求、 配置Web 應用。
2云存儲系統結構模型
與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心,通過應用軟件來對外提供數據存儲和業務訪問服務。
云存儲系統的結構模型由 4層組成,如圖2所示。
圖2
一、存儲層
存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和 iSCSI等IP存儲設備,也可以是 SCSI或SAS等 DAS存儲設備。
存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設備的狀態監控和故障維護。
二、基礎管理層
基礎管理層是云存儲最核心的部分,也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術,實現云存儲中多個存儲設備之間的協同工作云存儲,使多個的存儲設備可以對外提供同一種服務,并提供更大更強更好的數據訪問性能。
三、應用接口層
應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型,開發不同的應用服務接口,提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺等。
四、訪問層
任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統,享受云存儲服務。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。
3云存儲服務器配置
在云存儲系統中,重復數據的刪除技術是十分重要。在存儲的數據中,有很多文件經過反復修改,造成了大量重復的資料,這時,重復數據的刪除實現后,網絡優化的效果就變得比較明顯。根據云存儲的特點,可將其過程描述為:將數據分塊后云存儲,保存在不同的數據存儲節點并寫入數據文件存儲信息表。需要刪除時,在數據文件信息表中查找文件ID,找到后
刪除該文件的數據信息怎么寫論文。其核心程序代碼如下:
1)將一個數據塊保存在三個不同節點,成功返回1
intWriteStorInfo(fStorInfo fInfo)
{
fStorInfo temp;
memset(&temp, 0, sizeof(fStorInfo));
int id = 1;
int num = 0;
FILE *fd;
if( (fd = open(fileinfo, "rb+"))== NULL)
fd = fopen(fileinfo, "wb+");
while(fread(&temp,sizeof(fStorInfo),1,fd)==1)
{
if(temp.flag == 0)
break;
++num;
}
fInfo.flag = 1;
fseek(fd, num * sizeof(fStorInfo),0);
fwrite(&fInfo, sizeof(fStorInfo),1, fd);
fclose(fd);
return 1;
}
2)獲得文件保存信息的順序表intGetStorInfo(int fID, StorInf OList *L)
{
fStorInfo temp;
memset(&temp, 0, sizeof(fStorInfo));
FILE *fd;
if((fd = fopen(fileinfo, "rb")) ==NULL)
fd = fopen(fileinfo, "wb+");
while(fread(&temp,sizeof(fStorInfo),1,fd)==1){
if(temp.flag == 1 && temp.fID ==fID)
AddStorInfoList(L, temp);
}
fclose(fd);
return 1;
}
3)獲得文件ID信息,若存在返回文件ID,不存在返回-1int GetfID
(Char* user, char* load, char*name)
{
struct fnode dir, src;
memset(&dir, 0, SIZE);
memset(&src, 0, SIZE);
strcpy(dir.user, user);
strcpy(dir.load, load);
strcpy(dir.name, name);
FILE *fp;
if( (fp = fopen(filebase, "rb"))== NULL)
fp = fopen(filebase, "wb+");
int id = -1;
while(fread(&src, SIZE, 1, fp) == 1)
{
if(src.flag==1&&strcmp(src.user,dir.user)==0&&strcmp(src.Load,dir.load)==0&&strcmp(src.name,dir.name) == 0)
{
id = src.ID;
break;
}
}
fclose(fp);
return id;
}
4)根據文件ID刪除該文件所有信息,成功返回1int DeletStorInfo(Int fID)
{
fStorInfo temp;
memset(&temp, 0, sizeof(fStorInfo));
FILE *fd;
if( (fd = fopen(fileinfo, "rb"))== NULL)
fd = fopen(fileinfo, "wb+");
while(!feof(fd)){
fread(&temp, sizeof(fStorInfo), 1, fd);
if(temp.flag == 1 && temp.fID == fID)
temp.flag = 0;
fseek(fd,ftell(fd)-sizeof(fStorInfo), 0);
fwrite(&temp, sizeof(fStorInfo), 1, fd);
fseek(fd,ftell(fd), 0);
}
memset(&temp, 0, sizeof(fStorInfo));
}
fclose(fd);
return 1;
}
4云存儲的優點
云存儲技術的使用,使我們無須知道存儲設備的型號、接口和傳輸協議以及存儲系統中磁盤的數量和容量,經過授權的用戶均可與云存儲連接并進行數據訪問。
1)硬件冗余自動故障切換。
2)存儲設備升級不會導致服務中斷。云存儲不是單獨依賴一臺存儲服務器。當服務器硬件更新和升級時,系統會將舊的存儲服務器上的文件遷移到別的存儲服務器,等新的存儲服務器上線后,文件會再遷移回來。
3)容量分配不受物理硬盤限制。
4)海量并行擴容。云存儲采取的架構是并行擴容,容量不夠時只要添加新的存儲服務器即可。
5)負載均衡。云存儲將工作量均勻分配到不同的存儲服務器上云存儲,避免個別存儲服務器因工作負荷過大造成瓶頸,使存儲系統能夠發揮最大效能。
5結論
在云計算技術的發展和數據存儲需求的共同影響下,為了實現更好的利用現有設備,快速訪問數據資源并降低存儲成本,云存儲的概念和模型逐漸形成。經過了從模型到規模化實驗的過程,現在基于云計算技術的云存儲產品,形成了具有一定性能優勢的成套產品。云存儲作為云計算技術的典型應用實例,從架構上徹底改變了傳統存儲系統的模式,增強了數據應用的靈活性和可靠性。
參考文獻
[1]陳全、鄧倩妮,云計算及其關鍵技術[J].計算機應用,2009,29(9)
[2]石利平,淺析基于Web的云存儲技術[J].現代計算機,2010,3:67-69
[3]HayesB. Cloud Computing [J].Communications of the ACM, 2008, 51(7):9-11
引言
隨著網絡技術的不斷發展,云計算也不斷完善,不僅可以為計算機數據運行提供平臺,也能為計算機發展提供方向,因此,相關計算機技術人員要注重云計算技術,通過發展混合云計算、進行云計算遷移,能夠保證數據傳播的安全與穩定。
1云計算技術的內涵
云計算(cloudcomputing)是基于計算機技術的一種增加服務和使用交付模式的技術,主要為計算機運算提供虛擬化的動態鏈接資源。所謂的“云”是指一計算機互聯網的比喻方法。“云”由原來的比喻,逐漸轉變為計算機處理數據時的動態以及基礎設備的抽象化概念。由于云計算具有開放式運算特點,它能夠在每秒內進行15萬億次的運算,因此,擁有如此強大的數據計算能力的云計算,能夠模擬核爆炸、預測天氣變化和推測金融市場走勢。用戶端只需要通過電腦、筆記本電腦、手機就能夠接入數據中心,從而按自己所需,進行數據處理。現階段,接受最廣的云計算定義:云計算是一種按照數量來付費的數據處理模式,這種模式能夠為用戶端提供可靠的、具有針對性的網絡訪問權限。用戶端能夠接入可共享計算資源池,包括網絡資源、服務器資源等,這些資源可以被用戶端快速搜索出并被使用,從而只需非常簡單的操作,就可以和服務供應商交互。
2云計算技術在計算機數據處理過程中的應用
2.1保障數據傳輸提供安全
云安全(CloudSecurity)是一個云計算延伸的概念,主要是指用戶端在進行計算機數據處理的過程中,使用云計算,能夠保證數據信息安全。用戶端越多,每個使用者的數據就越安全,因為,用戶端群體增大,能夠覆蓋所有計算機互聯網數據角落,只要出現木馬病毒或者被病毒感染,云計算技術就可以及時截獲病毒,從而保證用戶端安全。云安全主要表現在以下三個方面。(1)安全問題。用戶端在進行數據傳輸的過程中,會遇到訪問權限,需要輸入正確的密碼,才能夠完成數據傳輸。這是云計算基于原有的安全方法不斷加密,從而使“輸入圖片中的數字”問題,變得更加深奧,避開一眼就能看出答案的問題,保證個人密碼安全。(2)雙重認證。用戶端在進行計算機技術傳輸過程中,還會遇到允許其他用戶訪問或者拒絕訪問的情況。在云計算中,除了用戶名和密碼外,還需要驗證碼。驗證碼一般是通過信息的形式發送到手機,同時,也有語音、圖片等驗證碼,通過這樣的方法,如果用戶端處于被訪問的狀態,能夠拒絕登錄,從而保障數據的安全性。(3)登錄地點。定位系統能夠顯示出用戶端的實際位置,這樣會導致信息安全問題,因此,云計算對登陸地點進行保護,用戶可以隱藏自己的位置,同時,云計算會提供郵件服務,顯示用戶賬號的異地登錄現象,保護數據信息安全。
2.2云計算可以為數據處理提供平臺
云計算技術主要包括兩個層次的服務:(1)IaaS基礎設施級服務。用戶者通過網絡能夠完善計算機基礎設施,包括存儲空間、網絡連接等基本計算資源,在此基礎上部署和運行各種軟件,包括操作系統和應用程序。現如今,主要的iaas平臺產品有華勝天成、OPENStack、Cloudstack等。(2)PaaS平臺級服務。PaaS平臺主要包括操作系統、編程語言的運行環境、數據庫和Web服務器,用戶在此平臺上部署和運行自己的應用,不能管理和控制底層的基礎設施,只能控制自己部署的應用[1]
3云計算技術在計算機數據處理中的發展策略
3.1保障云計算安全
隨著計算機技術的不斷發展,人們的信息數據安全意識也逐漸提高,更加注重在計算機數據傳輸過程中,云計算技術是否能夠發揮保護數據作用,因此,相關技術人員在進行云計算技術研發時,要注重云計算發揮安全保障作用,主要體現在以下兩個方面。(1)研發新的加密技術。加密技術是通過數學或物理手段,對數據在傳輸過程中和存儲體內進行保護,以防止泄漏的技術。加密技術具有一定的標準,技術人員在研發新的技術時,需要應用到數據加密標準,一次性將64位明文打亂順序,接著將把64位的明文分解成兩個32位塊,在用機密算法將每個32位塊打亂為16位,最后使用初始置換的逆置換。(2)安全協議。安全協議是通過一種建立在密碼基礎上的通信交互協議,運用密碼算法和邏輯,來實現密匙認證與分配。因此,技術人員在進行安全協議架設的時候,要注重熟悉加解、解密等密碼運算,從而能完成加密密鑰和解密密匙。
3.2研發混合云計算
混合云計算是指私有云計算和共有云計算二者混合運用。混合云計算能夠良好協調兩者,可以為企業、個人帶來融合應用體驗。混合云計算主要有資源自動化和提升硬件價值的優點。其中,資源自動化能夠在單一域中,使用自動化方法,來控制、管理計算機數據;而實現硬件的價值,主要是降低數據運行成本。例如,一家企業購買了數據采集和監控系統的硬件,當遷移至公共云計算時這些硬件投入就失去了價值。
3.3研發移動云服務
隨著移動端的普及,未來云計算技術發展趨勢一定是移動云服務。移動云服務能夠起到擴充移動端的能力,同時還可以增強多媒體、Web離線及本地數據存儲的能力。現如今,大部分移動設備都能夠用來信息傳遞、數據通信,因此,技術在研發移動云服務的時候,需要注重以下兩點。(1)實現Windows應用的無縫遷移。用戶端應用遷移到移動端會面臨著運行不暢的問題,影響用戶體驗,因此,技術人員要提高移動端數據傳送的流暢,降低開放應用數量和容量減材,從而確保計算機數據的傳送和安全。(2)基于信息系統進行開發。技術人員要保證移動云服務的數據安全,通過集中管理應用、完善用戶權限管理、對數據加密保護和多種登錄驗證,包括信息、語音驗證等。從而降低數據被盜用和被截取風險。
4結束語
云計算能夠促進計算機數據處理技術發展。在此基礎上,通過研發新的加密技術、架構安全協議,能夠防止技術泄漏、確定參與協議的主體標識,同時,通過“跨鏈通信”區塊鏈安全協議、混合云計算方法喚醒硬件設備,能夠擴充基礎設備容量、降低數據運行成本。
參考文獻
1 云計算
云計算作為一種計算的模式,主要是基于網絡來實現的,在云計算技術發展中,將分布式與并行處理的思維充分融合到一起,結合網絡的計算與存儲功能,運用虛擬的方式來實現數據的存儲和運算。在云計算中,數據不再依賴于本地的計算機或其它的終端來進行存儲,而是運用網絡技術,移駕到網絡上大量的閑置資源上,這是資源運用的改革創新,通過云計算大大解放了本地設備的資源占用率,釋放了大量的存儲運算空間。“云”作為一個資源共享的平臺,任何用戶都可以用手中的設備終端通過網絡與“云”相連,實現資源的管理,免去了購買更多存儲空間。“云”實際上包含了巨大的存儲空間,這些存儲空間都是由無數的計算機和服務器構成的,云計算的方式相當于一個資源合理分配的過程。
2 云計算體系結構和服務模式
2.1 云計算的體系結構
云計算的體系并不復雜,簡單來說可以通過各個結構的功能不同將其分為三個層次。首先,最基層的就是提供資源共享的基礎管理層;其次,云需要與外界的設備進行連接,為其提供服務,我們將這一層次稱為應用接口層;再就是運用云計算來實現具體的操作層次——訪問層。這三個層次之間看似獨立運作,各自實現一定的功能,實則具備相互遞進的關系,由下到上依次深入云計算的核心功能。
2.2 云計算的服務模式
云計算有三種不同的服務模式,基礎設施、平臺和軟件。基礎設施又可稱為服務IaaS,是最基礎的服務模式,它使用起來沒有特別的嚴格規范,適用于一些基礎設備,例如虛擬的服務設備;平臺服務即PaaS,用戶可以通過這個平臺提供的服務將自己的一些應用進行托管,平臺服務不想基礎設施服務那樣自由,在使用中需要按照具體的細則要求來開展;軟件服務也稱SaaS,它通過瀏覽器將完整的軟件輸送到用戶,實現軟件資源的共享,在日常生活中有很多的應用實例,例如人力資源管理就需要用到這樣的軟件服務模式。
3 云計算關鍵技術問題
3.1 訪問控制管理
訪問控制管理的主要目的是保障數據的匹配性,不同的用戶將數據存儲到云端,如果沒有相應的管理技術,那么云計算的安全性就岌岌可危,云計算所構造的美好藍圖也將淪為泡影。為了控制訪問權限,需要對于每一位用戶做一個安全保障,這就需要密碼學的應用,通過加密的方式將每一份數據資源存儲起來唯一面對一個用戶開放。在密碼鑰匙設置中還需要解決很多問題,如密碼忘記,有效時限等,這都需要有一個系統的管理。
3.2 數據安全問題
用戶需要通過云端來實現數據的存儲及運算,這就涉及到數據傳輸、數據存儲、數據清理、數據隔離等多種相關的關鍵技術,這些技術的核心都是保障數據在云計算過程中的安全性。在數據傳輸過程中,為了保證數據傳輸過程中不會發生泄漏,需要進行加密處理,但是在加密保障安全性的同時數據可能會出現丟失情況;相反的,如果保證數據傳輸完整性,那么數據的安全性能又將降低。因此,如何協調安全保密與完整不丟失的關系式數據傳輸中需要解決的問題。目前主要采用的數據存儲技術有GFS和HDFS兩種,為了保證存儲的安全,以及數據在讀入與寫出之間的流暢有序,相關的存儲計算還需要不斷的改進發展。數據隔離技術是對數據動態變化過程的一個控制,可以有效的隔絕病毒的入侵,保證數據的安全,因為云計算利用成百上千的計算機及服務器,我們不能保證每一個空間都是絕對安全的,因此相應的隔離技術是必須的。當數據刪除之后,如果還存在殘留不但占用存儲空間,通過一定的技術手段還可以對其進行恢復,這將導致用戶信息的泄露,因此,云計算技術發展需要開發一定的殘留鑒定并清除功能,使得用戶能夠放心的使用云計算。
3.3 虛擬技術
中圖分類號 TP3 文獻標識碼 A 文章編號 2095-6363(2017)08-0070-01
云計算技術融合了負載均衡、網絡存儲、效用計算和分布式計算等計算機網絡技術,具有擴展性、通用性、大規模、虛擬化等特點及可提供可靠、廉價的服務。云計算的服務包括IaaS(基礎設施即服務)、PaaS(平臺即服務)及SaaS(軟件即服務)3種模式。據艾瑞咨詢數據顯示,2016年中國企業云服務的市場規模或達520億,同比增長31.9%,且在未來幾年中,云服務市場仍會以超過30%的年復合增長率高速發展。在這一背景下,社會非常關注云安全的問題,具體涉及云端、應用服務層和基礎設施層的安全層次。針對這一問題,中國建立了BIM云計算中心、360、綠盟、啟明星辰、瑞星等公司制定了網絡安全解決辦法,并出現了阿里云、BIM云和百度云等,從而為云計算技術應用的安全性提供了重要保證。
1 網絡安全存儲的關鍵技術
1.1 身份認證
身份認證是保護計算機網絡存儲系統安全的第一道關口,其主要采用下列幾種技術方式:一是口令核對驗證,即在身份認證時,用戶僅需輸入事先建立的合法用戶名與口令,便可校驗用戶是非法的或是合法的;二是智能IC卡,即事先在智能IC卡中錄入用戶的合法信息,而在身份認證時,僅需輸入合法的用戶名與口令,便會由智能卡向認證服務器發送隨機數,以驗證用戶身份的合法性;三是Kerberos身份認證,即先利用授權服務器、資源訪問機制使用戶口令生成密鑰K,再經授權服務器提供的票證認證身份,并在獲得合法憑證后獲得相關服務;四是PKⅠ身份認證,即通過利用彼此匹配的密鑰,實現加、解密,并采用密鑰備份、更新與恢復機制,以提供計算機網絡安全服務。
1.2 數據加密
數據加密是先運用加密密鑰、加密算法使明文變為密文,再在解密時采用同樣的辦法使密文為明文。目前,數據加密技術的常用方法包括對稱、非對稱加密算法。其中,對稱加密算法使用的密鑰加、解密數據相同,詳見圖1。
結合圖1,對稱加密算法要求發送方、接收方知曉全部數據的加密密鑰或具有訪問權限,因此密鑰在傳遞與管理上的難度很高。不對稱加密算法的運用可有效彌補對稱加密算法的不足,即其會使用一對公、私鑰組合,且唯有私鑰能解密經公鑰加密的或公鑰能解密經私鑰加密的密文,其中公鑰對外公布,而私鑰由自己保存。
1.3 糾刪碼
在計算機網絡存儲系統中,可運用糾刪碼技術來應對誤碼信息位置的未知性、不確定性,且其要素包括分組碼、碼集、碼字、監督與信息碼元等。目前,常用的糾刪碼技術包括級聯低密度糾刪碼、無速率編碼和RS糾刪碼,從而實現了加速編、解碼及保證計算機網絡安全的目的。
2 云計算技術的應用
在計算機網絡安全存儲中,云計算技術的應用條件是規模化的分布式存儲技術,即其適合用在聲音、圖像、視頻和文檔等文件中,且可保證這些文件存儲的穩定性與可擴展性,同時要求用戶按需付費。在這一應用過程中,一般通過副本、編碼冗余存儲和備份數據,以保證云計算技術的安全應用。
2.1 可取回性證明算法
可取回性證明算法是一種基于“挑戰-響應-驗證”機制的算法,其運用冗余糾錯編碼,以幫助需求用戶驗證云計算中數據的狀態,即:在查詢數據時,先由用戶向云端發起挑戰,再由云端據此作出響應,而用戶通過驗證云端響應信息,便可確定歸檔數據是否處在安全狀態下。倘若驗證未能通過,表面歸檔文件受損,要求嘗試性恢復,而若破壞值處在閾值范圍內,則可用編碼冗余信息恢復原始數據,同時亦可利用副本冗余安全存儲保障,以使恢復錯誤數據的幾率更高。應用表明,可取回性證明算法可驗證云中數據的完整性,可準確定位錯誤數據及進行深入的分析與處理。但若在原始數據的冗余編碼中運用RS糾刪碼,會在一定閾值范圍內出現數據丟失或錯誤現象。為此,通過可運用冗余數據進行修復,并分開放置,以使提取歸檔文件的速率更高,從而使得系統應用功能的便捷性更高。
2.2 MC-R應用策略
在計算機網絡安全存儲中,云計算技術在應用中采用的MC-R策略包括:一是用戶端MC-R策略或用戶端MC加密算法,即:針對數據偽裝與隱藏能力較差的應用現狀,運用用戶端MC加密算法,可構建數據偽裝、隱藏和標記模塊,且這些模塊的協同狀態影響著云計算的安全應用;二是云端MC-R策略或云端RSA,即其僅加密核心隱私數據,以免云端RSA陷入大數據量消耗的狀態中,其中對于加、解密模塊,其應用流程如下:先由需求用戶生成、保存一組RSA公、私密鑰,再采用MC加密算法處理數據,并連同密鑰傳入云端,然后先云端加密數據,而在下載加密文件及用密鑰解密數據時,要求需求用戶的下載請求滿足一定的條件。對于恢復、利用初始數據的問題,可先用云端數據標記模塊尋找隱藏數據,再撤除偽裝。
3 結論
在本案,筆者結合云計算技術的理論知識,探討了其在計算機網絡安全存儲中的具體應用。研究表明,云計算技術具有性能高、可擴展性等優點,因此有助于保證網絡數據的隱私性與完整性,同時通過運用M-POR、MC-R安全存儲策略,可實現對網絡數據的完善、保護及實現部分數據的安全共享。總之,云計算作為一種新起的商業計算模型,其為下一代網絡計算平臺提供了可靠的數據存儲、優質的網絡服務。換而言之,為了適應互聯網的深入發展,在計算機網絡安全存儲中引入云計算技術及保證云計算的安全存儲具有現實意義,值得高度重視。
參考文獻
[1]張菁菁.新時期云計算環境下的計算機網絡安全技術研究[J].中國新通信,2016(4):44.
[2]袁玉珠.云計算模式下的計算機網絡安全儲存系統設計[J].電子技術與軟件工程,2016(7):227.
Data Computation and Data Storage in Cloud Computing
DONG Yu , GUAN Qun
(College of Computer Science, Sichuan University, Chengdu 610065, China)
Abstract: With the continuous growth of the network bandwidth, the conditions are more mature that access non-local computing servic? es through the network, so there is a technology what we call "cloud computing".The cloud computing is a new application model for de? centralized computing which can provide reliable, customized and maximum number of users with minimum resource.With the constantly expanding and deepening of the cloud computing applications, it asks for higher demand, therefore, many researchers also strive to improve the cloud computing performance. The article explains the basic concepts of cloud computing. and on this basis, it also introduced the technology of data computation and data storage, it has a detailed description to the multi-user isolation mechanism, and finally to predict the development of cloud computing and its future.
Key words: cloud computing; data computation; data storage; isolation mechanism
云計算[1]是I T基礎設施的交付和使用模式,它指的是通過網絡以按需、易擴展的方式獲得所需的資源(硬件、平臺、軟件)。提供資源的網絡被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的,并且可以隨時獲取,按需使用,隨時擴展,按使用付費。這種特性經常被稱為像水電一樣使用I T基礎設施。近年來,云計算的研究和應用發展非常快,主要原因是云計算具有如下優點:超大規模、虛擬化、高可靠性、通用性、高可擴展性、按需服務、極其廉價、安全、方便。
[1]朱近之.智慧的云計算[M].北京:電子工業出版社,2010.
[2] Dean J,Ghemawat S.MapReduce: Simplified Data Processing on Large Clusters[J].Communications of the ACM, 2008,51(1):107-113.
[3]李遠方,賈時銀,鄧世昆,等.基于樹結構的MapReduce模型[J].計算機技術與發展,2011,21(8 ):149-152.
[4]韓燕波,王桂玲,等.互聯網計算的原理與實踐[M].北京:科學出版社,2010.
[5] Sacha K. Middleware architecture with patterns and frameworks[Z].2007.
[6]王鵬.走進云計算[M].北京:人民郵電出版社,2009.
云計算是當前一個熱門的技術名詞,很多專家認為,云計算會改變互聯網的技術基礎,甚至會影響整個產業的格局。幾年之內,云計算已從新興技術發展成為當今的熱點技術。云計算是一個產生于IT領域的概念,目前,云計算如一陣颶風席卷整個IT界,已經滲透到了各個行業當中,它已經成為下一代信息應用的發展趨勢,而掌握云計算技術開發使用已經使企業在市場中占據主動。
近年來,地處西北蘭州市的國內知名文化企業讀者出版集團,秉成“推進數字出版、做強讀者品牌”的發展目標,將最新的電子信息技術和互聯網技術等科技成果應用到文化出版領域,打造包括《讀者》雜志內容、云讀書館、終端在內的數字閱讀全產業鏈,開始走從內容生產到終端閱讀的數字出版的新戰略,形成了以“讀者電紙書”為主體,以數據加工業務和云圖書館為兩翼的“一體兩翼”的發展格局。
讀者集團看好深圳惠州市良好的政治生態環境和優越的產業優惠政策,落戶惠州建立“讀者云圖”。所謂云圖書館平臺,就是利用云計算技術,把數字化出版的內容,通過移動終端,展現給全世界任何一個角落的“讀者”。隨之配合云圖書館,研發生產了的“讀者”平板電腦,讀者定制版智能手機,無疑也是“讀者”集團引領數字化出版的潮流方向。“讀者”手機,是國內首次由傳統媒體介入定制智能手機領域,無論對于傳統媒體,還是智能終端,這都是一種全新的開拓。在“讀者“手機中,不僅將會內置30年來全部的讀者雜志內容,同時也會通過云圖書館平臺將版權內容和數字出版相結合,借助”讀者“手機,為身處不同區域的讀者,提供閱讀服務。
基于傳統的互聯網技術和新的移動互聯網技術,公司開發籌建了數字平臺“讀者云圖書館”項目,該項目已成為國家新聞出版總署“十二五”規劃中的重大項目。
讀者(惠州)數字出版基地建設讀者云圖書館,成為國內首家云計算的工業化數據加工中心,搭建了大型的內容原創園區。基地總體規劃用地為300畝,總投資20億元,力爭通過5年左右的努力,在基地內形成大規模的數字出版產業集群,并建立起較為成熟完整的數字內容產業鏈,數字出版產業年產值達到10億元以上。預計在基地建成后,經濟收益以及帶動相關產業的收益將超過100億元。
云圖書館平臺內置讀者雜志30年的內容。借助這個載體,普通讀者可以下載《讀者》創刊30年來的精華內容,同時還可以實現有聲閱讀。讀者(惠州)數字出版基地項目融信息服務、策劃創意、數字出版、數據處理于一體,集研發、孵化、創新服務于一身。按照規劃設計要求,基地建成后將帶動綜合信息服務、策劃創意與營銷、研發與人才培訓、多種媒體出版、數字出版結算五大板塊協同發展,使網絡學習、電子圖書、數字會展、數字博物館、移動閱讀器、數字期刊、手機娛樂、數字視聽、數字地圖、數字動漫等新興數字出版業務實現高度集中。
讀者集團攜手惠州市政府,建設了云計算技術的“讀者云圖”網絡平臺,實現統一內容的多層次、多平臺、多媒體,為全民閱讀提供更豐富的內容和更便捷的方式,真正實現“云閱讀”。該平臺建設,促使“讀者云圖”網絡平臺走向世界、走向未來,不斷延伸自身的業務。讀者云圖”的建立,將推動惠州成為中國數字出版中心之一,助推讀者數字出版領域轉型升級。
2013年4月,讀者云圖”網絡平臺的建成開通,是讀者出版集團和地方深化合作的成功典范,將對數字出版行業產生積極深遠的影響,也為地方文化建設注入了新活力。實現了在線編輯、排版、審閱、出版發行及數字產品銷售,既能幫助出版商快速具備數字出版能力,也可為獨立作者提供出版、營銷便捷環境,兼具用戶閱讀分享及社會化網絡等新形式的互聯網應用功能。
喜歡看《讀者》雜志的讀者朋友,隨時隨地查看海量期刊?今后,只要在有網絡的地方,持有手機、iPad、電腦等設備,便可通過該“網絡圖書館”(.cn)隨時隨地閱讀《讀者》雜志及各類書籍,還可以實現上網交友。
1 引言
云計算的快速興起和廣泛應用,給用戶提供了前所未有的數據存儲服務體驗。在互聯網和云計算服務高速發展的今天,人們可以將存儲在本地的數據上傳到云端,也可以通過互聯網來訪問存儲在云平臺上的數據,這無疑極大地方便了用戶。但與此同時我們也要清醒地看到,正是因為云計算這種對數據進行集中存儲和管理的特點,造成云計算存儲也面臨著一定的安全威脅,一旦云平臺上存儲的數據遭到泄漏或破壞,那么就可能會給用戶造成巨大的損失。
因此,加強對云計算存儲安全技術的研究和應用工作,制定可靠的數據存儲解決方案,是一項非常有意義的工作。本文致力于云計算存儲安全技術的研究,在充分分析了當前云計算數據存儲安全現狀的基礎上,就如何提高云計算數據存儲安全性的技術措施進行了探討,希望對促進云計算的進一步發展和應用工作能夠提供參考和借鑒。
2 云計算數據存儲服務概述
云計算是一種基于互聯網的計算方式,用戶通過互聯網可以直接訪問云平臺,在通過一定的身份驗證措施后就可以對自己存儲在云中的數據進行操作。事實上,當前云計算除了發展出了數據存儲服務外,還開發出了很多其他服務類型,如云平臺可以對各種軟件甚至硬件資源進行充分地配置,用戶可以通過支付比較低廉的價格就獲得對這些資源的使用,這不僅提高了資源的共享效率,還同時為用戶節省了直接購買這些資源的大量成本,具有極大的應用和發展潛力。
過去的云計算數據存儲服務往往需要借助PC端,即用戶通過安裝在PC端的瀏覽器或專門的客戶端應用軟件來訪問云平臺,在通過身份驗證后就可以實現對自己存儲在云中數據的訪問和操作(如上傳、下載、修改以及刪除等等)。這種方式隨著移動互聯網的發展而被逐漸替代,目前有很多知名的云服務商都提供有專門安裝在智能手機端的app應用,用戶隨時隨地都可以通過手機登錄訪問存儲在云中的數據,如百度云、iCloud等等,這種模式方便、易用,對云計算數據存儲服務的發展提供了極大的促進作用。總體來說,當前的云計算數據存儲服務具有很多的優點,如對客戶端的設備要求較低、使用戶擺脫了對專門存儲介質的依賴等,但同時也對云平臺的數據存儲安全提出了更高的要求。
3 云計算數據存儲安全的現狀
在使用云平臺存儲數據的模式下,用戶逐漸擺脫了對存儲介質的依賴,只需要付出很小的代價甚至是免費就可以使用云平臺提供的空間來存儲數據。而云計算平臺在為用戶提供數據存儲服務時,往往需要借助虛擬化技術來實現,這雖然提高了服務質量,但同時也給數據存儲帶來了一定的安全威脅。其中,威脅最大的就是用戶對數據的使用權和管理權被分割,對數據存儲環境更是缺乏控制權。近年來,隨著云計算數據存儲服務的發展,當前云平臺上存儲的數據更是打破了地域的限制,它們可能并不是存儲在某一固定的物理節點上,而是存儲在由云服務商提供的動態空間內。
通過上述分析不難看出,用戶在云計算模式下喪失了對數據的完全控制權,而各類云應用也不再具有固定的基礎設施和安全邊界,數據的存儲和管理完全依靠云服務商來負責,而這可能會造成以下兩個方面的問題:(1)云中的存儲設施一旦遭受黑客、病毒等攻擊或者受到不可知因素的破壞,那么就可能給用戶數據造成嚴重損失;(2)用戶數據因為存儲在云端的緣故,就造成用戶數據的隱私保護難以得到實現。同時,為了提升服務質量,當前云中應用了大量的虛擬化技術,并且各種虛擬化平臺隨著云計算功能的逐漸完善而變得日益龐大和復雜,但虛擬平臺本身就存在著安全漏洞,并且各種漏洞也會隨著虛擬平臺的發展而不斷出現,這就對虛擬平臺的漏洞彌補以及控制提出了更高的要求。
最后,云計算體系中的多層服務模式也將引發安全問題,這主要是因為云平臺上可能集成有多個服務商,在用戶使用平臺上提供的服務時可能就伴隨著多層服務的轉包問題,這就進一步增加了問題的復雜性,同時也加深了數據存儲的安全風險。
4 云計算存儲安全技術探討
1.云中存儲數據的保密性解決方案
對云中傳輸和存儲的數據進行加密,是應對數據泄露風險的最直接有效的技術手段。當前在云存儲安全系統中應用較為廣泛的數據加密技術包括對消息傳輸前進行加密處理;使用基于X.509標準的PKI和PMI體系進行數字加密的技術與動態密碼技術;對傳輸層加密的TLS/SSL技術等。
2.云中存儲數據的完整性解決方案
與數據加密是從數據保密性的角度出發不同,數據完整性是為了使用戶數據不被意外或蓄意的刪除、篡改、偽造、亂序等行為的破壞。具體則分為以下兩個方面:(1)對存儲在云端的不同用戶間的數據進行有效隔離,通過采用物理隔離或虛擬隔離等技術手段來避免用戶數據發生交叉或丟失;(2)對數據的備份和恢復計劃工作要做到位,即使遭到突發事故的影響而導致存儲數據遭到破壞,也能及時通過備份和數據恢復技術來找回數據。
5 結束語
總之,云計算雖然為數據存儲服務提供了極大的便利,但它本身也面臨著一定的安全風險,需要相關技術人員在云計算存儲安全技術方面投入更多的努力,通過不斷完善技術來促進云計算存儲服務取得長遠健康的發展。
參考文獻
[1] 褚烽.云計算中數據存儲安全關鍵技術研究[J].電信技術,2015,(9):40-42
中圖分類號:TP333 文獻標識碼:A 文章編號:1007-9416(2013)12-0089-01
云計算是一種現代的架構體系,這種體系主要是以服務作為其主體運運而生的。為了可以很好地區分云計算的服務方式,在計算機領域把云計算分為了兩種最為基本的服務形式,這兩種服務形式為云計算,以及云存儲。云計算作為一種新型的技術手段被廣泛的運用到現代的網絡系統,以及現代的金融服務領域;作為計算機技術快速發展的一種形式的云計算,是一種以服務為主體的現代運用系統。為了能夠在各種各樣的環境下對計算機的數據進行相應的處理,就需要加入另一種服務形式,這種服務方式就是云存儲。為了能夠適應社會的發展需求,有必要對云計算進行更加深入的研究。
1 云計算,以及云存儲
1.1 云計算
云計算是一種新型的技術形式,它通過向對象提供提供技術服務來實現的。云計算提供的計算模式可以分為兩種,一種是動態化的可伸縮的計算模式,另一種是動態化的虛擬資源計算模式。雖然說云計算是一種新型的技術形式,但是從它的本質來說,云計算指的就是互聯網,以計算機網絡,所以說云計算中的云是一種比喻性的說法。在以往的電信行業中,也存在云的概念,當時的云指的就是電信網。但是隨著近幾年計算機網絡的不斷發展,為了滿足互聯網,以及基礎設施抽象表達的要求,才逐漸把云的概念擴大到互聯網等方面。在計算機中使用云計算,可以很好地滿足現實的需求。傳統的數據信息基本上是以本地的計算機,或者遠程服務器為載體進行存儲。而云計算的使用,則是將大量的數據存儲到計算機之上。大部分的企業可以很方便的把資源信息轉換到比較客觀的應用上,這主要是由于這些企業的數據系統與計算機互聯網比較相似,所以,可以很容易的對存儲體系,以及計算機進行相應的訪問。
1.2 云存儲
隨著云計算的推廣,為了適應這一發展趨勢,就從云計算中總結出了一個全新的概念,這個全新的概念就是云存儲。云計算具有一定的基礎功能,而由于云存儲是從云計算當中延伸出來的,所以,云存儲具有與云計算相類似的功能,即計算機的網格技術,以及計算機的集群應用,還有就是計算機的分布式文件系統。以上的這些基本功能對于云存儲發揮其功效具有重要的作用。通過相應的應用軟件,可以把計算機網絡當中的各式各樣的存儲設備有效的集中起來,以保證這些存儲設備可以進行有效的協同合作。云存儲的這種新型的存儲模式,是在原有的原有的存儲模式的基礎之上,進行相應改進的一種存儲模式,但是這種新型的存儲模式還可以提供一種特別的架構服務。由于云具有廣域網,以及互聯網的特性,所以具有相對比較的形象特征,而對待遇使用云存儲的人來說,云存儲具有一定的透明性。把一些有關聯的存儲設備,以及應用程序軟件進行有效的而結合起來,因為存儲設備的服務轉換抓喲是要通過相關的應用軟件來進行實現的。
2 云計算的環境下數據存儲體系的構建
在實際的云計算的操作過程當中,對于云計算環境下數據存儲體系的建立是十分的必要的。建立云計算環境下數據存儲體系,通常會涉及到很多方面的內容,比如說,云計算的數據中心,以及云服務的接口,還有就是云的用戶和與計算的服務協議等等各方面的內容。首先,我們先來了解一下什么是數據中心。所謂的數據中心,實質上指的就是數據的存儲基礎,數據中心是要通過云計算的環境下來進行實現的。數據中心所涉及的內容,包括了數據的存儲管理,以及數據的存儲設備,還有就是計算機中分布式的文件系統等等。云存儲可以有很多不同的類型,一種是根據企業發展的不同程度會采用的專門的存儲設備,另一種是運用于個人的存儲設備,還有一種就是把專門的存儲設備與個人的存儲設備進行有機的結合起來。雖然有以上的三種分類,但是對于云存儲設備來說,并沒有硬性的規定說要根據那個條件進行分類。根據客戶機,或者服務器的模式可以對分布式的文件系統進行相應的設計。運用網絡節點之間的聯接可以很好地吧文件系統管理當中的一些物理存儲紫玉進行有效的存儲。
3 云計算服務器架構的構建
云計算存儲服務器在云計算中占據著關鍵性的作用,所以對與計算服務器的架構的構建顯得至關重要。對于云存儲服務器架構的建立,一定要保證是在進行建立云儲存體系之前進行建立。比較常見的云存儲服務器架構有兩種,一種是存儲區域網,另一種就是附網存儲。對于云存儲服務器架構的建立,可以通過多變的架構技術來實現云存儲服務器架構的建立的。
附網存儲是一種文件存儲系統,附網存儲是依附于分布式架構系統而存在的。在附網存儲當中,是相互獨立,而且又相互統一的。所以說,附網存儲是一種松散結合型集群,說附網存儲是獨立的,主要是因為在附網存儲中的每一個節點都是相互獨立的;而說附網存儲是相對統一的,主要是因為附網存儲是以系統集群的形式存在著的。附網存儲是一種結合比較緊密的集群系統。一旦有一個文件產生請求,附網存儲中的熱河一個節點都會對這個文件中的不同數據進行同時的訪問,與此同時,云計算還會對于用戶的相關要求進行相應的處理。一般的存儲系統不同的是,附網存儲系統的性能不會由于請求越多而越弱,相反的是,附網存儲是隨著用戶的訪問請求越多,就會具有越強的性能,因為用戶的請求越多,會使得節點數越來越多,所以附網存儲系統的性能越強。
4 結語
總的來說,作為現代計算模式的代表的云計算,在實踐當中具有很大的數據集群,因此云計算具有最優化的服務功能。云計算中的數據存儲,可以通過冗余存儲方式來進行數據的存儲,進而可以確保數據的安全性,以及可靠性。
參考文獻
隨著物聯網、網絡、移動通信等的快速發展,特別是互聯網的普及使得信息傳播的規模和速度呈現幾何增長,人們獲取信息的途徑和方式開始變得異常豐富,人們事實上已經進入了“信息大爆炸”時代。與此同時信息傳播的大容量、高效性和準確性也對現有的數據處理體系提出了更高要求。根據大數據摩爾定律,人類世界的數據產生量將按照每兩年一倍的速率增長,預計2020年世界數據量將超過35億GB,“大數據”時代迫在眉睫。“大數據”具有離散型、隨機性、發散性、爆發性等特點。近年來,隨著云技術的興起全面革新了傳統的數據技術,大容量、多樣化、快速處理、信息價值性和準確性為了云技術背景下大數據處理的五大主要特征。如何利用云計算技術對大數據進行高效處理已經成為了信息技術發展亟待解決的關鍵問題。
1 大數據和云計算的關系
云計算技術是指利用集中式遠程計算資源池,通過按需分配的方式,為終端用戶提供強大而廉價的計算服務技術。云計算技術作為一種數據處理方式,其技術特點包括:一是資源池在物理上是對終端用戶完全透明的;二是能夠為任何行業提供規模化計算服務,其服務能力可看做是“無限”的;三是其應用部署快速便捷,服務能力和方式是可以完全按照終端客戶要求定制的,具有極強的彈性伸縮能力;四是云端數據獲取方便,能夠資源共享,用戶使用成本低廉。
云計算技術是目前最強大的數據存儲、傳輸和處理平臺,它是大數據處理的最優選擇。云計算能夠為大數據提供幾乎“無限”的存儲空間和處理能力,滿足其超大容量存儲和超級復雜的處理需求,也是傳統存儲方式無法實現的。云計算側重數據的計算處理,而大數據需要強大數據處理能力,因而它是云計算的處理對象。此外大數據所產生的業務需求也為云計算的實現提供了更多的形式。
2 基于云計算的大數據處理技術
2.1 大數據的采集技術
目前數據采集方式主要分為集中式和分布式兩大類。其中分布式的靈活性較強,而集中式的全局性較好。實際上大數據采集的對象通常包括組織內部和相互獨立組織間的各類數據,而云計算恰好具有并行處理的優勢,因而可采取混合式采集方式能夠更加有效地完成數據采集任務。即在各個組織內部采用集中式數據采集方式,通過在組織內配置中心服務器,作為集中式數據注冊機構,用于存儲和共享內部的數據。在相互獨立組織間,采用云計算的集群技術、虛擬化技術等在各獨立組織中心服務器間采用分布式采集方式實現數據采集、組織間對接和共享。大數據結構類型包括結構化、半結構和非結構化數據,因而在應用云計算技術進行分布式采集時,可依托其超強的擴展性和容錯力,將數據池內數據進行同構化,從而實現數據進行分類存儲。
2.2 大數據的存儲技術
由于超大體量、離散、復雜的數據特點,傳統數據存儲模式已經難以滿足大數據存儲要求。一方面單結點的數據倉庫在容量上難以滿足呈幾何增長的數據量,在運行效率上也難以滿足大數據的分析處理需求。另一方面傳統數據倉庫按行存儲模式,雖然可以實現大容量索引和視圖,但實際操作中其時間和空間過高。而云計算主要采取列式存儲模式,即區分數據不同屬性,不同屬性列都單獨存放。云計算中列式存儲的優勢在于在投影數據時只需查詢其屬性列,系統處理量和處理效率顯著提升。此外按數據屬性進行列式存儲,數據倉庫中相鄰列數據的相似性更高,因而能夠得到更高的數據壓縮率,進一步減少存儲所需空間。
2.3 大數據的挖掘技術
聯機分析能夠完成數據的復雜處理,得到直觀結果,實現決策性分析。云計算并行模式下聯機分析能夠基于數據全局,建立多維分析模型對數據進行多維度分析,從而盡可能獲得全面的分析結構。由此可見多維度分析是聯機分析的重要特征,而云計算技術下數據倉庫正好是通過多維數據組織的。
聯機分析對數據的處理僅僅只是表面的,其獲取的信息價值并不高,難以得到數據深層次的含義與內在關聯。而數據挖掘正是在聯機分析的基礎上,從超大體量的數據倉庫中提取數據所蘊含的隱性信息,并將這些信息用規律、概念或是模型等表現出來。基于云計算的數據挖掘主要采用分布式并行挖掘技術。與其他串行方式相比,云計算技術下并行數據挖掘能夠利用機器集群拆分分布式系統中的并行任務,并將拆分后的各個任務分別交由不同的機器去處理,從而實現大規模數據處理,其時間成本也大大降低。
2.4 大數據的可視化技術
上文所述數據挖掘可實現大數據的深層次、多維度分析,獲取更多有用信息。而云計算平臺下可視化技術則能夠將上述信息具體化,從而使數據及其有關結構的相關信息能夠更直觀地表現出來,更容易被發覺和理解。可視化技術是指在存儲空間中,將數據庫及其中數據以圖像(圖形)的形式表示出來,并在其中再采用其他的分析手段獲取圖像中所蘊含的未知信息。而原有的數據處理僅僅只能夠從數據本身入手,分析和觀察數據中的內在信息。云計算下的可視化技術不但能夠實現非空間數據的多維度圖像顯示,而且能夠實現檢索過程的直觀圖形顯示,從而幫助人們更好地挖掘和理解信息,信息檢索效率也大大提升。
3 結語
在數據爆炸時代,云計算的出現為大數據的存儲和處理提供了可能,也為數據處理系統的功能擴展提供了重要保障。以往的數據管理將收集和存儲作為重點,而在云計算模式下,大數據管理將更多地側重數據分析、挖掘及管理模式的創新。目前數據采集和統計技術已經較為成熟,利用云計算進一步豐富大數據的存儲和處理方式,實現更高層次的數據挖掘和可視化將是今后需要解決的問題之一。
參考文獻
[1]孟小峰,慈祥.大數據管理:概念,技術與挑戰[J].計算機研究與發展,2013,50(1):146+169.
[2]吳雪琴,基于云計算的大數據信息檢索技術研究[J].電腦知識與技術,2014,10(10):38-41.