
大數據專題培訓心得體會
編輯:武漢大學 時間:2019-07-24 16:18
為期五天的“云計算和大數據技術及其應用高級研討會”已經結束。作為一名學生,我在這五天里聽取了王家耀院士、郭殿生教授、鄭宇研究員等人的研究報告。我對云計算、大數據和互聯網以及相關概念和技術有更深的理解。我對它們在各個領域的應用有了進一步的了解,拓寬了我們的思路。它將極大地促進我們對云計算和大數據的研究,教授云計算和大數據,并在隨后的科研和教學工作中使用云計算和大數據。接下來,我將簡要介紹我對云計算和大數據的理解,以及如何使用相關技術為我的工作服務。
1.云計算
云計算是一種基于互聯網增加、使用和提供相關服務的模式。它通常包括通過互聯網提供動態可擴展的虛擬化資源。它還沒有一個統一的概念。美國國家標準與技術研究所(NIST)將云計算定義為一種按使用付費模式,它提供可用、方便、按需的網絡訪問以及對可配置計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務)的訪問。這些資源可以通過很少的管理工作或與服務提供商的交互來快速提供。云計算(CloudComputing)是分布式計算、并行計算、實用計算、網絡存儲、虛擬化、負載均衡、高可用性等傳統計算機和網絡技術的集成產品。
2006年8月9日,谷歌CEO埃里克·施密特(EricSchmidt)在搜索引擎大會(SESSanJose2006)上首次提出“云計算”的概念。它一出現就引起了各方的關注:2007年10月,谷歌和IBM開始在美國大學校園推廣云計算;2008年2月1日,國際商用機器公司(紐約證券交易所:國際商用機器公司)宣布將建立世界上第一個云計算中心(CloudComputingCenter);面向無錫太湖新城科教工業園的中國軟件公司。2008年7月29日,雅虎、惠普和英特爾宣布了一項涵蓋美國、德國和新加坡的聯合研究計劃,推出云計算研究試驗臺來推廣云計算。2010年7月,美國宇航局和包括Rackspace、AMD、英特爾和戴爾在內的支持公司聯合宣布了“開放堆棧(OpenStack)”開源計劃。云計算的核心與效用計算和網格計算非常相似。人們還希望信息技術能像電一樣方便,成本低。截至2014年,云計算需求達到一定規模,技術基本成熟。目前,云計算的研究和應用主要體現在以下幾個方面:云內容關聯、云安全、云存儲、云游戲、云計算等。
云計算包括基礎設施即服務(IaaS)、平臺即服務(PaaS)和軟件即服務(SaaS)三級服務,涉及編程模式、海量數據分布式存儲、海量數據管理、虛擬化、云計算平臺管理等流行技術,是目前最流行的技術詞匯。當然,云計算也存在一些問題,如數據隱私、數據安全、用戶使用習慣、網絡傳輸問題、缺乏統一的技術標準等。
2.大數據
簡而言之,大數據是指在可承受的時間范圍內無法用傳統軟件工具捕獲、管理和處理的數據集合。這是一項龐大、高增長和多樣化的信息資產,需要一種新的處理模式來擁有更強的決策、洞察和發現能力以及流程優化能力。大數據技術的戰略意義不在于掌握大量數據信息,而在于對這些有意義的數據進行專門處理。關鍵在于提高數據的“處理能力”,通過“處理”實現數據的“增值”。大數據的特點是容量大、類型多、速度快、可變性強、真實性和復雜性高。其價值在于:為大量消費者提供產品或服務的企業可以利用大數據進行準確的營銷;中小而漂亮的長尾企業可以利用大數據進行服務轉型。在互聯網壓力下必須轉型的傳統企業需要與時俱進,充分利用大數據的價值。
大數據需要特殊的技術來有效地處理大量能夠容忍時間的數據。適用于大數據的技術包括大規模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展存儲系統。大數據和云計算之間的關系就像硬幣的正反兩面一樣不可分割。大數據不能由一臺計算機處理,必須采用分布式架構。它的特點是對海量數據進行分布式數據挖掘,但必須依賴云計算、分布式數據庫、云存儲和虛擬化技術的分布式處理。
為了加快大數據產業的發展,國務院于2015年9月發布了《促進大數據發展行動計劃》(Action?Plan?for?Promoting?the?Development?of?Big?Data),該計劃呼吁大力推進政府部門間的數據共享,穩步推進公共數據資源的開放,協調大數據基礎設施建設,支持科學的宏觀調控,提高政府治理的準確性,提高商業服務的便利性,提高安全效率,加快民生服務的普及。發展大數據在工業、新興產業、農業和農村的應用,促進大數據發展與科研創新的有機結合,推動基礎研究和關鍵技術研究,形成大數據產品體系,完善大數據產業鏈;完善大數據安全體系,增強安全性。在此基礎上,未來5-10年,將建立精確治理、多黨合作的社會治理新模式,建立穩定、安全、高效的經濟運行新機制,構建以人為本、以人為本的民生服務新體系,啟動創新驅動的公共創業創新新模式,培育高端智能、新興、繁榮的產業發展新生態。
4.云計算與大學大數據
在當今時代,云計算和大數據已經成為時代的需要。在這種趨勢下,高校作為直接的人才培養機構,應該率先研究和利用大數據。
(1)針對性教學。當大數據應用于課堂教學時,最大的影響可能是我們能夠關注每個學生的微觀表現。大數據技術的應用不僅可以獲得學生在課堂上的表現和行為,還可以對學生在課堂學習過程中的行為、情感態度等進行全面的分析,從而獲得學生學習的優缺點和對學習的態度。如果大數據技術能夠廣泛應用于課堂教學,那么我們就有可能在課堂上進行有針對性的教學。
(2)開放式教育。近年來,越來越多的網絡教育和大型開放式網絡課程應運而生,這也使得大數據在教育中的應用更加廣泛。專家指出,大數據將帶來一場新的教育革命,例如改革學生的學習、教師的教學以及制定教育政策的方式方法。
(3)大數據考試。教育中大數據分析的最終目標是提高學生的學習成績。學生作業和考試中的一系列重要信息經常被我們的常規研究所忽視。通過分析大數據,我們可以找到這些重要信息,并利用它們為提高學生成績提供個性化服務。與此同時,它還能改善學生期末考試的成績、平時的出勤率、輟學率、升學率等。測學生是“如何”考試的能讓研究者有效定型學生的學習行為。大數據要求教育者超越傳統,不僅僅追求正確的答案。學生如何努力找到正確的答案同樣重要。在一次考試中,學生和所有人在每個問題上花費了最長、最短、平均和之前的時間。學生們受益于哪些問題得到了正確或錯誤回答的線索。教育者通過監控信息和形成數據文件,可以了解學生學習的全過程,從而掌握學習內容,幫助他們提供個性化的學習模式。
現在,大數據分析已經在美國的公共教育中得到應用,創建了一個“學習分析系統”(learning?analysis?system)——數據挖掘、建模和案例應用的聯合框架,成為教學改革的重要力量。“學習分析系統”旨在為教育者提供更多、更好、更準確的學生學習信息。例如,一個學生的糟糕表現是因為他對周圍環境的分心嗎?期末考試不及格是意味著學生沒有完全掌握這學期的學習內容,還是因為他請了很多病假,使用大數據的學習分析可以為教育者提供有用的信息,從而幫助他們回答這些沒有得到很好回答的實際問題。
教育工作者和研究人員開發了五種從大數據中提取價值的主要技術:預測——感知預期事實的可能性。聚類——發現自然集中起來的數據點。相關性挖掘——發現各種變量之間的關系,并對其進行解碼以便今后使用它們。升華人的判斷——建立可視的機器學習的模式。用模式發現——用大數據分析開發的模式進行元學習。這些技術的實施可以創建一個學習分析系統,支持通過大數據提高學生的成績。研究人員認為,這些技術將幫助教育者更有效地引導學生走向更加個性化的學習過程。