A. 從互聯網金融到金融科技 大數據在裡面扮演什麼角色
大數據主要作為投資數據和標的的參考,風控把控,預警等作用
B. 大數據網路工程師主要干什麼的呀
正常抄情況下會細分為襲大數據開發崗位(包含平台開發、行業應用開發)、大數據運維、大數據分析等崗位,不同崗位的任務具有一定的差異。
當前隨著雲計算、大數據平台逐漸開始落地應用,大數據開發工程師(行業領域)的崗位需求正在不斷增加,目前也有不少程序員(Java方向)也會轉向大數據開發崗位,這些崗位的崗位附加值還是比較高的。這些開發崗位的日常工作基本上就是完成代碼的編寫,只不過需要與大數據平台進行交互,需要調用大數據平台的各種服務來完成功能實現,總體上的難度並不算大,但是需要具有一定的行業經驗。
大數據工程師是做什麼的?
分析歷史、預測未來、優化選擇,這是大數據工程師在「玩數據」時最重要的三大任務:
找出過去事件的特徵:
大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡,就能夠了解這個人,並預測他的行為。
預測未來可能發生的事情:
通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。
找出最優化的結果:
根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。
C. 金融大數據工程師是做啥的學了有什麼用
大數據工程師是利用現代分析方法,結合互聯網技術手段進行大數據模型的構建和應用。學了後可以提升在職工作人員的崗位能力,從而升職加薪。同時也是企業面試時對應聘者考核、聘用、任用的標准。
D. 現在互聯網金融這么火,像大數據那些專業是怎麼運用的
說到運用啊,樓主你知道「信誠人壽悅生活愛家行動」活動不,就是和堂傳媒內運用了多屏互動手段和大數據容手段。以40000+的有效用戶數據打破如今互聯網金融行業營銷記錄,也開創了大數據等技術運用的先河,可牛啦。
E. 如何轉型成為大數據工程師 需要具備哪些條件
大數據是眼下非常時髦的技術名詞,與此同時自然也催生出了一些與大數據處理相關的職業,通過對數據的挖掘分析來影響企業的商業決策。
這群人在國外被叫做數據科學家(Data Scientist),這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出,他們後來分別成為了領英(LinkedIn)和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。
不過在國內,作為大數據人才培養基地,能更加清楚地了解現今的大數據行業情況,認為大數據的應用才剛剛萌芽,人才市場還不那麼成熟,「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板,招聘能和現有團隊互補的人才。」領英(LinkedIn)中國商務分析及戰略總監王昱堯對《第一財經周刊》說。
數據工程師是做什麼的?
於是每家公司對大數據工作的要求不盡相同:有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此,很多公司會針對自己的業務類型和團隊分工,給這群與大數據打交道的人一些新的頭銜和定義:數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title,我們將其統稱為「大數據工程師」。
由於國內的大數據工作還處在一個有待開發的階段,因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架,包括要有計算機編碼能力、數學及統計學相關背景,當然如果能對一些特定領域或行業有比較深入的了解,對於其快速判斷並抓准關鍵因素則更有幫助。
雖然對於一些大公司來說,擁有碩博學歷的公司人是比較好的選擇,不過阿里巴巴集團研究員薛貴榮強調,學歷並不是最主要的因素,能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。
除此之外,一個優秀的大數據工程師要具備一定的邏輯分析能力,並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的,哪個是重要的,使用什麼樣的數據是最有價值的,如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目,並在短時間內成為這個領域的數據專家;溝通能力則能讓他們的工作開展地更順利,因為大數據工程師的工作主要分為兩種方式:由市場部驅動和由數據分析部門驅動,前者需要常常向產品經理了解開發需求,後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向,這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域,有超過56%的企業在籌備發展大數據研究,
因此分析歷史、預測未來、優化選擇,這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。
1.找出過去事件的特徵
大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特徵。比如,騰訊的數據團隊正在搭建一個數據倉庫,把公司所有網路平台上數量龐大、不規整的數據信息進行梳理,總結出可供查詢的特徵,來支持公司各類業務對數據的需求,包括廣告投放、游戲開發、社交網路等。
找出過去事件的特徵,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡,就能夠了解這個人,並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好,是不是互聯網付費用戶、喜歡玩什麼類型的游戲,平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面,就可以針對各類人群推薦相關服務,比如手游,或是基於不同特徵和需求衍生出新的業務模式,比如微信的電影票業務。
2.預測未來可能發生的事情
通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上,工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系,找到與之相關的品類,提前警示賣家周轉庫存。」薛貴榮說。
以網路景點預測為例,大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測,並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里,它究竟是暢通、擁擠,還是一般擁擠?
3.找出最優化的結果
根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。
在過去,決策者只能依據經驗進行判斷,但如今大數據工程師可以通過大范圍地實時測試—比如,在社交網路產品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統計一段時間內的點擊率和轉化率,以此幫助市場部做出最終選擇。
作為電商的阿里巴巴,則希望通過大數據鎖定精準的人群,幫助賣家做更好的營銷。一個淘寶的實例是,某人參賣家原來推廣的目標人群是產婦,但工程師通過挖掘數據之間的關聯性後發現,針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
1.數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說,對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者,更容易進入一個技能上的危險區域(Danger Zone)—一堆數字,按照不同的數據模型和演算法總能捯飭出一些結果來,但如果你不知道那代表什麼,就並不是真正有意義的結果,並且那樣的結果還容易誤導你。「只有具備一定的理論知識,才能理解模型、復用模型甚至創新模型,來解決實際問題。」沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。
舉例來說,現在人們在社交網路上所產生的許多記錄都是非結構化的數據,如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中,大數據工程師的職責以商業分析為主,但也要熟悉計算機處理大數據的方式。
3.對特定應用領域或行業的知識
大數據工程師這個角色很重要的一點是,不能脫離市場,因為大數據只有和特定領域的應用結合起來才能產生價值。所以,在某個或多個垂直行業的經歷能為應聘者積累對行業的認知,對於之後成為大數據工程師有很大幫助,因此這也是應聘這個崗位時較有說服力的加分項。
職業發展
1.如何成為
由於目前大數據人才匱乏,對於公司來說,很難招聘到合適的人才—既要有高學歷,同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月,阿里巴巴舉辦了一個大數據競賽,把天貓平台上的數據拿出來,去除敏感問題後,放到雲計算平台上交予7000多支隊伍進行比賽,比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工,同時也發現外部人才,讓各行業的大數據工程師涌現出來。」
目前長期從事資料庫管理、挖掘、編程工作的人,包括傳統的量化分析師、Hadoop方面的工程師,以及任何在工作中需要通過數據來進行判斷決策的管理者,比如某些領域的運營經理等,都可以嘗試該職位,而各個領域的達人只要學會運用數據,也可以成為大數據工程師。
2.薪酬待遇
作為IT類職業中的「大熊貓」,大數據工程師的收入待遇可以說達到了同類的頂級,國內IT、通訊、行業招聘中,有10%都是和大數據相關的,且比例還在上升。顏莉萍(Nicole Yan)表示,「大數據時代的到來很突然,在國內發展勢頭激進,而人才卻非常有限,現在完全是供不應求的狀況。」在美國,大數據工程師平均每年薪酬高達17.5萬美元,而據了解,在國內頂尖互聯網類公司,同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%,且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少,因此大多數公司的數據部門一般都是扁平化的層級模式,大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊,而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。另一方面,大數據工程師對商業和產品的理解,並不亞於業務部門員工,因此也可轉向產品部或市場部,乃至上升為公司的高級管理層。
F. 大數據工程師需要學習哪些
大數據是眾多學科與統計學交叉產生的一門新興學科。大數據牽扯的數版據挖掘、雲計權算一類的,所以是計算機一類的專業。分布比較廣,應用行業較多。
零售業:主要集中在客戶營銷分析上,通過大數據技術可以對客戶的消費信息進行分析。獲知客戶的消費習慣、消費方向等,以便商場做好更合理商品、貨架擺放,規劃市場營銷方案、產品推薦手段等。
金融業:在金融行業里頭,數據即是生命,其信息系統中積累了大量客戶的交易數據。通過大數據可以對客戶的行為進行分析、防堵詐騙、金融風險分析等。
醫療業:通過大數據可以輔助分析疫情信息,對應做出相應的防控措施。對人體健康的趨勢分析在電子病歷、醫學研發和臨床試驗中,可提高診斷准確性和葯物有效性等。
製造業:該行業對大數據的需求主要體現在產品研發與設計、供應鏈管理、生產、售後服務等。通過數據分析,在產品研發過程中免除掉一些不必要的步驟,並且及時改善產品的製造與組裝的流程。
G. 大數據工程師就業現狀和前景如何
【導讀】隨著大數據的普及商用化,很多人說大數據工程師會在35歲失業,那麼是真是假呢?今天我們就來對現行的大數據工程師就業現狀和前景做個簡單分析,希望對大家有所幫助。
從現在的市場環境情況看,大數據工程師不會失業,並且沒有減少反而越來越多了,因為使用大數據的公司越來越多。提問者擔心的是搭建大數據平台的工作都沒了,大數據工程師還干什麼?其實現實中大數據工程師並不是在搭建平台這個殼,而是在搭建平台上的數據內容。
早期的大數據工程師
可能在提問者的意識里認為大數據工程師熟練掌握各種分布式系統原理,順手就寫一個maprece程序來計算,精通使用hadoop,spark,flink,kafka各種架構原理,然後在集群遇到問題迅速調參數進行修復。能用大數據生態的各種組件組建起來搭建各種data
pipeline的方式實現大數據平台。這種確實是在還沒有商業數據平台的時候大數據工程師的日常工作。總結主要工作:
維護hadoop等分布式平台,特別是在遇到系統高峰時能穩定系統完成數據加工需要比較深的分布式系統設計原理
根據業務發展使用大數據生態的各種組件組建起來搭建各種data pipeline,從數據採集,同步到加工(即所謂的ETL工作)
搭建分析師、運營和產品經理等大數據查詢和提數平台
搭建大數據報表展現系統
在商業大數據平台上工作的大數據工程師
但是大數據商業平台出來後,和雲上的組件打通後形成了閉環(特別是阿里雲上的RDS可以直接導入數據到MaxComputer中),比如原來至少需要一個調度平台(haoop時代)來調度數據引擎上的腳本,以完成數據從業務庫同步到大數據平台,再調度完成後面的各種計算任務。這在以前至少需要一個調度平台,大數據平台,數據同步系統。但是現在全部都集成在一起來,且分布式系統放在雲上會形成了資源彈性網路,避免了因數據的峰值而造成的高難度維護工作也基本不需要了。其他的查詢、取數和展現系統雲上也都齊全,直接用就行。
從上面可以看出原來的大數據工程師的工作,基本上被簡化只剩下了數據加工部分了。
加工數據一開始的時候都是需要寫maprece程序,並且需要很了解hadoop系統,防止寫出爛程序,導致出現數據傾斜,沒加取數范圍限制等問題,導致一個任務堵塞整個集群。這個階段確實需要專業的工程師來干,但是後來出現了hive,直接降級成了業務同學也能用的SQL。而且商業大數據平台會做大數據平台執行引擎,對爛腳本的優化做了很多,防止很絕大部分的問題,更不會出現上面的問題了。實際上現在大部分的數據工程師90%的時間都在用SQL。是真的不怎麼需要了解底層原理。
這也說明大數據工程師的范圍縮減了很多,基本只剩下了設計數據模型做基礎的數據加工。這部分難度也不再是腳本的編寫,而是數據模型的架構質量,這時候要求的是對業務的熟悉程度和數據模型的知識。所以漸漸的大數據工程師開始兼並了一些數據分析師的工作,來設計各種業務指標。甚至有時候運營需要的指標體系都是大數據工程師直接出的了。但是反過來數據分析不能做數據工程師的工作,因為有數據建模技術壁壘和復雜數據加工技術壁壘。
結論
當一個職位的難度系數下降後,它就會橫向發展兼並上下游的職位的工作,最終那個難度系統最大的職位會留下,其他的出局。
所以從上面的論述,我認為普通的大數據工程師崗位不會減少,並且以後可能會兼並了數據分析師,但是長期可能會被演算法工程師給兼並。原來掌握分布式系統開發的工程師規模縮減,並單獨出來形成分布式系統工程師,在那些做商用大數據平台公司中繼續開發。
以上就是小編今天給大家整理發布的關於大數據工程師就業現狀和前景的相關內容,希望對大家有所幫助。
H. 如何成為一名大數據工程師
大數據是眼下非常時髦的技術名詞,與此同時自然也催生出了一些與大數據處理相關的職業,通過對數據的挖掘分析來影響企業的商業決策。
這群人在國外被叫做數據科學家(Data Scientist),這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出,他們後來分別成為了領英(LinkedIn)和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。
不過在國內,大數據的應用才剛剛萌芽,人才市場還不那麼成熟,「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板,招聘能和現有團隊互補的人才。」領英(LinkedIn)中國商務分析及戰略總監王昱堯對《第一財經周刊》說。
數據工程師是做什麼的?於是每家公司對大數據工作的要求不盡相同:有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此,很多公司會針對自己的業務類型和團隊分工,給這群與大數據打交道的人一些新的頭銜和定義:數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title,我們將其統稱為「大數據工程師」。
由於國內的大數據工作還處在一個有待開發的階段,因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架,包括要有計算機編碼能力、數學及統計學相關背景,當然如果能對一些特定領域或行業有比較深入的了解,對於其快速判斷並抓准關鍵因素則更有幫助。
雖然對於一些大公司來說,擁有碩博學歷的公司人是比較好的選擇,不過阿里巴巴集團研究員薛貴榮強調,學歷並不是最主要的因素,能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。
除此之外,一個優秀的大數據工程師要具備一定的邏輯分析能力,並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的,哪個是重要的,使用什麼樣的數據是最有價值的,如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目,並在短時間內成為這個領域的數據專家;溝通能力則能讓他們的工作開展地更順利,因為大數據工程師的工作主要分為兩種方式:由市場部驅動和由數據分析部門驅動,前者需要常常向產品經理了解開發需求,後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向,因為根據萬寶瑞華管理合夥人顏莉萍(Nicole Yan)的觀察,這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域,有超過56%的企業在籌備發展大數據研究,「未來5年,94%的公司都會需要數據科學家。」顏莉萍(Nicole Yan)說。因此她也建議一些原本從事與數據工作相關的公司人可以考慮轉型。
用阿里巴巴集團研究員薛貴榮的話來說,大數據工程師就是一群「玩數據」的人,玩出數據的商業價值,讓數據變成生產力。大數據和傳統數據的最大區別在於,它是在線的、實時的,規模海量且形式不規整,無章法可循,因此「會玩」這些數據的人就很重要。
沈志勇認為如果把大數據想像成一座不停累積的礦山,那麼大數據工程師的工作就是,「第一步,定位並抽取信息所在的數據集,相當於探礦和采礦。第二步,把它變成直接可以做判斷的信息,相當於冶煉。最後是應用,把數據可視化等。」
因此分析歷史、預測未來、優化選擇,這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。
1.找出過去事件的特徵
大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特徵。比如,騰訊的數據團隊正在搭建一個數據倉庫,把公司所有網路平台上數量龐大、不規整的數據信息進行梳理,總結出可供查詢的特徵,來支持公司各類業務對數據的需求,包括廣告投放、游戲開發、社交網路等。
找出過去事件的特徵,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡,就能夠了解這個人,並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好,是不是互聯網付費用戶、喜歡玩什麼類型的游戲,平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面,就可以針對各類人群推薦相關服務,比如手游,或是基於不同特徵和需求衍生出新的業務模式,比如微信的電影票業務。
2.預測未來可能發生的事情
通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上,工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系,找到與之相關的品類,提前警示賣家周轉庫存。」薛貴榮說。
在網路,沈志勇支持「網路預測」部分產品的模型研發,試圖用大數據為更廣泛的人群服務。已經上線的包括世界盃預測、高考預測、景點預測等。以網路景點預測為例,大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測,並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里,它究竟是暢通、擁擠,還是一般擁擠?
3.找出最優化的結果
根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。
以騰訊來說,鄭立峰認為能反映大數據工程師工作的最簡單直接的例子就是選項測試(AB Test),即幫助產品經理在A、B兩個備選方案中做出選擇。在過去,決策者只能依據經驗進行判斷,但如今大數據工程師可以通過大范圍地實時測試—比如,在社交網路產品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統計一段時間內的點擊率和轉化率,以此幫助市場部做出最終選擇。
作為電商的阿里巴巴,則希望通過大數據鎖定精準的人群,幫助賣家做更好的營銷。「我們更期待的是你能找到這樣一批人,比起現有的用戶,這些人對產品更感興趣。」薛貴榮說。一個淘寶的實例是,某人參賣家原來推廣的目標人群是產婦,但工程師通過挖掘數據之間的關聯性後發現,針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
1.數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說,對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為,缺乏理論背景的數據工作者,更容易進入一個技能上的危險區域(Danger Zone)—一堆數字,按照不同的數據模型和演算法總能捯飭出一些結果來,但如果你不知道那代表什麼,就並不是真正有意義的結果,並且那樣的結果還容易誤導你。「只有具備一定的理論知識,才能理解模型、復用模型甚至創新模型,來解決實際問題。」沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。「因為許多數據的價值來自於挖掘的過程,你必須親自動手才能發現金子的價值。」鄭立峰說。
舉例來說,現在人們在社交網路上所產生的許多記錄都是非結構化的數據,如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中,大數據工程師的職責以商業分析為主,但也要熟悉計算機處理大數據的方式。
3.對特定應用領域或行業的知識
在顏莉萍(Nicole Yan)看來,大數據工程師這個角色很重要的一點是,不能脫離市場,因為大數據只有和特定領域的應用結合起來才能產生價值。所以,在某個或多個垂直行業的經歷能為應聘者積累對行業的認知,對於之後成為大數據工程師有很大幫助,因此這也是應聘這個崗位時較有說服力的加分項。
「他不能只是懂得數據,還要有商業頭腦,不論對零售、醫葯、游戲還是旅遊等行業,能就其中某些領域有一定的理解,最好還是與公司的業務方向一致的,」就此薛貴榮還打了個比方,「過去我們說一些奢侈品店員勢利,看人一眼就知道買得起買不起,但這群人恰恰是有敏銳度的,我們認為他們是這個行業的專家。又比如對醫療行業了解的人,他在考慮醫療保險業務時,不僅會和人們醫院看病的記錄相關,也會考慮飲食數據,這些都是基於對該領域的了解。」
職業發展1.如何成為大數據工程師
由於目前大數據人才匱乏,對於公司來說,很難招聘到合適的人才—既要有高學歷,同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月,阿里巴巴舉辦了一個大數據競賽,把天貓平台上的數據拿出來,去除敏感問題後,放到雲計算平台上交予7000多支隊伍進行比賽,比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工,同時也發現外部人才,讓各行業的大數據工程師涌現出來。」
顏莉萍(Nicole Yan)建議,目前長期從事資料庫管理、挖掘、編程工作的人,包括傳統的量化分析師、Hadoop方面的工程師,以及任何在工作中需要通過數據來進行判斷決策的管理者,比如某些領域的運營經理等,都可以嘗試該職位,而各個領域的達人只要學會運用數據,也可以成為大數據工程師。
2.薪酬待遇
作為IT類職業中的「大熊貓」,大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍(Nicole Yan)的觀察,國內IT、通訊、行業招聘中,有10%都是和大數據相關的,且比例還在上升。顏莉萍(Nicole Yan)表示,「大數據時代的到來很突然,在國內發展勢頭激進,而人才卻非常有限,現在完全是供不應求的狀況。」在美國,大數據工程師平均每年薪酬高達17.5萬美元,而據了解,在國內頂尖互聯網類公司,同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%,且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少,因此大多數公司的數據部門一般都是扁平化的層級模式,大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊,而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。「這個職位的大部分人會往研究方向發展,成為重要數據戰略人才。」顏莉萍(Nicole Yan)說。另一方面,大數據工程師對商業和產品的理解,並不亞於業務部門員工,因此也可轉向產品部或市場部,乃至上升為公司的高級管理層。
I. 分析如何成為一名大數據開發工程師
1、認識大數據
大數據開發工程師,首先你得熟悉關系型資料庫,比如Oracle或者MySQL,熟悉之專後,有利於數據倉庫的開發屬;再次熟悉Hadoop,這個都是現在大數據領域中用的最多的一個技術,它的HDFS可以實現分布式存儲,Yarn是一個優秀的資源調度框架
2、大數據所需技能要求
必須掌握的技能:
Java高級(虛擬機、並發)、Linux 基本操作、Hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)
J. 如何建設互聯網金融的大數據技術
這個問題就比較大了。不是一個技術人員能回答出來的,需要站在戰略管理的角回度去分析答了。管理在前,技術在後。互聯網金融方面,掌握的數據並不是一個小數目。那麼龐大的數據是存在很大的價值的。通過大數據技術,把那麼多的數據導入資料庫,進行分析和挖掘,得出最優價值的數據。檸檬學院大數據。