㈠ java開發web項目，python做一些大數據的開發，請問怎麼架構項目

web作為對外的介面服務，
web的後台中如果需要大數據處理，那麼調用python的服務，也就是python作為服務為java後台方法的一部分。
整個系統服務化，對外提供統一的服務訪問地址。

㈡ java轉行大數據要學習哪些技術

對於Java程序員，大數據的主流平台hadoop是基於Java開發的，所以Java程序員往大數據開發方向轉行從語言環境上更為順暢，另外很多基於大數據的應用框架也是Java的，所以在很多大數據項目里掌握Java語言是有一定優勢的。
當然，hadoop核心價值在於提供了分布式文件系統和分布式計算引擎，對於大部分公司而言，並不需要對這個引擎進行修改。這時候除了熟悉編程，你通常還需要學習數據處理和數據挖掘的一些知識。尤其是往數據挖掘工程師方向發展，則你需要掌握更多的演算法相關的知識。
對於數據挖掘工程師而言，雖然也需要掌握編程工具，但大部分情況下是把hadoop當做平台和工具，藉助這個平台和工具提供的介面使用各種腳本語言進行數據處理和數據挖掘。因此，如果你是往數據挖掘工程方向發展，那麼，熟練掌握分布式編程語言如scala、spark-mllib等可能更為重要。
Java程序員轉大數據工程師的學習路線圖：
第一步：分布式計算框架
掌握hadoop和spark分布式計算框架，了解文件系統、消息隊列和Nosql資料庫，學習相關組件如hadoop、MR、spark、hive、hbase、redies、kafka等；
第二步：演算法和工具
學習了解各種數據挖掘演算法，如分類、聚類、關聯規則、回歸、決策樹、神經網路等，熟練掌握一門數據挖掘編程工具：Python或者Scala。目前主流平台和框架已經提供了演算法庫，如hadoop上的Mahout和spark上的Mllib，你也可以從學習這些介面和腳本語言開始學習這些演算法。
第三步：數學
補充數學知識：高數、概率論和線代
第四步：項目實踐
1)開源項目：tensorflow：Google的開源庫，已經有40000多個star，非常驚人，支持移動設備；
2)參加數據競賽
3)通過企業實習獲取項目經驗
如果你僅僅是做大數據開發和運維，則可以跳過第二步和第三步，如果你是側重於應用已有演算法進行數據挖掘，那麼第三步也可以先跳過。

㈢ java資深大數據研發/架構師是做什麼的

記得有人說過一句話，大體意思是：現在計算機技術發展那麼迅速，日新月異，那些學計算機技術的人，要不斷學習才能不被淘汰，那些人的腦子是不是壞掉了，幹嘛要讓自己活的這么累？表示不解。不想時隔幾年，我也進入了這個飛速發展的IT行業。大概是隨著時間的推移，個人價值觀也隨之改變了吧！
初入這個行業的Java程序員是迷茫的，處在金字塔的最底端，拿可憐的薪水，無休止的加班，被「高薪」和「碼農」的代名詞交替映射著，亦步亦趨的行進著，什麼職業規劃都是飄渺的空虛的，月光族都是向錢看的。直到無意看到一篇針對Java程序員的文章，感覺收獲頗豐。似乎有一種撥開雲霧見月明的感覺
一、認識現在自己，想要什麼樣的生活
當我們還不能確定自己的職業規劃時，我們可以先確定一個目標，哪怕是以薪資為目標，為了實現這個目標，我們必定會為之奮斗，低薪時，只管低頭學技術，當你成為資深程序員，才可以望向更遠的發展線：專家線和管理線，一個跟機器打交道，一個跟人打交道。
把自己當做一種商品，商品必然存在價值，使用價值和交換價值。說的通俗點即你能給僱主創造多少財富。提高個人能力是一方面，還有一個技巧是選擇更好的細分市場。感觸很深的一點是通過網路提升個人品牌，一方面可以將個人所學知識進行梳理，同時可以鍛煉自己的邏輯能力、語言表達能力，最重要的是可以分享，讓更多的人學習，共同成長。
二、作為程序員，你首先要問自己一個問題：「我真的喜歡編程嗎
我能確定我當程序員不僅是為了養家糊口，而是為了實現自己的人生價值嗎？」 這一點非常重要。如果你的答案是為了養家糊口，那麼很可能你成為不了一個優秀的程序員，而且在這條路上你越走越疲倦；如果你的答案是真心喜歡編程，那也很可能說明不了什麼問題，除非你每天都在主動地學習和進步。
請先忘卻它可能給你帶來的獎勵，而是切實的學習知識，充實自己，獎勵只是你進步途中的副產品。如果你做一件事情前先考慮它有沒有價值，會不會給你帶來收益，那麼你在當時的環境中很難看清楚一件事情對以後有沒有價值。
永遠不要把自己的成長完全寄託給公司，希望新人都能認識到這一點，公司好的項目會很鍛煉人，但是每個人在項目中都只是一顆螺絲釘，只會負責某一個模塊，自己不主動去探索，沒有人會給你介紹整個系統的架構和工作原理。在我的成長過程中，一般有2個習慣，一個是搞清楚整個項目是做什麼的，有哪些模塊，整個系統是如何架構和設計的？另一個習慣是從自己負責的模塊開始發散，找到一個又一個興趣點利用業余時間進行深入地學習。無論做什麼方向，都是可以不斷積累和鍛煉這些能力的，不用太過於關注某個方向有沒有前途，個人綜合能力提高了，切換方向很快的。

㈣ Java架構師還是大數據年齡32，Java框架會用，是往前一步到架構師還是轉行大數據

我之前一直是系統架構師，負責系統架構升級、技術引進、服務化等等，並且是30人研發團隊的負責人。後來公司對大數據部門做整合，我就去負責整個大數據的技術規劃。無論java架構師、還是大數據的架構師，都需要有快速學習的能力，畢竟技術全棧之前差距還是比較大的。還有就是做一個靠譜與值得信賴的人，這樣才能把重要的任務交付給你。

另外，書籍和視頻課程遇見精品就要學習，動力節點的架構師課路線圖不錯，可以作為研究對象，課程怎麼樣就不清楚了，你自己去看看。

㈤ 使用java開發B/S的大數據分析軟體 應該用什麼框架新手勿噴

在大數據處理分析過程中常用的六大工具：
Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
HPCC
HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了逗重大挑戰項目：高性能計算與 通信地的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。
Storm
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。
Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體會近日發起了一項名為逗Drill地的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，逗Drill地已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。
RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

㈥ 用java做互聯網開發，高並發，大數據量，應具備哪些技術系統架構，資料庫方面的，還有那些常用的技術。

memcache緩存系統
proxool資料庫連接池
這兩個用好已經基本解決問題了

㈦ java大數據程序員如何成長：一定要寫自己的框架

從事java大數據程序員的同學發現，很多程序員快速掌握一門語言的方法都是，用別人的框架進行學習，但是框架用的時間久了之後就發現了一個問題：我真的有學習過嗎?我學的內容真的有用嘛，這些框架內的東西能對我今後有幫助嗎?今天專家為大家整理了一名以前無限互聯的同學從事java大數據工程師的成長路程：

㈧ 為啥大部分大數據框架都是 Java based

現在主流的 可以考慮 bbo bbo 阿里支持的
分布式並不是一套框架 ，而是一種實現機制
簡言之，過去一台伺服器處理的東西分配到多台伺服器進行處理
主要涉及到的技術
負載均衡技術
消息一致性技術
PAC原則
分布式事務

㈨ 大數據和Java開發哪個更有前途

兩者關系

java是計算機的一門編程語言；可以用來做很多工作，大數據開發屬於其中一種；

大數據屬於互聯網方向，就像現在建立在大數據基礎上的AI方向一樣，

他兩不是一個同類，但是屬於包含和被包含的關系；

java可以用來做大數據工作，大數據開發或者應用不必要用java，可以Python，Scala，go語言等。

再有就是就業前景

看看職友集的數據，

Java工程師


最後根據自己的需要可以自己選擇適合自己的才是最好的，

㈩ 學習大數據框架前，單就Java而言，需要掌握哪些知識以及掌握到什麼程度

如果只是應用Hadoop/Spark進行數據分析，那麼JavaSE只需要基本了解就行了，重點在於深入理解回Hadoop/Spark各自的計算模型和實現原理答，以及常見的數據分析方法和分布式演算法。實際的分析工作，甚至可以不使用java，使用各自的streaming介面用任意語言編寫。另外，Spark與Hadoop不同，原生語言是Scala。

如果要深入學習兩個框架的實現，閱讀源代碼的話，那肯定就得學習Java/Scala了，建議在掌握基礎之後邊看代碼邊查相應的語言特性。

對初學者，建議還是從應用入手，在使用的過程中，自然地一步步了解實現。