Skip to content

java-big-data.md

Latest commit

History

History
65 lines (35 loc) · 3.89 KB

java-big-data.md

File metadata and controls

65 lines (35 loc) · 3.89 KB
Raw

先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。

我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我

所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。

主要纠结点如下：

  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；

不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。

先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：

SHEIN

很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。

SHEIN Big Data

SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！

一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。

Alibaba

Alibaba Big Data

说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：

“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。

实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。

如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。

总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:

  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......

所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。

正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：

  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......

另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i'); if (__m === '*' || __re.test(location.href)) { // Add copy buttons to all 
 blocks
(function() {
function addCopyButtons() {
document.querySelectorAll('pre code').forEach(function(codeBlock) {
if (codeBlock.parentElement.hasAttribute('data-copy-added')) return;
codeBlock.parentElement.setAttribute('data-copy-added', 'true');
var btn = document.createElement('button');
btn.textContent = 'Copy';
btn.style.cssText = 'position:absolute;top:4px;right:4px;padding:2px 8px;font-size:11px;background:#4ecdc4;border:none;border-radius:4px;color:#1a1a2e;cursor:pointer;opacity:0.7;transition:opacity 0.2s;';
btn.onmouseover = function() { this.style.opacity = '1'; };
btn.onmouseout = function() { this.style.opacity = '0.7'; };
btn.onclick = function() {
navigator.clipboard.writeText(codeBlock.textContent).then(function() {
btn.textContent = 'Copied!';
setTimeout(function() { btn.textContent = 'Copy'; }, 1500);
});
};
codeBlock.parentElement.style.position = 'relative';
codeBlock.parentElement.appendChild(btn);
});
}
addCopyButtons();
// Re-run on dynamic content
var observer = new MutationObserver(addCopyButtons);
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Add Copy Buttons to Code Blocks]', __e); }
})();
(function(){
try {
var __m = "github.com";
var __re = new RegExp('^' + "github\\.com" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Force GitHub README to respect dark mode
(function() {
var style = document.createElement('style');
style.textContent = '
.markdown-body {
color-scheme: dark light;
}
.markdown-body pre { background: #161b22 !important; }
.markdown-body code { background: rgba(110, 118, 129, 0.4) !important; }
.markdown-body table th, .markdown-body table td { border-color: #30363d !important; }
.markdown-body img { background: #0d1117; }
.markdown-body blockquote { border-left-color: #8b949e; }
.markdown-body hr { border-color: #30363d; }
';
document.head.appendChild(style);
})();
}
} catch(__e) { console.warn('[Userscript:GitHub Dark Mode README Fix]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Highlight search terms from Google/DuckDuckGo/Bing referrer
(function() {
var ref = document.referrer;
var terms = [];
if (ref.includes('google.com') || ref.includes('duckduckgo.com') || ref.includes('bing.com')) {
var url = new URL(ref);
var q = url.searchParams.get('q') || url.searchParams.get('p');
if (q) {
terms = q.split(/\s+/).filter(function(t) { return t.length > 2; });
}
}
if (terms.length === 0) return;
var style = document.createElement('style');
style.textContent = '.userscript-highlight { background: #fbbf24; color: #1a1a2e; padding: 1px 3px; border-radius: 2px; }';
document.head.appendChild(style);
function highlight(node) {
if (node.nodeType === 3) { // text node
var text = node.textContent;
var found = false;
terms.forEach(function(term) {
var regex = new RegExp('(' + term.replace(/[.*+?^${}()|[\]\\]/g, '\\') + ')', 'gi');
if (regex.test(text)) {
found = true;
var frag = document.createDocumentFragment();
var parts = text.split(regex);
parts.forEach(function(part, i) {
if (i % 2 === 0) {
frag.appendChild(document.createTextNode(part));
} else {
var span = document.createElement('span');
span.className = 'userscript-highlight';
span.textContent = part;
frag.appendChild(span);
}
});
node.parentNode.replaceChild(frag, node);
}
});
} else if (node.nodeType === 1 && node.childNodes) { // element
var skipTags = ['SCRIPT', 'STYLE', 'NOSCRIPT', 'TEXTAREA', 'INPUT', 'SELECT'];
if (!skipTags.includes(node.tagName)) {
Array.from(node.childNodes).forEach(highlight);
}
}
}
highlight(document.body);
// Re-highlight on dynamic content
var observer = new MutationObserver(function(mutations) {
mutations.forEach(function(m) {
m.addedNodes.forEach(function(node) {
if (node.nodeType === 1 || node.nodeType === 3) highlight(node);
});
});
});
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Highlight Search Terms]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Strip utm_, fbclid, gclid, etc. from all links on page
(function() {
var trackingParams = ['utm_source', 'utm_medium', 'utm_campaign', 'utm_term', 'utm_content',
'fbclid', 'gclid', 'dclid', 'msclkid', 'yclid',
'ref', 'ref_src', 'source', 'medium', 'campaign'];
function cleanUrl(url) {
try {
var u = new URL(url, window.location.origin);
var changed = false;
trackingParams.forEach(function(p) {
if (u.searchParams.has(p)) {
u.searchParams.delete(p);
changed = true;
}
});
return changed ? u.toString() : url;
} catch (e) {
return url;
}
}
function cleanLinks() {
document.querySelectorAll('a[href]').forEach(function(a) {
var clean = cleanUrl(a.href);
if (clean !== a.href) a.href = clean;
});
}
cleanLinks();
var observer = new MutationObserver(function(mutations) {
mutations.forEach(function(m) {
m.addedNodes.forEach(function(node) {
if (node.nodeType === 1) {
if (node.tagName === 'A') cleanLinks();
node.querySelectorAll('a[href]').forEach(function(a) {
var clean = cleanUrl(a.href);
if (clean !== a.href) a.href = clean;
});
}
});
});
});
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:Remove Tracking Parameters from Links]', __e); }
})();
(function(){
try {
var __m = "youtube.com";
var __re = new RegExp('^' + "youtube\\.com" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Auto-enable theater mode on YouTube
(function() {
function tryTheater() {
var btn = document.querySelector('button[aria-label="Theater mode"], ytd-player #player button[title="Theater mode"]');
if (btn && !btn.classList.contains('activated')) {
btn.click();
}
}
// Try immediately
tryTheater();
// Try after navigation (SPA)
var lastUrl = location.href;
setInterval(function() {
if (location.href !== lastUrl) {
lastUrl = location.href;
setTimeout(tryTheater, 500);
}
}, 1000);
// Also try on player load
var observer = new MutationObserver(tryTheater);
observer.observe(document.body, { childList: true, subtree: true });
})();
}
} catch(__e) { console.warn('[Userscript:YouTube Theater Mode Default]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Remove or un-stick sticky/fixed headers that block content
(function() {
function unstick() {
document.querySelectorAll('header, nav, [role="banner"], .header, .navbar, .sticky, .fixed-top, [style*="position: fixed"], [style*="position:sticky"]').forEach(function(el) {
if (el.style.position === 'fixed' || el.style.position === 'sticky' || getComputedStyle(el).position === 'fixed' || getComputedStyle(el).position === 'sticky') {
el.style.position = 'static';
el.style.top = 'auto';
el.style.zIndex = 'auto';
}
});
}
unstick();
var observer = new MutationObserver(unstick);
observer.observe(document.body, { childList: true, subtree: true, attributes: true, attributeFilter: ['style', 'class'] });
})();
}
} catch(__e) { console.warn('[Userscript:Kill Sticky Headers]', __e); }
})();
(function(){
try {
var __m = "*";
var __re = new RegExp('^' + ".*" + '
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。

, 'i');
if (__m === '*' || __re.test(location.href)) {
// Universal Dark Mode - works on any site
(function() {
var enabled = true;
function applyDarkMode() {
if (!enabled) return;
// Create style element if it doesn't exist
var style = document.getElementById('universal-dark-mode-style');
if (!style) {
style = document.createElement('style');
style.id = 'universal-dark-mode-style';
document.head.appendChild(style);
}
// Dark mode CSS - inverts colors but preserves images/video
style.textContent = '
/* Invert everything except media */
html {
filter: invert(1) hue-rotate(180deg) !important;
background: #1a1a2e !important;
}
/* Restore images, videos, iframes, canvas */
img, video, iframe, canvas, svg, picture, [style*="background-image"] {
filter: invert(1) hue-rotate(180deg) !important;
}
/* Preserve specific elements that should not be inverted */
.no-dark-mode, .no-dark-mode *,
[data-theme="light"], [data-theme="light"],
.ace_editor, .ace_editor *,
.CodeMirror, .CodeMirror *,
.monaco-editor, .monaco-editor *,
.markdown-body pre, .markdown-body pre *,
.highlight, .highlight *,
pre code, pre code * {
filter: none !important;
}
/* Fix common UI elements */
.modal, .popup, .dropdown-menu, .tooltip, .popover {
filter: invert(1) hue-rotate(180deg) !important;
background: #2d2d44 !important;
border-color: #444 !important;
}
/* Scrollbars */
::-webkit-scrollbar { background: #1a1a2e !important; }
::-webkit-scrollbar-thumb { background: #444 !important; }
::-webkit-scrollbar-thumb:hover { background: #555 !important; }
/* Selection */
::selection { background: #4ecdc4 !important; color: #1a1a2e !important; }
::-moz-selection { background: #4ecdc4 !important; color: #1a1a2e !important; }
';
}
function removeDarkMode() {
var style = document.getElementById('universal-dark-mode-style');
if (style) style.remove();
}
// Toggle with Alt+Shift+D
document.addEventListener('keydown', function(e) {
if (e.altKey && e.shiftKey && e.key === 'D') {
e.preventDefault();
enabled = !enabled;
if (enabled) {
applyDarkMode();
console.log('[Universal Dark Mode] Enabled');
} else {
removeDarkMode();
console.log('[Universal Dark Mode] Disabled');
}
}
});
// Apply on load
applyDarkMode();
// Re-apply on dynamic content
var observer = new MutationObserver(function(mutations) {
if (enabled && !document.getElementById('universal-dark-mode-style')) {
applyDarkMode();
}
});
observer.observe(document.head, { childList: true });
console.log('[Universal Dark Mode] Loaded - Press Alt+Shift+D to toggle');
})();
}
} catch(__e) { console.warn('[Userscript:Universal Dark Mode]', __e); }
})();
})();
JavaGuide/docs/questions/java-big-data.md at master · NotCoderJack/JavaGuide · GitHub
Skip to content
java-big-data.md
Latest commit
History
History
65 lines (35 loc) · 3.89 KB
java-big-data.md
File metadata and controls
65 lines (35 loc) · 3.89 KB
Raw
先说一下自己的经历，大学的时候我从大二开始学习 Java ，然后学了大半年多的安卓。之后就开始学习 Java 后台，学习完 Java 后台一些常用的知识比如 Java基础、Spring、MyBatis等等之后。因为感觉大数据领域发展也挺不错的，所以就接触了一些大数据方面的知识比如当时大数据领域的霸主 Hadoop 。
我当时学习了很多比较古老的技术比如现在基本不会用的 JSP、Struts2等等。另外，我
所以，我当时在找工作之间也纠结过自己到底是投大数据岗位还是Java后台开发岗位。
主要纠结点如下：
  1. 薪资： 大数据当时的薪资水平高于 Java 后台开发很多；
  2. 前景： 我个人感觉大数据岗位的发展前景很好；
  3. 个人偏见： 感觉大数据开发比 Java后台开发听着高大上点（哈哈，当时的我就是这么真实）；
不过在我分析了大部分公司的大数据岗位的要求以及自身的优势（Java后台开发的实际经验）之后还是义无反顾的只投递 Java 后台开发岗位。
先来看一下几家典型的互联网公司对大数据工程师的要求（我找的都是允许应届毕业生投递的岗位）：
SHEIN
很多人可以不了解这家低调的公司，主要原因是因为 SHEIN目前的主要业务是出口跨境电商，用户基本集中在海外。SHEIN 这些年的发展非常不错，总的来说是一家值得去的公司。
SHEIN Big Data
SHEIN 的大数据岗位的要求写的还是比较有代代表性的！但是我觉得加上：有扎实的Java基础、熟悉多线程与JVM相关原理 这一条可能会更好！
一家公司可能并不具有代表性，我们再来找一家公司的大数据岗位看看。
Alibaba
Alibaba Big Data
说明一下，阿里巴巴大的大数据开发岗位的描述其实挺友好的比如这样描述：
“如果你有参与过数据处理、分析、挖掘等相关项目更好”、“如果你对Hadoop、Hive、Hbase等分布式平台有一定的理解更好”。
实际是这样吗？nonono!我信你个鬼，你个糟老头子坏的很！毕竟这么多人竞争这一个岗位，不会像描述的这么简单。
如果你对 HDFS、HBase、Hadoop 甚至是 Elasticsearch这些不了解的话，还是会很难入场。
总结一下（偏大厂）大数据岗位的对于应届生的基本要求（社招的其实也差不多，对于经验要求会更高）:
  1. 算法和数据结构是最基本的（比如手写快排、手撕红黑树）。
  2. 有扎实的Java基础、熟悉多线程与JVM相关原理。
  3. 熟练使用 Linux ，熟悉一门脚本语言 shell 或者 Python
  4. 熟悉Hadoop架构和工作原理、MapReduce编程、HDFS；熟悉Hive,最好有HQL优化经验；
  5. 熟练掌握 Spark 及 Spark Streaming开发，有实际项目研发经验更佳；
  6. 熟悉 Elasticsearch、Kafka等技术会是加分项；
  7. ......
所以，总的来说不论是对于 Java 后台开发还是大数据开发都会要求你的数据结构和算法 Java 基础、多线程、jvm 底层这些掌握的要很好。 很多人 Java 后台的人转大数据开发很快的原因也是在这里。
正常一点的大数据面试还是比较有难度的，比如如果你写了你会 Spark 的话，他就会问题你：
  1. 什么场景下用的Spark ？解决了什么问题？
  2. Spark 执行机制了解吗？
  3. Spark 内存模型了解吗？
  4. ......
另外，如果你的简历上写了你会 Spring 这些东西的话，面试官应该也会一并提问。可以看出现在的大数据岗位没有强制性要求你有 web 开发经验,在我那一年的时候，大部分大数据开发岗位都要求你还要有 web 开发经验。