市面上有一些初学者的误解，他们拿spark和hadoop比较时就会说，Spark是内存计算，内存计算是spark的特性。请问在计算机领域，mysql,redis,ssh框架等等他们不是内存计算吗?依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供cpu进行执行？所有说sprk的特点是内存计算相当于什么都没有说。那么spark的真正特点是什么?抛开spark的执行模型的方式，它的特点无非就是多个任务之间数据通信不需要借助硬盘而是通过内存，大大提高了程序的执行效率。而hadoop由于本身的模型特点，多个任务之间数据通信是必须借助硬盘落地的。那么spark的特点就是数据交互不会走硬盘。只能说多个任务的数据交互不走硬盘，但是sprk的shuffle过程和hadoop一样仍然必须走硬盘的。
本文是翻译的出处 https://0x0fff.com/spark-misconceptions/。
原文和作者一起讨论:http://www.cnblogs.com/intsmaze/p/7197420.html
微信：intsmaze
误解一：Spark是一种内存技术
大家对Spark最大的误解就是spark一种内存技术。其实没有一个Spark开发者正式说明这个，这是对Spark计算过程的误解。Spark是内存计算没有错误，但是这并不是它的特性，只是很多专家在介绍spark的特性时，简化后就成了spark是内存计算。
什么样是内存技术？就是允许你将数据持久化在RAM中并有效处理的技术。然而Spark并不具备将数据数据存储在RAM的选项，虽然我们都知道可以将数据存储在HDFS, HBase等系统中，但是不管是将数据存储在磁盘还是内存，都没有内置的持久化代码。它所能做的事就是缓存数据，而这个并不是数据持久化。已经缓存的数据可以很容易地被删除，并且在后期需要时重新计算。
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式