前言

Apache Spark是一个开源集群运算框架，相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。

Spark 在存储器内运行程序的运算速度能做到比 Hadoop MapReduce 的运算速度快上 100 倍，即便是运行程序于硬盘时，Spark 也能快上 10 倍速度。Spark 允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。

双值类型

两个数据源之间的关联操作。

intersection

函数签名

美团图灵机器学习平台在长期的优化实践中，积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术，我们深入到源码层面，介绍了Spark算子的原理并提供了最佳实践。希望为读者带来一些思路上的启发。

接上一期，key-value 类型算子。

foldByKey()

函数签名

def foldByKey(zeroValue: V)(func: (V, V) => V): RDD[(K, V)]

一、概述

Apache Spark 是专为大规模数据处理而设计的快速通用的

行动算子触发作业执行的方法。底层代码调用的环境对象的 runJob 方法。底层代码中会创建 ActiveJob，并提交。与转换算子不同，行动算子直接出结果。而转换算子只是将 RDD 转换成 RDD，并不触发底层的任务执行。以 collect() 算子为例，collect() 源码中包含 runJob() 方法。

filter()

def filter(f: T => Boolean): RDD[T]

函数说明

将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的数据丢弃。当数据进行筛选过滤后，分区不变，但是分区内的数据可能不均衡，生产环境下，可能会出现

【常见问题FAQ】

Q：MitoSox Red 线粒体超氧化物红色荧光探针激发波长是否可以选择396 nm？

A：可以的。虽然该产品在510 nm激发时会显示较强荧光信号，但据发现在396 nm超氧化物产物能被选择性激发且由其它非特异性氧化产物造成的干扰较小，所以激发波长选择396nm是可以的。