spark的sample算子

最新推荐文章于 2022-07-22 11:52:31 发布

帮我消消黑眼圈！

最新推荐文章于 2022-07-22 11:52:31 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark 算子 sample

本文链接：https://blog.csdn.net/weixin_42312342/article/details/102984099

sample(withReplacement, fraction, seed)
以指定的随机种子随机抽样出数量为 fraction 的数据，withReplacement 表示是抽出的数据是否放回，true 为有放回的抽样，false 为无放回的抽样，seed 用于指定随机数生成器种子。
例如：从 RDD 中随机且有放回的抽出 50% 的数据，随机种子值为 3（即可能以1 2 3的其中一个起始值）。主要用于观察大数据集的分布情况。

源码：

**
 * Return a sampled subset of this RDD.
 *
 * @param withReplacement can elements be sampled multiple times (replaced when sampled out)
 * @param fraction expected size of the sample as a fraction of this RDD's size
 *  without replacement: probability that each element is chosen; fraction must be [0, 1]
 *  with replacement: expected number of times each element is chosen; fraction must be >= 0
 * @param seed seed for the random number generator
 */
def sample(
    withReplacement: Boolean,
    fraction: Double,
    seed: Long = Utils.random.nextLong): RDD[T] = withScope {
  require(fraction >= 0.0, "Negative fraction value: " + fraction)
  if (withReplacement) {