qq_40337206的博客

Apache Spark ML MLlib是Spark的机器学习（ML）库。其目标是使实用的机器学习可扩展且简单。从较高的层面来说，它提供了以下工具： ML算法：常见的学习算法，如分类，回归，聚类和协同过滤 特征化：特征提取，转换，降维和选择 管道：用于构建，评估和调整ML管道的工具 持久性：保存和加载算法，模型和管道 实用程序：线性代数，统计，数据处理等。 线性回归 在统计学中，线性回归(Lin...

Spark PCA 在机器学习或者数据挖掘中,得到的数据往往维度过高，含有噪音，需要把多指标转化为少数几个综合指标的数据。pca是机器学习框架中常用的一个功能，spark机器模块也实现了这一功能。 PCA主要的几个方法 设置输入项的字段 def setInputCol(value: String): this.type = set(inputCol, value) 设置输出项的字段 def s...