SPM 软件介绍

时间：2022-11-03

科学进步

SPM 数据挖掘预测分析软件是由美国 Salford Systems 公司开发的以先进的机器学习算法为核心的预测分析工具。

1. SPM 数据挖掘预测分析软件的主要模块说明：

CART(分类和回归树)是一基于斯坦福大学和加州大学伯克利分校的统计学家 Leo Breiman、Jerome Friedman、Richard Olshen 和 Charles Stone 开发的原 CART 代码的决策树软件。CART 具有高速、精确和* 使用的特点，并自动对数据提供深入的探索研究，产生高度可理解的预测模型。

TreeNet 是新一代高速，错误容忍，并具有**常精确性的预测建模工具。 TreeNet 仅需要较少的数据准备工作，巧妙的处理有缺陷的数据，自动适应缺失领域，并且进行广泛的自检，使得模型应用于新数据时的效果也得到保证。TreeNet 模型经常由 500 或更多的小决策树组成。清晰的图表概括了每个关键变量对于结果的影响。

GPS 算法

广义路径追踪（GPS）算法是对传统线性回归的一次性提升。GPS 是利用机器学习的方法建立数百，甚至上千个候选线性模型，然后自动选择出其中较优的模型。模型效果会比传统线性回归提升很多。这个算法在其它任何主流的数据挖掘产品中都没有提供

Data Binning（变量快速自动化分组）

变量离散化工作对于数据挖掘项目成功至关重要，而这个过程通常需要许多手动处理工作，因此非常耗费时间。智能变量分组能够高度自动化的对变量进行智能化的分组，大幅度减少手动工作，提升建模效率和模型性能。

Quick Impute（变量缺失值自动化填补）

变量的缺失值填补工作一直以来需要大量的手动工作。本功能模块能够利用自动化对变量的缺失值进行快速填补，使得缺失值处理轻而易举，瞬间即可完成之前需要大量手动介入的缺失值填补工作。此模块包含两种缺失值自动化填补方式，**种方式是经典的均值、中位数、众数的填补方式，另外一种更为智能的方式是利用预测模型对缺失值进行个性化的填补。

Logistic Regression（逻辑回归）

提供经典的逻辑回归算法，可以与 TreeNet 结合使用，快速建立高精度的逻辑回归模型。

Regression（线性回归）

经典的较小二乘线性回归模型。结合自动化功能，可*进行单一变量的线性相关性测。结合 TreeNet 模型，可快速开发精确的回归模型。

2. SPM8 的优势和特点：

1. 高精度。虽然已有开源和其它的商业软件根据 Jerome H. Friedman 的论文实现了 GBM 算法，但在算法实现细节上会与 Friedman 的版本存在差异，因此在精度上也会有所差异。TN（TreeNet）是一由 GBM 发明人源代码开发而成，历经 Salford Systems 十几年来的不断迭代优化，使用者*对 GBM 内部算法有深入了解，就能通过简单操作获得高精度的模型。在开源软件中，使用者要对算法细节有非常深入的了解，不断对 GBM 进行调试才可能获得接近 TN 模型的精度。而在 SAS EM 中实现的 GBM 无论在运行速度和精度上都与 TN 存在差距。根据中国建设银行数据分析中心较近的测试结果，在 KDD2009 比赛公开数据集上，如果对所有 15000 个变量进行建模，SAS EM 的 GBM 会出现崩溃死机的情况，而且将 TN 筛选后的 100 多个变量在 SAS 内运行后得到的模型 AUC 仅为 0.62，而在 TN 中可到达 0.9 左右。

2. 高纬度特征快速筛选。SPM 中的 TreeNet 是目前较快的 GBM 算法。非常适合高纬度快速变量筛选。同时 SPM 中的 GPS 是目前较快速的正则化回归算法，支持广谱正则化路径搜索策略（包含 Ridge, Lasso 以及 Compact），可作为快速衍生特征筛选的重要工具。

3. 友好的用户界面，提供强大的自动化建模。SPM 用户界面设计简洁明了，操作简单，*比较强的专业背景就可以轻松使用。SPM 中的 AUTOMATE 自动化建模技术可轻松完成两大核心功能：自动化模型优化以及机器学习模型的置信度检验。

4. 热点追踪。非常适合于信用风险和反欺诈场景。通过 CART 调整 PRIOR 设置来进行热点追踪，大范围搜索各种可能的规则集，快速识别关注人群的特征，对传统逻辑回归模型可产生有效补充。

5. 新颖的聚类和异常点分析。CART 巧妙利用监督学习算法进行无监督学习。CART 可给出了解释性很强的规则形式的聚类；利用 CART 中的 AUTOMATE UNSUPERVISED 够找到样本中的异常点，可被用于反欺诈等场景。

6. 快速逻辑回归模型开发。SPM 提供两种快速逻辑回归模型开发方式，大幅度降低手动工作。**种方法是首先通过 TreeNet 进行变量筛选，然后利用 Spline 对原始变量进行快速变形，然后再将变形过后的衍生变量放入逻辑回归就能得到捕捉非线性信号的逻辑回归模型，通常这样的模型比利用手动分组得到的逻辑回归模型更加精确。*二种方法是利用 Data Binning 将变量快速进行自动化分组，然后将分组后的数据集直接导入 GPS，即可得到特征筛选后的逻辑回归模型，可作为逻辑回归模型开发的基准参考模型。

3. SPM 给客户带来的价值

更低的使用门槛

帮助企业应对大数据人力资源问题。熟练掌握 R、Python、SAS 建模编程能力的大数据分析人员国应匮乏，人才成本水涨船高！SPM 高度自动化、智能化的使用方式大幅度降低了建模人员的门槛！*编程，*深厚的建模理论基础和经验，经过较短时间的训练就能建立*级的模型！

更高的大数据分析效率

面对越来越庞大的数据量，以及日益复杂的数据分析任务，建模人员希望能够有高度自动化的分析技术来帮助他们从繁琐低效的手动工作中解放出来

SPM 建模工具的内核算法非常巧妙，能够显著减少建模人员在数据预处理方面的工作量（数据预处理在建模时会占用分析人员几乎 80%以上的时间）

高效快速的分析技术将使得组织具有更快的应变能力

建模人员能够在相同时间内完成更多高质量的建模任务，节约人力成本，并且把更多精力花在商业问题的理解和定义、新数据源的获取、构建衍生新特征以及设计策略等更加有价值的创意性工作上

更精确的模型

识别更多高风险客户，寻找到更多具有的客户

更加精准的进行客户关系维护（比如更加准确的预测即将流失的客户）

SPM 的较佳模型通常比*使用经典统计技术建立的模型性能高 5%到 15%。只要有可能，高性能的模型显然更加有吸引力!SPM 建立的较佳机器学习模型通常能够接近给定数据的极限预测精度，因此可作为 benchmark，对别的模型进行性能对比评测!