快捷導(dǎo)航

Pyspark 線性回歸梯度下降交叉驗(yàn)證知識(shí)點(diǎn)詳解

更新時(shí)間：2021年12月19日 10:05:20 作者：javaroad

在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于Pyspark 線性回歸梯度下降交叉驗(yàn)證的相關(guān)知識(shí)點(diǎn)及實(shí)例，需要的朋友們可以參考下。

我正在嘗試在 pyspark 中的 SGD 模型上執(zhí)行交叉驗(yàn)證，我正在使用pyspark.mllib.regression，ParamGridBuilder和CrossValidator都來(lái)自pyspark.ml.tuning庫(kù)的LinearRegressionWithSGD。

在 Spark 網(wǎng)站上跟蹤文件資料之后，我希望運(yùn)行此方法可以正常工作

資料參考：https://spark.apache.org/docs/2.1.0/ml-tuning.html

lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])

paramGrid = ParamGridBuilder()\
    .addGrid(lr.stepSize, Array(0.1, 0.01))\
    .build()

crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
                         evaluator=RegressionEvaluator(),
                         numFolds=10)

但是LinearRegressionWithSGD()沒(méi)有屬性stepSize(也沒(méi)有運(yùn)氣嘗試過(guò)其他人)。

我可以將 lr 設(shè)置為L(zhǎng)inearRegression，但是我無(wú)法在模型中使用 SGD 并進(jìn)行交叉驗(yàn)證。

斯卡拉中有kFold方法，但我不確定如何從 pyspark 訪問(wèn)該方法

解決方案

您可以使用LinearRegressionWithSGD中的step參數(shù)來(lái)定義步長(zhǎng)，但由于您正在混合不兼容的庫(kù)，因此這將使代碼無(wú)法正常工作。不幸的是，我不知道如何使用SGD優(yōu)化對(duì)ml庫(kù)進(jìn)行交叉驗(yàn)證，我想知道自己，但是您正在混合使用pyspark.ml和pyspark.mllib庫(kù)。具體來(lái)說(shuō)，您不能將LinearRegressionWithSGD與pyspark.ml庫(kù)一起使用。您必須使用pyspark.ml.regression.LinearRegression。

好消息是您可以將pyspark.ml.regression.LinearRegression的setsolver屬性設(shè)置為使用'gd'。因此，您可能可以將'gd'優(yōu)化器的參數(shù)設(shè)置為以SGD運(yùn)行，但是我不確定求解器文檔在哪里或如何設(shè)置求解器屬性（例如批大小）。該api顯示了調(diào)用Param（）的LinearRegression對(duì)象，但是我不確定它是否使用pyspark.mllib優(yōu)化器。如果有人知道如何設(shè)置求解器屬性，則可以通過(guò)允許您將Pipeline，ParamGridBuilder和CrossValidation ml軟件包用于LinearRegression進(jìn)行模型選擇，并利用SGD優(yōu)化進(jìn)行參數(shù)調(diào)整來(lái)回答您的問(wèn)題。

到此這篇關(guān)于Pyspark 線性回歸梯度下降交叉驗(yàn)證知識(shí)點(diǎn)詳解的文章就介紹到這了,更多相關(guān)Pyspark 線性回歸梯度下降交叉驗(yàn)證內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: