Python解析参数的三种方法

如题所述

举报该问题

第1个回答 2024-09-05

今天我们分享的主要目的就是通过在Python中使用命令行和配置文件来提高代码的效率。

我们以机器学习当中的调参过程来进行实践，有三种方式可供选择。第一个选项是使用argparse，它是一个流行的Python模块，专门用于命令行解析；另一种方法是读取JSON文件，我们可以在其中放置所有超参数；第三种也是鲜为人知的方法是使用YAML文件！好奇吗，让我们开始吧！

先决条件

在下面的代码中，我将使用VisualStudioCode，这是一个非常高效的集成Python开发环境。这个工具的美妙之处在于它通过安装扩展支持每种编程语言，集成终端并允许同时处理大量Python脚本和Jupyter笔记本

当然如果你还不知道怎么配置VSCode，可以看这里

手把手将VisualStudioCode变成Python开发神器

数据集，使用的是Kaggle上的共享自行车数据集，可以在这里下载或者在文末获取

https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset

一、使用argparse

就像上图所示，我们有一个标准的结构来组织我们的小项目：

包含我们数据集的名为data的文件夹

train.py文件

用于指定超参数的options.py文件

首先，我们可以创建一个文件train.py，在其中我们有导入数据、在训练数据上训练模型并在测试集上对其进行评估的基本程序：

importpandasaspdimportnumpyasnpfromsklearn.ensembleimportRandomForestRegressorfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerfromsklearn.metricsimportmean_squared_error,mean_absolute_errorfromoptionsimporttrain_optionsdf=pd.read_csv('data\hour.csv')print(df.head())opt=train_options()X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).valuesy=df['cnt'].valuesX_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2)ifopt.normalize==True:scaler=StandardScaler()X=scaler.fit_transform(X)rf=RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)model=rf.fit(X_train,y_train)y_pred=model.predict(X_test)rmse=np.sqrt(mean_squared_error(y_pred,y_test))mae=mean_absolute_error(y_pred,y_test)print("rmse:",rmse)print("mae:",mae)

在代码中，我们还导入了包含在options.py文件中的train_options函数。后一个文件是一个Python文件，我们可以从中更改train.py中考虑的超参数：

importargparsedeftrain_options():parser=argparse.ArgumentParser()parser.add_argument("--normalize",default=True,type=bool,help='maximumdepth')parser.add_argument("--n_estimators",default=100,type=int,help='numberofestimators')parser.add_argument("--max_features",default=6,type=int,help='maximumoffeatures',)parser.add_argument("--max_depth",default=5,type=int,help='maximumdepth')opt=parser.parse_args()returnopt

在这个例子中，我们使用了argparse库，它在解析命令行参数时非常流行。首先，我们初始化解析器，然后，我们可以添加我们想要访问的参数。

这是运行代码的示例：

pythontrain.py

要更改超参数的默认值，有两种方法。第一个选项是在options.py文件中设置不同的默认值。另一种选择是从命令行传递超参数值：

pythontrain.py--n_estimators200

我们需要指定要更改的超参数的名称和相应的值。

pythontrain.py--n_estimators200--max_depth7

二、使用JSON文件

和前面一样，我们可以保持类似的文件结构。在这种情况下，我们将options.py文件替换为JSON文件。换句话说，我们想在JSON文件中指定超参数的值并将它们传递给train.py文件。与argparse库相比，JSON文件可以是一种快速且直观的替代方案，它利用键值对来存储数据。下面我们创建一个options.json文件，其中包含我们稍后需要传递给其他代码的数据。

{"normalize":true,"n_estimators":100,"max_features":6,"max_depth":5}

如上所见，它与Python字典非常相似。但是与字典不同的是，它包含文本/字符串格式的数据。此外，还有一些语法略有不同的常见数据类型。例如，布尔值是false/true，而Python识别False/True。JSON中其他可能的值是数组，它们用方括号表示为Python列表。

在Python中使用JSON数据的美妙之处在于，它可以通过load方法转换成Python字典：

f=open("options.json","rb")parameters=json.load(f)

要访问特定项目，我们只需要在方括号内引用它的键名：

ifparameters["normalize"]==True:scaler=StandardScaler()X=scaler.fit_transform(X)rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)model=rf.fit(X_train,y_train)y_pred=model.predict(X_test)

三、使用YAML文件

最后一种选择是利用YAML的潜力。与JSON文件一样，我们将Python代码中的YAML文件作为字典读取，以访问超参数的值。YAML是一种人类可读的数据表示语言，其中层次结构使用双空格字符表示，而不是像JSON文件中的括号。下面我们展示options.yaml文件将包含的内容：

normalize:Truen_estimators:100max_features:6max_depth:5

在train.py中，我们打开options.yaml文件，该文件将始终使用load方法转换为Python字典，这一次是从yaml库中导入的：

importyamlf=open('options.yaml','rb')parameters=yaml.load(f,Loader=yaml.FullLoader)

和前面一样，我们可以使用字典所需的语法访问超参数的值。

最后的想法

配置文件的编译速度非常快，而argparse则需要为我们要添加的每个参数编写一行代码。

所以我们应该根据自己的不同情况来选择最为合适的方式

例如，如果我们需要为参数添加注释，JSON是不合适的，因为它不允许注释，而YAML和argparse可能非常适合。

好了，这就是今天分享的全部内容，喜欢就点个赞吧~