机器学习项目实战：从数据到模型的完整实现
打开任何Python编辑器，我们先导入基础库：
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
数据预处理的关键步骤
原始数据往往存在缺失值和异常值，处理不当会导致模型效果大幅下降。以经典的房价预测数据集为例：
# 创建新特征：房间总面积
df['total_rooms'] = df['bedrooms'] + df['bathrooms']
对数变换处理长尾分布
df['log_price'] = np.log1p(df['price'])
| 处理步骤 | 代码示例 | 效果提升 |
|---|---|---|
| 缺失值填充 | df.fillna(median_values) | 准确率+12% |
| 特征组合 | df[‘new_feature’] = df[‘A’]/df[‘B’] | RMSE降低0.15 |
模型选择与调参实战
XGBoost和LightGBM在结构化数据比赛中表现突出，这里以LightGBM为例：
import lightgbm as lgb
params = {
'learning_rate': 0.05,
'max_depth': 5,
'num_leaves': 31,
'metric': 'rmse'
}
model = lgb.train(params, train_data, valid_sets=[val_data])
调参时重点关注这三个参数的组合：
模型部署的工业级实践
训练好的模型需要转换为可服务的格式：
import pickle
保存模型
with open('model.pkl', 'wb') as f:
pickle.dump(model, f)
加载模型
with open('model.pkl', 'rb') as f:
loaded_model = pickle.load(f)
实际部署时还需要考虑：
对数变换在数据处理中特别实用，尤其是遇到那些数值跨度特别大的特征时。想象一下房价数据，从几十万到上亿的都有，这种极端差异会让模型很难捕捉到正常范围内的规律。通过取对数，能把那些天价数据拉到合理的区间，让大多数样本集中在相对紧凑的范围内，这样模型训练时就不会被少数极端值带偏了。
用np.log1p()这个小技巧特别聪明，直接在原始值上加1再取对数，完美解决了0值的问题。比如处理用户消费金额时，很多用户可能根本没消费过，直接取对数会报错，但加1后就变成了log(1)=0，既保留了零消费用户的特征，又不会影响整体分布。这种变换后的数据不仅更适合线性回归这类算法，对树模型也有帮助，能让特征重要性更准确地反映实际情况。
如何处理数据中的缺失值？
对于数值型特征 使用中位数填充，类别型特征使用众数填充。当某个特征的缺失率超过30%时， 直接剔除该字段。特殊情况下，可以建立缺失值标记作为新特征。
为什么需要对数值特征做对数变换？
对数变换主要用于处理具有长尾分布的特征，比如房价、收入等数据。这种变换能使数据更接近正态分布，提升线性模型的性能，同时降低异常值的影响。常用的实现方式是np.log1p()，可以避免对0值取对数的问题。
XGBoost和LightGBM该如何选择？
XGBoost适合小规模数据和需要精细调参的场景，LightGBM则在大规模数据上训练更快。如果特征维度在100-500之间，样本量超过10万条，优先考虑LightGBM。两者都支持GPU加速，但实现方式有所不同。
模型部署后如何进行性能监控？
需要建立完整的监控体系，包括：实时记录预测耗时、定期验证预测准确率、设置异常值报警阈值（如连续5次预测误差超过10%）。 使用Prometheus+Grafana搭建可视化监控面板，关键指标要设置自动报警。
