43-树叶分类竞赛技术总结

发表于 更新于 分类于 阅读次数：
动手学深度学习李沐

43-树叶分类竞赛技术总结

1. 比赛结果

  • 176类，18353训练样本
  • 165只队伍参加
    • 41只队伍精度 > 98% (非常好)
    • 83只队伍精度 > 95% (够用)

2. 结果分析

3. 技术分析

相比于课程介绍的代码，同学们主要做了下面这些加强：

  • 数据增强，在测试时多次使用稍弱的增强然后取平均

  • 使用多个模型预测，最后结果加权平均

    • 有使用10种模型的，也有使用单一模型的
  • 训练算法和学习率
  • 清理数据

4. 模型方面

  • 模型多为ResNet变种

    • DenseNet，ResNeXt，ResNeSt, …
    • EfficientNet

  • 优化算法多为Adam或其变种

  • 学习率一般是Cosine或者训练不动时往下调

5. AutoGluon

  • 15行代码， 安装加训练耗时100分钟
  • 精度96%
    • 可以通过定制化提升精度
    • 下一个版本将搜索更多的模型超参数
    • AG目前主要仍是关注工业界应用上，而非比赛

6. 总结

  • 提升精度思路：根据数据挑选增强，使用新模型、新优化算法，多个模型融合，测试时使用增强
  • 数据相对简单，排名有相对随机性
  • 在工业界应用中：
    • 少使用模型融合和测试时增强，计算代价过高
    • 通常固定模型超参数，而将精力主要花在提升数据质量

比赛/学术界：固定数据，调模型

工业界：固定模型，调数据