本课程是模型开发领域的最后一门课程，旨在指导您分析机器学习模型的性能。您将学习模型评估的关键概念和技术，包括分类和回归问题指标。您还将学习如何确定收敛问题并确保执行可重复的试验。最后，您将使用 Amazon SageMaker Clarify 和 Amazon SageMaker Debugger 等 AWS 服务来深入了解机器学习 (ML) 训练数据和模型问题。
- 课程级别：300
- 时长：1.5 小时
课堂活动
- 线上材料
- 练习
- 知识考核问题
课程目标
- 确定创建性能基准的方法。
- 评估模型性能、训练时间和成本之间的权衡情况。
- 确定分类问题评估技术和指标。
- 确定回归问题评估技术和指标。
- 使用 Amazon SageMaker Training Compiler 和 Amazon SageMaker Automatic Model Tuning (AMT) 确定收敛问题并防止模型收敛问题。
- 确定 SageMaker Clarify 指标，以深入了解机器学习训练数据和模型。
- 使用 SageMaker Clarify 解释模型输出。
- 描述如何使用 AWS 服务执行可重复的试验。
- 使用 SageMaker Model Debugger 调试模型收敛。
培训对象
- 云架构师
- 机器学习工程师
建议具备的技能
- 拥有至少 1 年使用 SageMaker 和其他 AWS 服务进行机器学习工程工作的经验
- 拥有至少 1 年的相关职位经验，例如后端软件开发人员、DevOps 开发人员、数据工程师或数据科学家
- 对 Python 等编程语言有基本的了解
- 已完成“AWS ML Engineer Associate”学习路径中的前几门课程
课程大纲
- 第 1 部分：简介
o 第 1 课：如何学习本课程
o 第 2 课：课程概览
o 第 3 课：性能基准
- 第 2 部分：模型评估
o 第 4 课：模型评估技术和指标
o 第 5 课：收敛问题
o 第 6 课：使用 SageMaker Debugger 调试模型收敛
o 第 7 课：SageMaker Clarify 和指标概览
o 第 8 课：使用 SageMaker Clarify 解释模型输出
o 第 9 课：Amazon SageMaker Experiments
- 第 3 部分：总结
o 第 10 课：课程总结
o 第 11 课：评估
o 第 12 课：联系我们
- 结束
