Topic 1 Question #1
一家零售公司拥有一款基于 Amazon Bedrock 的生成式人工智能 (GenAI) 产品推荐应用。该应用会根据用户的浏览历史和人口统计信息向其推荐产品。该公司需要对多个人口统计群体进行公平性评估,以检测和衡量两种推荐方式之间的偏差。该公司希望实时收集和监控公平性指标。如果不同人口统计群体之间的公平性指标差异超过 15%,则必须收到警报。此外,该公司还必须每周收到比较两种推荐方式性能的报告。
哪种解决方案能够以最少的定制开发工作量满足这些要求?
答案: C
本题考察AWS生成式AI开发中负责任AI的公平性评估方案选型,核心要求是最小定制开发量实现实时公平性指标监控、阈值告警和周度性能报告。SageMaker Clarify是AWS托管的机器学习与生成式AI公平性、可解释性检测服务,内置了多种标准化公平性偏差指标计算逻辑,无需用户自行开发偏差检测算法,可直接对接Amazon Bedrock的模型输出开展跨人口统计群体的偏差分析,同时支持将计算得到的公平性指标自动发布到Amazon CloudWatch。CloudWatch可直接配置阈值告警,当不同群体的公平性指标差异超过15%时触发通知,同时CloudWatch支持生成定期统计报告,可自动输出每周的两种推荐方式性能对比结果,整个流程仅需完成服务配置即可,定制开发工作量极低,完全满足题目的所有需求。
各选项分析:
A. 该方案需要用户自行开发Lambda函数实现公平性指标的后处理分析逻辑,涉及大量定制开发工作,不符合题目要求的最少定制开发量原则,因此错误。
B. Amazon Bedrock防护栏(Guardrails)的核心功能是内容安全管控,用于过滤有害、敏感内容,本身不具备跨人口统计群体的公平性偏差检测能力,InvocationsIntervened指标代表被防护栏拦截的调用次数,与不同群体的推荐差异没有关联,无法满足公平性评估需求,因此错误。
C. 该方案使用托管的SageMaker Clarify完成公平性指标计算,无需自定义偏差检测逻辑,指标直接同步到CloudWatch后即可实现阈值告警和周度报告生成,完全覆盖所有需求且定制开发量最少,因此正确。
D. Amazon Bedrock模型评估作业属于离线批量评估工具,无法实现实时收集和监控公平性指标的需求,同时InvocationsIntervened是防护栏的内容拦截指标,不适合用于衡量公平性偏差,因此错误。
关键知识点:
1. Amazon SageMaker Clarify核心能力:SageMaker Clarify是AWS官方托管的公平性与可解释性检测服务,内置多种标准化公平性偏差指标,支持对接包括Bedrock在内的各类生成式AI模型开展负责任AI评估,无需用户自行开发底层检测逻辑。
2. Amazon CloudWatch生成式AI监控能力:CloudWatch支持接收各类AWS服务的自定义指标,可配置阈值告警触发通知,同时支持生成定期统计报告,满足生成式AI应用的实时监控和周期性报表需求。
3. Amazon Bedrock服务场景边界:Bedrock Guardrails仅适用于内容安全管控,Bedrock模型评估作业仅适用于离线批量模型效果评估,二者均不支持实时跨群体公平性偏差检测场景。
参考资料:
Amazon SageMaker Clarify 公平性检测文档, https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-fairness.html
Amazon CloudWatch 告警与报告文档, https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html