微软本周通过GitHub开源了内部所使用的AI安全风险评估工具，这是一个基于命令行的工具，且为一通用自动化层，可用来评估各种机器学习系统的安全性，可用来执行红队演练、渗透测试、漏洞扫描，也能记录攻击事件。
微软说明，AI系统日益被应用在各种关键领域，诸如健康看护、金融或国防等，消费者必须确认这些关键领域的AI系统是安全的。根据Gartner的预测，在2024年时，未部署AI风险管理控制机制的组织，得到负面AI结果的风险是有部署相关机制者的两倍，然而，在微软针对28个组织所进行的调查中，有25个并未部署得以正确保全AI系统的安全机制，意味着安全专家正在寻找该领域的具体方针。
Counterfit是微软为了评估内部AI系统漏洞所发展的工具，初期是为了对抗针对个别AI模型所撰写的攻击脚本程序，之后扩大为可捍卫多个AI系统的通用自动化工具，现在微软仍定期利用Counterfit作为AI的红队演练工具，也可用来扫描生产AI服务的漏洞，或是在AI部署阶段就逮住漏洞。
图片来源＿微软
目前的Counterfit已可适用于不同的环境、不同的AI模型与资料格式，例如它能评估位于任何云计算环境、本地部署或是边缘的AI模型，也可抽象化AI模型的内部作业以让安全专家能专注于安全评估，并支持基于文本、图片或通用输入等AI模型。
微软标榜Counterfit是替安全专家所设计，因此它能针对AI系统展开渗透测试及红队演练，还能扫描各种AI系统的安全漏洞，同时在AI系统遭到攻击时进行记录。
此外，微软也建议安全专家在使用Counterfit时可搭配其它资源，涵盖Adversarial ML Threat Matrix、将攻击分类的Bug Bar、威胁建模指南，以及记录各种ML失败模式的分类文件。