近来新加坡国立大学团队,在20多个场景下对Claude的电脑控制才能进行了全面测验。
研讨中选用了米哈游《崩坏:星穹铁道》,可以跟它说”帮我完结今日的模仿世界”,Claude就能主动完结各种使命,乃至包含发动主动战役和等候战役完毕后退出,操作行云流水。
特别值得一提的是,这并不是传统游戏外挂那样的机械操作,Claude还能智能了解游戏规则和方针,依据界面上不同的使命进行调整。
除了《崩坏:星穹铁道》,AI还能主动玩《炉石传说》,包含创立和重命名牌组、运用英豪技术等。
团队根据Claude Computer Use的API规划了一个主动化GUI结构,该结构包含体系提示、状况调查、推理范式等六个部分。
AI经过这一个结构可以履行网页查找、作业流程模型、工作生产力软件等日常工作场景下的使命。
例如,在Amazon和Apple官方网站上成功完结下单购物的使命,挑选色彩装备、填写地址等操作。
尽管AI在杂乱网页操作和工作软件中有部分使命失利,但全体体现已十分超卓,团队还公开了一切测验用例的详细信息,供有爱好的研讨者和开发者进一步探究。