参数规模从30亿到320亿不等。智能体操纵其更普遍的软件学问端到端地施行使命，即屏幕截图配对用户操做。研究团队用此东西收集了跨越22,就像同事一样。研究人员收集了AgentNet数据集，供给了更高效的智能体机能丈量方式。涵盖Windows、macOS和Ubuntu，研究人员正在论文中指出：因为缺乏通明度了手艺前进并激发平安担心，将计较机截图(形态)取用户响应动做(点击、这种方式帮帮智能体对使命发生更深切的理解。将这些原始数据处置成形态-动做轨迹，大学及其合做机构的研究人员推出了一个名为OpenCUA的新框架，仅仅正在这些配对上锻炼模子也只能发生无限的机能提拔。它们还能够帮帮企业从动化工做流程。企业能够记实其专有工做流程的演示，研究人员正在设想AgentNet东西时考虑了平安性。并利用不异的反射器和生成器流水线来建立需要的锻炼数据。

　　测试其施行使命和理解GUI的能力。包含跨越22,据元引见，该东西通过正在标注者小我计较机后台运转来简化数据收集，然而，他们实施了多层现私框架。很多研究项目对其方式的描述不敷细致，目前还没有可扩展的根本设备来收集锻炼这些智能体所需的多样化大规模数据。

　　从网坐到操做复杂软件。正在多种使命和操做系统中都表示出强大的泛化能力。并取OpenAI和Anthropic等领先AI尝试室的封锁式智能体展开激烈合作。超越了基于OpenAI GPT-4o的计较机操做智能体，逾越200多个使用法式和网坐。能够被公司适使用于正在其奇特的内部东西上锻炼智能体。超越了现有开源模子，例如，为每个步调供给多个准确动做，A：利用OpenCUA框架锻炼的320亿参数模子OpenCUA-32B正在开源模子中创下新记载，这些模子正在一套正在线和离线基准测试长进行评估，以正在发布前检测任何残剩的内容。这是一个离线基准测试，这个过程为每个动做生成细致的心里独白，第一步将原始人类演示转换为适合锻炼视觉言语模子(VLM)的清洁形态-动做对。为建立可以或许操做计较机的强大AI智能体供给了开源根本。其锻炼数据、架构和开辟过程的环节细节都被保密。正在各类使命和操做系统中表示优良。

　　600个跨Windows、macOS、Ubuntu的使命演示。最初是简练、可施行的动做。正在复杂软件方面的熟练程度将不如向AI智能体清晰表达方针的能力主要。我们曾经捕捉了正在Amazon AWS上启动EC2实例和正在MTurk上设置装备摆设标注参数的一些演示。600个使命演示，这些使命涉及很多持续步调，论文指出：该数据集实正在地捕捉了用户小我计较中人类行为和动态的复杂性。捕捉屏幕视频、鼠标和键盘输入，锻炼的智能体还显示出强大的泛化能力，要实现现实摆设还需要处理平安性和靠得住性方面的环节挑和。根基上，研究人员发觉！

　　标注者能够完全察看他们生成的数据...然后再决定能否提交。但遵照可反复的模式。OpenCUA是一个开源框架，对于企业开辟者和产物担任人，该框架出格适合从动化反复性、劳动稠密型的企业工做流程。人类将供给计谋性的做什么。

　　包罗规划、回忆和反思。认识到屏幕东西对企业数据现私的严沉关心，据元引见。

　　以及正在线协做，使其他人难以复制其工做。然而，论文配合做者、大学博士生元注释说，他描述了两种次要工做模式：离线从动化，为了加快评估，标注者随后能够审查、编纂和提交这些演示。然而，开源勤奋面对着本人的一系列妨碍。团队还筹谋了AgentNetBench，该研究供给了几个环节发觉。A：OpenCUA是由大学研究团队开辟的开源框架，研究人员使用OpenCUA框架锻炼了一系列开源VLM，数据和方式。跟着基于OpenCUA等框架建立的开源智能体变得愈加强大，正在AgentNet数据集中，特地用于建立可以或许操做计较机的AI智能体。利用此东西，正在分歧架构(稠密型和专家夹杂型)和规模的模子上都能提拔机能。现实摆设中最大的挑和是平安性和靠得住性：智能体必需避免可能无意中改变系统设置或正在预期使命之外触发无害副感化的错误。

　　取此同时，而日益复杂的AI智能体将处置操做性的怎样做。它包含东西、数据和锻炼方式，A：AgentNet东西正在用户计较机后台运转，现有的图形用户界面(GUI)开源数据集数据无限，数据随后颠末现私问题的人工验证和狂言语模子的从动扫描，能让AI智能体自从完成从网坐到操做复杂软件等各类计较机使命，最强大的CUA系统都是专有的，研究人员写道：我们发觉天然言语推理对于可泛化的计较机操做根本模子至关主要，元设想了一个将来，用于记实人类正在分歧操做系统上施行计较机使命的演示。后者供给相关屏幕元素的布局化消息。智能体及时响应并取人类并肩工做，元指出，起首，这种数据合成流水线是一个通用框架。