本文分享了使用Claude 3.5的AI操作电脑功能的实测体验。作者详细介绍了准备工作、Docker环境搭建、运行Demo的步骤，并尝试了让AI完成编写贪吃蛇游戏、搜索新闻、查找菜谱等任务。尽管在实际操作中遇到了一些问题，如响应速度慢、API权限限制等，但仍展现了AI操作电脑的潜力。通过这次体验，作者深入了解了AI与电脑交互的原理，并对未来发展进行了展望。
💻 **准备工作与环境搭建：** 作者首先介绍了运行AI操作电脑所需的准备工作，包括电脑、Claude的官方Key以及Docker的安装。随后，详细阐述了拉取镜像、安装依赖和设置环境变量的步骤，并提供了修改过的启动命令，方便用户快速上手。
🕹️ **功能实测与体验：** 作者通过实际操作，测试了AI在编写贪吃蛇游戏、搜索新闻、查找菜谱等方面的能力。虽然在游戏操作、新闻整理和菜谱搜索中遇到了一些问题，例如响应速度慢、坐标定位异常等，但AI仍能完成部分任务。
💡 **技术原理与挑战：** 作者揭示了AI操作电脑的底层逻辑，即大模型通过tools来生成调用，包括鼠标移动、点击、截图等基本操作。同时，指出了当前面临的挑战，如交互速度慢、API权限限制等。此外，还提到了Streamlit可能导致页面交互数据过多而卡顿的问题。
原创 ElliotBai 2024-10-23 13:58 上海
手把手教你用AI操作电脑
昨晚 Claude 发了新的 SONNET 3.5，Haiku要月底。其中有两大非常值得看的亮点：AI操作电脑 和 编程能力大提升。编程能力大提升有一篇单独的文章后续会发出，能做很多事情，感兴趣的小伙伴可以先关注我，今天就纯带大家看看怎么在自己电脑上把Claude 3.5的操作电脑给跑起来，体验体验。
准备工作一台电脑（我用的是Window，理论上能跑Docker都可以）Claude 的官方Key（目前大多数中转是不支持的，我们在加紧对接）Docker安装
然后，就正常安装就好了。完成之后本地打开，登陆上去之后，啥也不用管。左下角这边需要服务启动成功。
拉取镜像Claude 官方给了个Demo（Python），可以直接拉取到本地跑起来。anthropic-quickstarts/computer-use-demo at main · anthropics/anthropic-quickstarts (github.com) 代码拉取到本地后，在当前Python环境下安装依赖（建议3.11以上）
pip install -r dev-requirement.txt
然后，根据官方文档，设置环境变量，启动 docker。
考虑到有些朋友可能不太熟悉环境变量，所以这里建议不懂的朋友直接用下面我修改过的启动命令（key 可以启动后再设置）
docker run -v ${env:USERPROFILE}\.anthropic:/home/computeruse/.anthropic -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
克神启动等镜像拉取的时间，如果没啥意外的话，到这里就启动成功了。按照提示访问网页：
http://localhost:8080
侧边栏有 key，填上去，就可以正常玩了。帮我写一个贪吃蛇游戏并且运行起来
直接帮我装了Pygame 的库
然后写代码，跑起来，全程大概1分钟
试试他能不能帮我玩这个游戏试了一下，不太行，因为他是通过截图来获取当前信息的，虽然能操作，但是有时差哈哈。
其实每次判断完下一步要做啥的时候，已经死掉重新开局了。帮我看看京东最近的大新闻
会正确打开浏览器，使用Google搜索
但是搜索的关键词有丢失中间搜了好几个关键词，然后给出了一个结论帮我把新闻整理到Excel里说的是挺好的，但是创建标题行的时候就没分好（盲猜是坐标定位异常）然后一条条把刚才的新闻给输入进去了虽然但是，挺不容易的，在我现在的屏幕分辨率下，能在Excel中定位准确格子并且输入，是挺不容易的一件事情。
帮我去小红书找一下北非蛋的做法这里异常报错卡住了，没有正确关掉上一个窗口，我重试一下
中间出登陆验证码了，人为辅助了一下后面就一直限速了，任务失败太卡了，没玩下去。一个可能是Streamlit的问题，导致页面交互数据多了就卡（不用考虑我电脑性能）；交互还是很慢的。本质还是大模型通过tools来生成调用，基本操作如下
[ "key","type","mouse_move","left_click","left_click_drag","right_click","middle_click","double_click","screenshot","cursor_position"]
，所以一个任务需要的步骤很多，交互多了，也就慢了；费钱。大概玩了三个任务3.37刀出去了。API权限太低了，一个任务懂不懂就limit了。
跳转微信打开
