一怒之下,自己写了个简单的食物图片爬虫的系统,帮我下载了 180 张食物图片,可以简单看下下面的动画演示。
背景源于最近在做个食物嘌呤拍照识别的 H5 小页面,需要有个查询食物查询嘌呤的页面,需要显示对应食物的图片,刚开始我想直接就去网站上下载,但是一看库里有 180 种食物,这手工搜到何年何月去。
尝试一
所以我想看看刚好使用 firecrawl 的 MCP 试一下。可以看到里面的工具还挺多的
说干就干,写好提示词,然后把 json 文件上传上去。
可以看到就开始工作了,看到已经再用 firecrawl MCP 搜索对应的素材了,
但是到最后我发现有个问题,它只帮我写了代码,并没有实际爬取图片下来,我尝试多次后,也还是不行(不知道是不是使用姿势不对,懂的小伙伴可以私聊一起讨论)。
并且搞的几次就超出了对话长度的限制,这种爬虫的事情还真是特别占用上下文。
尝试了几次后,我放弃了,突然想到,我何不做个半自动化的爬虫系统,让它帮我筛选出列表,我只要确认下载就好了,这样既保证了时效,也保证了准确性,那说干就干。
尝试二
那就赶紧写起来,本次我用的是 Claude Code 工具,最近一段时间都在深度体验 Claude Code,官方也提供了很好的工具
1.md 的内容
我想开发一个本地可以启动的爬虫服务,主要就是根据中文名称搜索对应食物图片,列举可以下载的图片,用户人工确认后,下载到本地对应的目录
可以看到 Claude Code 工具开始都规划了些任务列表,然后从任务列表开始一个一个的开始解决。每完成一个就划线掉,还先试试绿色的,然后紫色的就是下一步需要执行的任务,白色的就是还未执行的。
最后执行完任务后,都回来一个总结,本地完成的主要功能,还告诉你如何启动服务,主要是启动脚本都给你写好了。还告诉你技术实现的框架和细节点。
上面是一次性运行完成的,我就直接在终端完成的这个工作,任何 IDE 和编辑工具都没有打开,剩下的就是启动脚本,然后访问它说的地址了。
不过刚访问就有个问题,没关系,直接粘贴到终端就行。
其实刚出来的页面,流程都是没啥问题的,就是出来的图片准确度确实有点差强人意。你看下面,搜的「黄豆」,出来的都是这些玩意,我。。。(你就告诉我洋葱是怎么出现的)。
我们把上面的图片直接拖拽到终端,或者复制全路径直接粘贴到终端,就会有「Image #1」字样,然后输入问题,Claude Code就可以识别图片的内容,开始处理问题了。
其实到后面发现他找的网站的搜索结果对中文的识别不咋准确,对食物的搜索结果也不是很好,我想不如直接就从搜索引擎找还好些,我索性让它从百度、bing 搜索图片作为结果展示。
主要是很详细的它会自己写测试用例,验证刚刚写的代码是否好用,就不用频繁自己调试,再对话让他修改问题了,少了很多聊天。
并且刚开始是用的百度图片的地址,估计结果不好找到图片信息,它中间自动换到百度图片的 API 接口,从接口结构还的字段获取图片就很好办了。
中间还让他弄了些启动脚本的管理,还有一些样式的调整,并且聪明到很么底部,README.md文档里的内容我一个字都没有修改过,每次修改代码后,如果有更新README.md的内容,它会自动更新,这就比人工维护好很多(平时遇见最多的问题就是,代码和文档是远远对应不上的,基本文档就是第一版,后续很少更新,都是的去看代码,这就很费劲。)
总结
只能说现在的大模型能力越来越强,目前Claude 4 的 SWE评分打开在70%多,从去年的Claude3.5的40%分,AI编程正式开发进入大家的视野,到今年的 4 版本,才不到一年的时间,基本上涨了 30% 的空间,等到突破 90% 的时候,我相信大家的工作方式还有我们日常的生活都会大大的改变。