用Claude Code做了一个菜单识别、翻译、显示过敏信息、数字化菜单的小app

大家好，


我前段时间用Claude Code做了一个菜单识别的小app（https://www.foodielens.ai/），功能包括这些：

• 扫描菜单并翻译成自己熟悉的语言
• app和菜单翻译可以设置不同的语言，使用场景：app本身用英文，但是菜单翻译成中文会更能和这个菜relate。有些食材和做法就算从法语、西班牙语、日语翻译成英语，可能还是不如中文容易理解。这个主要是针对工作生活用英语，但母语是中文的人。
• （diary alerts）第一次注册时需要选择自己熟悉的cuisine以及不能吃的食物类型，比如奶制品，gluten，坚果，生肉等等。
• （familiar cuisine）自己熟悉的菜系，后面扫描后有些菜会表明是不是在自己熟悉的菜里有相似的菜，比如意大利的ravioli 和中餐里的饺子，一些国家的烤肉和中式烤肉
• 扫描后可以翻译菜单、食材，并且每道菜都自带一个chatbot可以问食物相关的问题
• 可以把菜加入order（但不能点），看看总价，并且让Chat GPT评价点的菜，并且回答问题

UI/UX上的一些highlight（见截图）:

• 每个dishcard里会显示原菜名，翻译，一些tag（比如vegetarian, greek, 有乳制品，卡路里高低等等），原料翻译，价格

• 如果这道菜里有用户设置好的过敏食材，这个dish card会显示红色背景（见上图）
• 会把原菜单的section电子化，变成app里的导航，在这个例子里刚好有点小问题，Mezethes是appetizer的意思，没有翻译出来。这里点击一个section就会直接跳转到相应的菜单位置。

• 可以把dish加入order，来看看都想点什么，也可以把结果直接给服务员

• 可以问LLM一些关于这道菜的问题，有一些预设的问题，不用每次都打字。比如我经常想知道一道菜的每种食材都是什么，不但想知道字面翻译，也想知道它到底是什么东西。

• 在order页面，也可以问LLM关于点的所有菜的问题，也有预设的问题，还能看到总价

• 一开始可以拍或者上传最多3张照片，如果一开始只拍了一张，后面还可以追加拍照。

做这个app花的时间：一个月的业余时间


学到的东西和遇到的很多困难：

• 传统的翻译软件比如Google translate很快很便宜，但是准确度比较差，比如hen of the woods是一种蘑菇，我也真的在菜单里见过，但是Google translate翻译成了“森林之母鸡”。LLM翻译的就完全没问题。
• 图片识别我尝试了传统的OCR，比如Google Cloud的Cloud Vision API, 还尝试了一下其他的云服务，最后发现还是LLM最好用
• 接下来就是探索各种已有的模型哪个好用了，这里好用的标准是快、便宜、准确。对比了OpenAI, Mistral, Gemini，QWen和一些其他的小模型后，还是觉得Gemini 2.0 Flash Lite最好用，三个维度上都比其他模型要好一些，通过Vertex AI来调用这些模型。一开始以为这个很简单，结果花了一周多来找到最合适的模型。
• 再接下来遇到了另一个大坑，就是找到合适的图片。我尝试了各种restaurant/dish image的provider，包括Google search，最后决定直接用AI来生成，用了replicate。AI生成图片的问题是看着精致但是没有食欲，速度慢而且贵。还会有一些吓人的结果：

你说吓人不吓人。


另外花时间最多的就是反复调整界面，让它丝滑流畅符合操作的逻辑。


用到的工具：Claude code，supabase(authentication, PostgreSQL, edge function)，Google Cloud（主要是为了用Gemini的模型来识别图片并且enrich menu information）， replicate（生成图片）。
目前这个app还有很多不足的地方：

• 照片里的字如果太密的话，菜单识别会fail
• 照片识别速度太慢了
• AI生成的图片和餐厅实际的菜不符合

比较擅长的：比较简单的菜单，比如法餐、希腊菜
可以用下面这个菜单来测试，也可以自己找菜单试试，但是一次拍照最多不要包含超过20多个菜名和信息。
芝加哥的一家餐厅：

Palo Alto的 Evvia

一个花絮：我大概3月多想到了这个idea并且注册了foodielens.ai这个domain，后来发现Andrej Karpathy在五月发了推说做了个一个menugen.app, 很高兴和大佬有同样的想法。
总结：
这是一个精心设计、仔细调教但是没什么用的app，欢迎尝试，如果其中有些问题你知道更好的解决方法的话非常想学习一下。

补充内容 (2025-08-03 00:41 +08:00):
如果想要尝试一下的话：记得扫描菜单时，不要包括超过20多道菜。有些菜单里的字会非常密集，太多的话LLM图片识别会fail。

补充内容 (2025-08-03 03:27 +08:00):
求加点大米，别光点赞支持😂

补充内容 (2025-08-03 04:06 +08:00):
我今天出来吃饭自己试了一下，目前这个app对于欧洲的餐厅非常适合，比如西班牙、法国、意大利、希腊餐厅。
这些菜系的菜单有个共同点是没有照片、菜名即使英文能看懂也有很多食材不了解，并且菜单足够简单。

补充内容 (2025-09-03 13:40 +08:00):
最近更新了一下网站，细节在这个新的帖子里：

https://www.1point3acres.com/bbs/thread-1143434-1-1.html

instant_dev 发表于 2025-8-6 22:21
扫描整个菜单，然后再追问问题，感觉 o3 也都能直接回答吧

可以的，我之所以说这个app精心设计制作但没什么用，直接用ChatGPT就可以，这是很大的一个原因，都不用O3，4o + search就足够了。

但也不是完全没机会。另外我做这个东西，学习怎么完整做东西本身也是一个目的。
现在的很多app最终都会被更强大的模型和它的应用所取代，比如ChatGPT本身就可以发展成一个超级app。

学习学习又学习 发表于 2025-8-4 09:14
所以所有人做点东西，你的建议都是让别人去开源吗？
对于一个纯产品，而非infra、平台型的应用，开源真的 ...

别听他的，你自己的纯产品开源。
你最后就是审不完的 Issue 和 PR，大部分屁用没有。

这玩意你自己把控需求，不乱加 feature 不乱 deploy 才是最好的

Jian Yang 的See food APP让你做出来了？

👍🏻👍🏻lz太谦虚这简直太有用了

牛！太有用了！

这很棒！有市场！

厉害👍，lz做独立开发多久了？

Ivor761 发表于 2025-08-02 10:51:38
Jian Yang 的See food APP让你做出来了？

查了下才知道原来Jian Yang提过类似的idea

Evan2021 发表于 2025-08-02 10:41:40
厉害，lz做独立开发多久了？

第一次，不过我比较扣细节，也比较有强迫症，一旦开始就想尽量做好

buck_zzy 发表于 2025-08-02 09:32:31
lz太谦虚这简直太有用了

我觉得这个做好了本身是有用的，但是差那么一点很难做好，比如菜的图片，读菜单的速度之类

学习学习又学习 发表于 2025-08-02 12:29:12
第一次，不过我比较扣细节，也比较有强迫症，一旦开始就想尽量做好

ui很不错，很简洁明了。