<
查看: 2697| 回复: 0
收起左侧

这次Google的Gemini果然又是忽悠

 
Everseen 来自APP | 显示全部楼层
本楼:   👍  11
100%
0%
0   👎
全局:   7679
94%
6%
462

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 Everseen 于 2023-12-8 09:55 编辑

我先说结论:Gemini显示出了接近gpt4的水平,但很多功能还没有上线,演示视频以及与chat gtp的比较很忽悠。

今天晚些发布看到的分析和证据。欢迎大家先围观评论。


有图,但不看图也可以懂。

1. 先看比较表,下图1,里面第一个测试MMLU这个项目的测试,也就是大家常用的回答问题功能,Gemini Ultra得了90.0%的成绩,GPT-4得了86.4%的成绩,确实被超越了。但蓝色发亮的90.0%的成绩下面有一行灰色的小字,写的是“CoT@32”;而GPT-4那边在86.4%的白色字体成绩下面也有一行灰色小字,写的是“5-shot”。谷歌给的report,下图2,解释是COT是思维链提示法,也就是用指示性语言给予提示后再回答问题,比如你说“肌肉细胞需要葡萄糖作为能量来源。葡萄糖通过特定的转运蛋白进入细胞”,然后再问“葡萄糖是如何被运输进入肌肉细胞?”,吼吼,妥妥的考试作弊法呀。然后和shot法,就是没有任何提示的问题比较,略胜一筹,google真好意思呀。
全是5shot的比较也在report里面,是低于gpt4的:83.7% vs 86.4%

2. 再看视频演示,google在众多质疑声中发布了如何做的视频,原来是图片输入加文字描述,还用了提示法,然后剪辑为视频,太黑了。
https://developers.googleblog.co ... odal-prompting.html

此文基于 卓克的科技参考3第50期,个人很喜欢这个科普系列。

图1

图1

图2

图2

上一篇:openAI GPTs 和 assistant 面试工具
下一篇:求推荐笔记本电脑
您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

Advertisement
>
快速回复 返回顶部 返回列表