家用咖啡机:三个模型推荐的品牌重合度只有4成
同一个问题,问三个都能联网的大模型,得到的推荐名单能差到什么程度?我们拿一个真实品类跑了一遍。
我们问了什么
我们固定了一个真实品类(家用咖啡机),用同一批提问分别跑了三个能联网的大模型。提问按购买意图分成五组:选购推荐、参数对比、使用体验、清洁维护、价格区间。每组的措辞保持一致,只有模型不同。
三个模型的答案差在哪
把三个模型的推荐名单拉平放在一起看,重合的部分比想象中少。
「这个预算段比较稳的是品牌A、品牌B、品牌C这几家。看重省事可以选A-1的自动奶泡;在意萃取一致性的话B-2更稳一些。」
换到模型B,同样的提问,名单里只留下了品牌B,另外两家换成了我们在这个品类里从没见过的名字。模型C的排序又是另一套。三个模型共同推荐的品牌,只占全部被推荐品牌的四成左右。
这件事意味着什么
- · 如果你只在其中一个模型里表现好,另外两个模型的用户看不到你。
- · 「AI推荐了你」这句话必须说清是哪个模型、哪条提问,否则没有意义。
- · 想提高整体可见度,要按模型分别找缺口,而不是只看一个平均数。