通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  四级军士长

注册:2015-11-142
跳转到指定楼层
1#
发表于 2024-11-7 17:02:24 |只看该作者 |倒序浏览

使用AI搜索时,我注意到一个问题:

不同AI搜索产品给出的答案数量残次不齐,有的比较简单,一两句话总结;有的比较复杂,结构化呈现5-6条,没一个能用的。

这让我好奇,AI搜索结果,到底展示多少条合适?要不要结构化?多少条是人们接受的?带着问题,进行了测试和调研。

先说结论:最满意Kimi.AI和知乎直答。为什么呢?

测试部分,我问Kimi探索版,AI搜索应该显示几条内容?它搜索39个网页后,给出的结论只有5句话:即:
搜狗搜索每页显示10条结果,最多可以设置为100条;百度搜索可以提供10条、20条或50条内容,数量取决于用户选择。

必应则说自己有置顶框,会展示AI总结和相关链接。perplexity只呈现五六条结果;360 AI是通过答案再提供20到30条信源链接。
从Kimi的回答结果看,搜狗、百度的结论是基于传统搜索引擎,而必应、perplexity、360可能是基于AI的。

带着问题,我又问了腾讯的ima.copilot,这是一个笔记软件,能搜索所有公众号内容;我说:AI搜索应该显示几条内容?

它提到结果呈现方式取决于搜索目的、用户需求、内容类型和AI算法性能;百度一般显示10条结果,最多100条;Google可以在10到100条之间显示,根据用户需求决定。

不过,它的答案的确很繁琐,结构化了还很长,以上都是我帮它优化后的。

接着,我测试了知乎知答。答案很简单,只有4句话:

AI搜索内容不固定,由算法根据用户最有价值、最相关的结果决定;搜索引擎的目标是提供最相关的结果,数量从几条到几十条不等,同时考虑用户体验和多样性。

比如:谷歌搜索可能显示10条结果,并提供下一页链接以浏览更多内容;AI搜索工具会挑选最重要、最合适的内容,关键在于质量而不是数量(这个例子是知乎直答答案中的)。

然后,我测试了文心一言,它给出5条结构化内容。

不同的是,它比较模棱两可;它说,答案数量取决于用户需求、搜索上下文、设备和界面、算法与性能以及用户体验,并且会根据这些因素动态调整。

微信的AI搜索自然也不能放过,它的AI在“搜一搜”里,相对隐蔽。我测试了几个问题,发现微信搜一搜的AI生成式答案相对简单直接。

我搜索“王智远是谁”时,结果显示王智远是个多才多艺的人,有多种身份,包括一级建造师、艺人和商业创作者,每个身份都有进一步的5点介绍。

综上认为,Kimi的答案结构化,且简洁有力;知乎知答则更为直接,没有列出具体条数,但直接给出了答案;相比之下,文心一言的回答与问题的相关性较弱,微信搜一搜则更注重直接陈述。

对比不难看出,AI搜索给出的答案,大致分为两类:

一,简洁明确的;问题和答案匹配,不拖泥带水,二,切题详实的,AI会围绕答案展开很多讨论;这些讨论看似正确,实际上只有一部分对用户有帮助。

为什么会这样?带着好奇,我询问了身边两位技术朋友:他们说,可以从问题理解、技术逻辑和使用体验三个角度来看。

首先,使用AI搜索,不能指望它像人类一样理解我们。

聊天时,我能知道你的过去、经验和外貌,但AI做不到。AI更像一个“缸中之脑”(Brain in a Vat)。这个概念有点奇怪,就像一个人的大脑被放在装满营养液的缸里,通过电脑来操纵,让它感觉像人脑一样。

实际上,AI的模型像大脑,外部信息像营养液,我们给AI一个问题,它会在各种知识库中搜索,然后整合信息找到答案。

因此,它对问题的理解是基于大量数据做出的平衡,平衡什么呢?就是那些被大量点击的,或者相对准确的信息,有些模型为了准确性,自然会选择呈现多一些内容。

其次,从技术角度来看,当你输入一个问题后,AI会捕捉这个问题,利用搜索引擎,比如Google,或者一些第三方服务来寻找答案。

AI会用一种叫embedding的技术来处理搜索结果,这个技术就像给结果排序和分类,让它们更容易管理;最后,AI会使用RAG技术,从众多网页中挑选出与你问题相关的信息,再通过一个大型模型整合这些信息,最终给出答案。

很多AI搜索产品不会自己建立搜索引擎,因为成本太高了,爬取5000万个网页可能需要花费一两百万人民币,而且爬取的内容还需要进行安全检查。

现在大型搜索引擎拥有的网页数量是以千亿计的,这是多年积累的结果,从时间和金钱来,一般创业者难以承担。

所以,AI搜索找到网页内容后,会把它们按照段落、句子切成小块,这样处理更方便,那么,很自然地如果问题很长,答案可能也会很详细;如果问题很短,或者一个词有多个解释,它也可能给出很多相关的信息。

这就像找东西,一个词能引出很多相关内容。

朋友还说,针对一个问题,AI给的答案比较丰富,也取决于生成式(generative)和交互式(interactive)。

什么意思呢?

AI搜索系统本质上是一个问答系统,它的答案和传统检索方式有很大区别。

传统检索只是把相关网页展示出来,而生成式可能返回一个文档或一组链接,这样用户可以直接获取所有信息,不用再从多个来源中筛选总结。

这种技术有创造性,因为它要理解你的语料后,再给出答案。所以,虽然有些内容可能我们不需要,但这些多余的内容能增强人与AI的互动性。

比如说:

你问“如何提升工作效率?”,AI可能会先给你一个常见的几条建议,比如设定清晰目标、合理分配时间等。

但它还可能进一步提到一些新工具或方法,类似于“你可以尝试使用时间管理工具,如Notion或Todoist,它们能帮助你更好地安排任务”;这样,你会因为这些额外的信息对某个工具产生兴趣,从而进行下一次的搜索。

问题是:我们真需要那么多答案吗?我从体验角度做了样本测试。

有些人说:用AI搜索时,喜欢先看到结论,再看过程,这样能让他们更快地找到想要的信息。

虽然AI能提供很多长文本,但并不是每个人都想要,就像一个知识渊博的人能讲很多,但并不是所有内容我们都感兴趣一样。

你要不明白,就想象一下,在工作中,如果领导问你事情办得怎么样,你先说一大堆过程,最后才说没办成,领导肯定不高兴,相反,先告诉领导结果,再详细说过程,这样更好。

但也有人觉得,AI搜索显示的内容越多越好,因为这样可以学到更多知识,提高找信息的效率。

比如:我问一个问题,可能还没完全想清楚,如果AI能展示很多内容,有些反而会激发我的好奇心,这种好奇心再次引导我探索更多不同的解决方法。

然而,实际情况是这样吗?

虽然历史上没有专门研究AI搜索结果,但我查了一些关于传统搜索引擎的用户调研。

到了2024年,谷歌搜索的用户调研显示,排名第一的链接点击率高达39.8%,第二名是18.7%,后面的点击率会越来越低。这说明用户更关注搜索结果页面靠前的链接,越往下,关注度就越低「1」。

统计数据还显示,75%的用户从不浏览搜索结果第一页之外的内容,只有0.78%的用户会点击谷歌第二页的结果。

而那些直接显示答案的精选摘要(Featured Snippets),在2018年初的出现频率约为12%,到2020年初增长到了约16%「2」;这意味着在搜索页面上,直接展示答案可能减少了用户对更多搜索结果页面的需求。

换言之,用户愿意直接获取答案,不想浏览无关信息。

我也读了谷歌核心工程师玛丽莎·梅耶(Marissa Mayer)的一些用户调研。她说:

很多用户告诉她,他们希望每页能看到尽可能多的结果,20个不够,25个也不行,最好是30个;但当她观察用户的实际行为时,发现了一个不同的趋势:用户其实更喜欢每页显示较少的结果。

当搜索结果数量在10到20之间时,用户的点击率会急剧下降。当每页显示25个结果时,点击率下降得更多,而当每页显示30个结果时,情况最为糟糕。

最后,梅耶决定每页显示10个搜索结果,这个决定也被谷歌一直沿用至今。

所以,这个结论是:用户在AI搜索时,往往只关注一个屏幕内的内容;如果这一屏的前面就能完整呈现结论,他们就能获取所需要的结果,而后面的内容,对他们来说,可能就没那么相关了。

问题是,为什么人们说的话和实际行为不一致呢?我们总说想看到更多内容,但当AI搜索结果真的呈现大量内容时,却不愿意花时间去看?

经过长期使用AI搜索,我找到了答案:「速度」。很多人没有意识到,大量搜索结果会干扰我们的认知,影响体验。

举个例子:

我尝试了Kimi和天工AI的探索版,当我问它们一个心理学研究的问题时,一个给了简短有力的答案,并适当引导我去网页查看更多。

另一个却给了很多内容,要我先浏览再点击链接查看;相比之下,后者让我感到选择困难,甚至觉得大脑负担加重,而前者的信息,让我获取得更直接、更方便。

扎克伯格在Facebook早期发展时,也遇到过类似情况。

当Facebook从哈佛扩展到耶鲁和哥伦比亚大学时,学生们一开始表示怀疑,甚至有些嘲讽l尽管他们抱怨,但没人真正删除信息或停止使用,反而使用频率增加了。

扎克伯格得出结论:“人们并不擅长预测自己对新事物的反应。”Facebook的成功证明,用户可能对新事物持怀疑态度,但最终会喜欢成为其中的一部分。

很少有人能清楚表达自己的真实需求,尤其是在面对未知的新事物时,语言可能会骗人,但行动不会,因为行动的代价比语言更大。

在产品开发中,我们常听到一句话:“不要听别人说什么,要看他们做什么。”这句话同样适用于AI产品,用户可能会说他们想要更多功能或选项,但他们的行为表明,很多人更喜欢简单快捷的解决方案。

所以,有两个结论:

一,AI搜索一开始不要展示太多内容,搜索引擎应该先直接给出答案,然后,逐步引导用户探索,这样更合适。

二,AI越专业,答案越简洁,长文本能力应该用在解释过程上,而不是直接给答案。

你认为是不是这样?AI搜索后,你期望看到几条结论?

研究参考:

1.WSR团队. (2024). 30+ GOOGLE搜索引擎统计数据和趋势 [2024年更新].

2.谷歌洞察. (2024, March 8). 用户搜索行为分析.


来源:36kr

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-12-4 01:31 , Processed in 0.161985 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部