AI 落地:我的5个实际落地尝试与经验心得

B站影视 2024-11-28 22:26 1

摘要:要把 AI 落地到实际工作,挑战比想象大得多。面对 AI 这个新事物,大多数人,要么不接触,要么随便用一下,问几个问题,觉得不过如此,说一些正确的废话,就丢一边了。还有一些人,认为 AI 如果把事情干完了,那岂不威胁到工作,于是忽悠领导,说 AI 这不行那不行

最近没有更新,主要在做两件比较大的事。

第一件事 AI 落地。

天天都有哪个模型推出了某某功能,AI 又变天了…这些当然也没有停止关注,不管是真噱头,还是真牛逼,只有用的起来,才有意义。

要把 AI 落地到实际工作,挑战比想象大得多。面对 AI 这个新事物,大多数人,要么不接触,要么随便用一下,问几个问题,觉得不过如此,说一些正确的废话,就丢一边了。还有一些人,认为 AI 如果把事情干完了,那岂不威胁到工作,于是忽悠领导,说 AI 这不行那不行,拒绝使用。

必须承认,AI 有很多事还做不到,但是,也有很多任务,做得非常好,甚至比人做还好。哪怕不能做的比人更好,也能用人类 10% 的时间,做到 70-95 分。对于这个结果,有人认为非常有帮助,另一些人觉得不能 100% 完成,等于没用。

虽然挑战很多,作为 AI 信任派,积极拥抱,理性和宽容看待 AI 目前的能和不能,和 AI 一起进步,尝试在 AI 擅长的领域,探索使用起来。是我们这样的 AI 爱好者的内心想法。

分享几个我自己落地的 AI 场景,不一定适合你,但我相信讨论能带来启发。

一、提取文档数据。

从 PDF / WORD 中提取数据,存到 Excel 表中。我们的业务场景,有非常多专业文档,以前需要人工把关键数据(大概 30 项)复制出来,文档格式多种多样,语言也有多种,传统的程序是一点办法没有,这正好是 AI 擅长的。

我们做成了自动化,技术路径是:

首先,提取 PDF/WORD 的全文内容,扫描件用合合,非扫描件用 jina,这样能最大程度保留数据格式,并且能应付复杂的文档。

其次,精调 Prompt,推荐用 Claude 写 Prompt ,效果非常好,通过它谁都能写出质量极高的 Prompt。写 Prompt不是一步到位,需要多次测试,根据反馈评估进行持续优化,尽量不遗漏边缘案例,避免大改,在有效的情况下,尽量做最小的改动。

最后,把全文内容和 Prompt ,一起给 Claude。Claude 提取的质量非常高,我的案例中,30 个数据项,准确性 99% 以上。

要用到实际工作,有上面三步可能还不够,还需要程序做一些兜底、判断、转换某些已提取数据的格式、进行某些数据的计算等等,这些工作推荐用影刀RPA(机器自动化) ,不是技术出身的同学,也能够完成这些工作。

我们这套流程已经很成熟跑起来了,顺便说一句,我们的案例,已经入选 影刀 “RPA+AI 创新奖”,也获得了发明专利。

二、网站 AI 搜索机器人。

我们有一些内容网站,第一想到就是做个聊天机器人,基于网站的内容,让用户更有效率了解最新发生了什么。上线一版后,发现用户的问题范围特别广,超出了网站的内容界限,于是拓展到了全网搜索+网站自身内容。

这就变得有点像 Perplexity 和秘塔搜索了,不同的是,我们是垂直领域,问题聚焦特定行业,同时我们网站内容不是开放的。

做了这个东西才发现,AI 搜索,要做到高质量的回答有多难。一直在研究和尝试理解 Perplexity,它背后的流程和原理是什么。

大概有几个关键点:

1、进行问题规划。看到问题,不是直接搜索,而是先要规划解题步骤,将复杂任务拆解为多个子任务。再将子任务分解成合适的谷歌搜索词。

2、搜索谷歌,获得前 n 个搜索结果,同时并行读取网页正文(节省时间),这个过程推荐用 jina。

3、重排搜索内容,取前 2-5。排序前需要分块做chunk,我的经验分块不宜太大,也不能太小,大了成本高干扰大,小了容易截断,排序结果不稳定。大概 5000 个字分一块,让大多数文章能够自成一块。

4、速度方面是短板,这方面我还没有实际太好的办法,Perplexity 做到了速度质量都很高,它应该是自己构建了一套索引和缓存系统。欢迎懂的大佬分享提高速度的办法。

三、错别字和语法 AI 检查工具。

这个之前分享过,有兴趣可以看我历史的头条文章(最近的那篇就是),经过一段时间的运行,做了一些优化,主要是 Prompt 升级, 关键点是,让 AI 通读全文,然后逐段检查,以思考或者内心独白的方式,列举每段可能的错误,解释为什么错…同时,排除一些可有可无的小问题,最后,输出值得被改进的错误。

四、AI 翻译。

这方面做了很多尝试,有 AI 一键翻译多种语言,吴恩达反思型 AI 翻译,在谷歌用自己的语料训练翻译模型,Deepl 文档翻译(自己的术语库)等等。

细节不能一一说,太多了说不过来。说说几种方式的差异和适合场景:

1、AI 多语种翻译,这个是纯粹的 Prompt,这可能是我们业务才有的场景,有时候需要将一段话翻译成 17 种语言,传统方式得重复17 次,我们做成了一次出结果。推荐用 Dify 来搭建这些 AI 应用工具,真的好用,国内团队开源。

2、吴恩达 AI 反思翻译 Agent 。翻译本身的效果很不错,当然成本会比较高。这个我们没有用的太好,原因主要是我们需要保持文件格式,而且是复杂的格式,这方面很难满足。

3、在谷歌用自己的语料训练翻译模型。这个是谷歌的云产品,准备自己的历史人工翻译语料,大概几千条,更多效果更好,投入训练, 1-3 个小时完成训练后,就可以翻译文档了,优点是能够保持格式,可以学习你的专业术语,模仿你历史翻译的风格,还支持在线编辑错误的地方。缺点是成本较高,需要准备高质量的语料。

4、Deepl 文档翻译。

这个方式用得非常好,原因是可以兼顾保持文档格式,且有高质量的翻译,同时不必进行专门的训练。可以准备术语表,用来保证自己专业方面的翻译符合要求。

四、企业内部知识库机器人。

每家企业都会有大量的知识文档,散落各处,好些的有专门的 wiki,基于这些知识,搭建一个聊天机器人不难,难的是能够真正有帮助,业务同事愿意用。

还有权限问题,某篇文档张三可以访问,但对李四是拒绝的。所以要做好非常难,不仅仅是 AI 技术问题。

这方面我们也还在探索中,最近看到有家公司,叫做 Glean,据说做这块做的非常好,后面好好研究学习一下。

还有一些其他的小工具,就不一一细说了,有兴趣可以评论区交流。推荐几个构建 AI 应用的好帮手:

1、AI 应用搭建平台:Dify,同类中我用过最好的,国内团队开源,可以自己部署到本地,不想折腾也可以用官方云版本。

地址:https://github.com/langgenius/dify

2、写提示词:用 Claude 的 Generate Prompt, 效果巨赞!已有提示词?可以用 Claude 的提示词优化功能。打开 Claude 控制台使用。

3、AI 搜索:推荐研究使用 GPT Researcher,开源项目,相信你会对秘塔和 Perplexity 的运行方式,会有更深的理解。
地址:https://github.com/assafelovic/gpt-researcher

4、企业知识库机器人:推荐研究一下 Glean, 这个我还没具体研究,看过关于 Glean 的报道,据说它在这方面做的很棒。

上面是第一件大事,第二件大事是,我作为一个在杭州的赣州人,每到这个季节,就多了个任务,就是帮助家里,把自己家种的脐橙,找个好归宿。

以前都是在朋友圈吆喝,虽然朋友们努力支持,毕竟范围有限。咱是爱学习爱折腾的人,对 AI 有兴趣的都是这样的人。所以,今年搞了个快团团微信小程序,团名字参考了 AI 的建议,叫做:赣橙满园。

果农们很难,种出了好果子但不知道如何卖。数量不大,大概 2 万斤,有一说一,今年口感非常好,如果你刚好喜欢橙子,感谢你的支持!

来源:海之鸿鹄

相关推荐