首页 抖音推荐文章正文

基于Dify 知识库的实验demo：从0到1构建智能商品分类系统

抖音推荐 2025年09月05日 12:29 2 admin

在AI技术加速渗透各行各业的当下，如何将“智能”真正嵌入业务流程，成为产品人绕不开的命题。本文以Dify知识库为核心，复盘一个从0到1构建智能商品分类系统的实验demo，供大家参考。

基于Dify 知识库的实验demo：从0到1构建智能商品分类系统

最近接到了一个新的任务：根据商家提供的商品名称，实现商品的自动归类。这篇文章记录了我从屡屡踩坑到最终用Dify跑通一个可行Demo的完整实验过程，干货满满。

一、最初的挑战：为成千上万的商品自动“安家”

想象一下，你面对着成千上万个商品，需要为它们精准地打上三级分类标签，比如把“新款纯棉透气T恤”分到“服装 > 男装 > T恤”下。手动操作不仅枯燥，还容易出错。于是，我们自然想到了用 AI 来自动化这个过程。但问题也随之而来：商品分类体系太庞大了，AI 如何才能准确、高效地完成任务呢？

二、弯路与启示：两次失败的尝试

在找到最佳方案前，我和团队也踩了不少坑。这里分享两个典型的“弯路”，希望能帮大家在未来的项目中少走一些。

弯路一：简单粗暴的“一步到位”法

我们最开始的想法很简单：把商品名和所有三级分类的列表一起扔给大模型，让它直接选。想象很美好，现实很残酷，结果呢？模型直接“罢工”了。因为几万条分类数据远远超出了大模型的上下文长度限制。这就像让一个人一口气背下整本字典再去查字，根本不现实。

弯路二：层层递进的“逐级问询”法

既然一次性不行，那就分步走。我们尝试先让模型判断一级分类，再判断二级，最后确定三级。这个方法虽然能跑通，但体验极差：

  • 成本高：一次分类要调用三次模型，令牌（Token）消耗飞涨。
  • 速度慢：三次串行请求，用户等待时间太长。
  • 不稳定：任何一步出错，后面就全错了，像多米诺骨牌一样。

这两次尝试让我们明白，单纯依赖大模型的“蛮力”是行不通的。

三、真正的突破口：“检索”与“生成”的黄金组合

在反思之后，我们找到了真正的突破口——这正是 Dify 知识库的核心价值所在，即检索增强生成（RAG）。

说白了，就是我们不再强迫大模型去“背诵”所有知识，而是给他一本“开卷”的参考书，让他根据问题快速“查阅”并作出判断。

我们的“智慧优选”方案分为两步：

  1. 第一步：向量检索我们将所有的三级分类名称和描述存入Dify知识库。当输入一个商品名时，系统会利用向量检索，快速从知识库中找出语义上最相似的一小撮候选分类（比如10个）。
  2. 第二步：大模型精选然后，我们把商品名和这10个候选分类一起交给大模型，让它在这个小范围内做个“优中选优”的决策。任务难度大大降低，准确率自然飙升。

这个方案不仅速度快、成本低，而且效果出奇地好，成为了我们的最终选择。

[建议此处插入流程图：商品名称 -> 向量检索(Dify知识库) -> Top K 候选分类 -> 大模型精选 -> 最终分类]

当然在实践过程中，我们也踩了很多坑。比如，单纯导入商品名称到知识库中，召回率也比较低。后来我们把类目属性名称也一并导入到知识库中，在检索前使用大模型对检索词进行改写，获得了非常不错的效果。

四、让系统“活”起来：知识库的动态更新

商品分类不会一成不变，总会有新增、修改或废弃。如果知识库不能同步更新，AI 的判断就会慢慢“过时”。

为此，我们专门在 Dify 中编排了一个专用的数据管理工作流。这个工作流通过 API 接口，实现了对知识库中三级分类数据的自动化管理：

  • 新增分类：当业务后台增加一个新品类时，自动调用API将其添加入知识库。
  • 更新分类：当某个分类的描述或名称变更时，自动调用API更新知识库中的对应条目。
  • 删除分类：当某个分类被废弃时，自动调用API将其从知识库中移除。

通过这种方式，我们的知识库与业务系统实现了实时联动，变成了一个能自我进化的“活”系统，保证了AI决策的时效性和准确性。

五、利其器善其事：我的模型推荐清单

工欲善其事，必先利其器。在“智慧优选”方案中，Embedding 模型和 Rerank 模型的选择至关重要。

1. Embedding 模型

它的任务是把文本转成向量，决定了我们能“捞”回多少相关的候选者。

开源首选：BAAI/bge-large-zh-v1.5。目前中文语义理解的佼佼者，追求极致效果的首选。

2. Rerank 模型

它能对召回的候选集进行二次排序，把最匹配的那个推到最前面。

开源首选：BAAI/bge-reranker-large。与bge-embedding是“黄金搭档”，配合使用效果拔群。

大家可以根据自己的业务需求和技术栈，选择合适的模型组合进行测试。

结语

回顾整个过程，从最初的屡屡碰壁，到最终找到“检索+生成”并结合动态数据维护的验证demo，我深刻体会到：构建一个强大的人工智能应用，关键在于巧妙地组合利用工具，而不是迷信单一技术。

当然，从Demo走向生产，还有很长的路要走。

希望今天的分享，能对正在探索 AI 应用边界的你有所启发。

本文由 @dify实验室 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

相关文章

发表评论

泰日号Copyright Your WebSite.Some Rights Reserved. 网站地图 备案号：川ICP备66666666号 由Z-BlogPHP强力驱动