实验比较:三种方法的优劣
我们以电子商务产品推荐系统为例,对比三种方法在语义搜索、相似度计算和RAG方面的表现。
方法一:向量数据库检索
首先,我们将产品描述和用户评论向量化存入Milvus向量数据库:
# 定义数据模式 collection_name = "products" dim = 1536 # OpenAI embedding维度 # 创建集合 collection = Collection(name=collection_name) collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True)) collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000)) collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim)) # 写入数据 with collection: for index, row in df.iterrows(): embedding = get_embedding(row.title + " " + row.description) collection.insert([ [index], [row.title], [row.description], [embedding] ])
语义搜索测试:搜索"轻便防水运动鞋"时,返回相关产品:
这里向量数据库展现了良好的语义理解能力,能找到功能相关的产品,即
使它们的描述用词不完全一致。
当用户询问"推荐适合雨天跑步的鞋子"时,系统检索出相关产品并生成建议:
以下是几款适合雨天跑步的鞋子推荐: - 防水透气跑步鞋XYZ采用特殊橡胶外底,提供优异抓地力 - 全天候运动鞋ABC配备防泼水面料,轻量设计适合长跑 - 专业越野跑鞋DEF具有排水设计,即使踩水也能快速干燥
然而,我们发现一个问题:向量数据库可能会返回视觉上相似但功能不匹配的产品(如时尚休闲鞋),这会导致"上下文污染",使LLM生成的推荐不够精准。
方法二:知识图谱检索
接下来,我们将同样的数据构建成知识图谱:
# 创建实体和关系 g.add((product_uri, RDF.type, Product)) g.add((product_uri, name, Literal(row['title']))) g.add((product_uri, description, Literal(row['description']))) # 添加产品属性和分类关系 for feature in features: feature_uri = create_valid_uri("http://example.org/feature", feature) g.add((feature_uri, RDF.type, Feature)) g.add((product_uri, hasFeature, feature_uri))
语义搜索测试:我们不仅搜索"防水"标签,还利用产品本体的层级关系,同时搜索相关概念如"防泼水"和"快干":
# 获取防水的相关概念 related_concepts = get_all_related_concepts("WaterProof", depth=2) # 将所有概念转为URI进行查询 feature_terms = [convert_to_feature_uri(term) for term in flat_list]
结果返回:
《Gore-Tex专业跑鞋》(标签:防泼水、透气、专业跑步)知识图谱的优势在于结果可解释性强,我们知道每个产品为什么被选中。
方法三:混合方法
最后,我们结合两种方法的优势:
将产品描述、评论和特性标签一起向量化:# 创建包含产品特性的向量表示 collection = Collection(name="products_with_features") collection.create_field(FieldSchema("id", DataType.INT64, is_primary=True)) collection.create_field(FieldSchema("title", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("description", DataType.VARCHAR, max_length=2000)) collection.create_field(FieldSchema("features", DataType.VARCHAR, max_length=500)) collection.create_field(FieldSchema("product_uri", DataType.VARCHAR, max_length=200)) collection.create_field(FieldSchema("embedding", DataType.FLOAT_VECTOR, dim=dim))先用向量搜索获取初步结果:# 搜索适合雨天跑步的鞋子 search_params = { "metric_type": "COSINE", "params": {"nprobe": 10} } results = collection.search( [get_embedding("适合雨天跑步的鞋子")], "embedding", search_params, limit=20, output_fields=["title", "description", "features", "product_uri"] )再用知识图谱筛选和排序:# 筛选出真正具备防水和跑步功能的产品 query = """ SELECT ?product ?title ?description WHERE { ?product hasFeature ?feature1. ?product hasFeature ?feature2. ?product name ?title. ?product description ?description. FILTER (?product IN (%s) && ?feature1 IN (%s) && ?feature2 IN (%s)) } """
这种混合方法解决了上下文污染问题,最终返回的都是真正适合雨天跑步的专业鞋款:
结论与实践建议