🌟🌟🌟🌟🌟 完整产品_全流程 服务器 数据库 前端 后端 embedding 大语言模型_LLM 聚类 工作流 爬虫 搜索引擎

基于 爬虫 + 大语言模型(LLM) +embedding+ 聚类 自研资讯聚合系统,支持摘要生成、情感分析与主题聚类,构建完整自动化信息处理工作流,已部署上线在线网址 (内容筛选&搜索引擎)。

项目介绍

🔥 项目背景:现有资讯来源信息量大且杂,自媒体内容片面、情绪化严重,缺乏系统性、客观性的新闻摘要与聚合服务,影响信息筛选效率与准确性。

🚀 解决方案

  • 后端基于Python自研资讯获取模块,整合 RSS爬虫 数据源,自动抓取感兴趣领域内容
  • 使用 大语言模型(LLM) 对原文进行摘要生成、情感打分、标签分类,并通过摘要 embedding 表征进行聚类和相关性过滤
  • 设计多级摘要流程:初步摘要 → 相似性过滤 → 综合总结,确保最终输出内容客观、简洁、无冗余
  • 前端使用 HTML + Tailwind CSS 开发轻量级界面,展示最新精选资讯,支持来源管理与关键词订阅,搜索引擎新闻搜索

🎯 项目效果:搭建完成网站 点击查看网站(电脑端或手机浏览器打开),实现后端全流程自主控制,支持灵活切换资讯来源、调整感兴趣话题,显著提升了信息筛选效率和内容质量,为自我学习与信息检索提供了高效辅助平台。

这个框架适用于自动化信息处理工作流,支持模块级编排多阶段任务串联,适用于各类数据驱动的结构化处理场景