首页 / 最新动态 / 内容详情

更新: 采集新增按栏目批量采集能力

发布时间:2026-10-27 作者:admin 来源:JTopCMS 阅读:

适配版本:V4.x+(基础 企业 金牌 信创政务)

本次JTopCMS更新为采集模块的一轮功能增强与健壮性优化。新增「按栏目批量采集」能力:管理员在采集任务管理页可直接打开栏目树,按栏目勾选后批量发起采集,系统自动将勾选栏目映射到对应的采集任务并串行执行,未配置采集任务的栏目自动跳过并给出提示;该能力全程复用既有采集接口,无需额外后端改动,管理员只需在后台权限的采集模块下新增一个页面菜单即可启用。同时针对采集入库环节做了稳定性与数据质量优化:采集规则未配置分页列表 URL 时不再因空值报错中断任务,文章详情页缺失日期时自动回退使用列表页采集到的日期,同批次采集的多篇文章按添加时间严格递增错开、修复了列表顺序与源站相反的问题,封面图下载失败时自动回退使用正文首图作为引导图。整体降低了采集任务的失败率,使采集内容的排序、日期与配图更贴近源站效果。

 下载:   v4.7+采集加强批量操作.zip


核心优化点

1)按栏目批量采集:采集任务管理页新增栏目树入口,勾选栏目后一键批量发起,系统自动完成"栏目 → 采集任务"的映射,免去逐条新建任务的重复操作。

2)串行执行,结果可控:勾选的多个栏目按顺序串行执行采集,避免并发抢占资源导致的超时与写入冲突;未配置采集任务的栏目自动跳过并给出提示,不会中断整批任务。

3)分页 URL 空值容错:采集规则未配置分页列表 URL 时,不再因空值报错导致任务直接中断,任务可正常完成单页采集。

4)日期回退机制:文章详情页缺失发布日期时,自动回退使用列表页已采集到的日期,避免出现空日期或默认时间错乱。

5)时间递增与顺序修正:同批次采集的多篇文章按添加时间严格递增错开,修复了采集结果与源站列表顺序相反的问题,采集后的栏目内容与源站保持一致。

6)封面图自动回退:封面图下载失败时,自动回退使用正文首图作为引导图,避免因单张图片失败导致内容无配图。

7)零后端改动启用:全部能力复用既有采集接口,无需额外后端开发,管理员在后台权限的采集模块下新增一个页面菜单即可使用。

效果示例

 


 


 



上一篇:没有了 下一篇:更新: AI 智能助理模块开发进展