体育内容库 / 抓取运营

品类运营

按品类看每天的抓取

先看品类,再追到抓取方向、版本、Query、任务和原始视频。

真实数据快照 · 操作按钮尚未接入线上任务
统计截至 2026-07-15 11:05今天尚未结束 · 入库时间口径
i种子分类不等于视频内容分类。 页面统计抓回与入库;视频是否属于目标类型,以抽检结果为准。
统计截至 2026-07-15 11:05 · 今天尚未结束
近 7 天入库视频
288,155
较前 7 天 +21.4%
昨日入库视频
6,629
较前天 -5.4%
今日入库视频
3,629
今日时间进度 47%
运行中的抓取方向
6 / 7
1 个方向已暂停
运行方向实体覆盖率
82.6%
近 7 天 +4.1pp
288,155
7 天累计抓回
41,165
日均抓回
最近 7 天抓回趋势
柱为抓回总量,图例展示构成;7 月 15 日为当前时点

品类日报

品类 → 抓取方向 → 版本 → Query → 入库视频
Query 明细:2026-07-15

抓取建议

根据覆盖、抽检、Query 和入库量判断;点击一行查看依据
当前数据快照
建议抓取方向覆盖率抽检可入库率有结果 Query近 7 天入库判断依据下一步

抓取链路

品类 → 抓取方向 → 版本 → Query → 抓回视频 → 内容处理 → 下载 → 入库
当前数据快照

待处理问题

按影响实体和入库量排序

抓取方向

覆盖率按“每个名单对象至少 5 条去重目标视频”计算;点击一行查看版本
抓取方向状态关联品类实体覆盖率有结果 Query任务成功率今日入库日环比近 7 天入库异常

品类构成

按最终内容分类;四类合计 425,948 条去重视频
纯享集锦
233,570
混剪集锦
77,948
画面讲解
60,058
人物故事
54,372

平台构成

去重视频按首次抓回平台统计
61.2%25.2%13.6%
260,726TikTok
107,212YouTube
57,964Instagram

运动分布

基于当前 6,000 条可追溯核验样本统计,不外推为 425,948 条全库分布
已标注 3,696 · 61.6%未标注 2,304 · 38.4%

数据质量

每天运营前先确认数据是否完整、能否追到原视频
抓取来源记录完整率91.4%目标 ≥ 98%;缺失记录不能计入方向覆盖。
原始 URL 完整率99.2%176 条待补;影响跨平台去重与原视频核验。
运动标签完整率96.0%891 条待补;优先读取种子自带 sport 字段。
多 Query 重复归因18.6%允许多重贡献,但每个抓取方向内按视频去重。
延迟任务37超过 30 分钟未结束;涉及 Instagram 与 YouTube。
5 类问题的当前处理范围
抓取来源缺失补 direction_id 与版本;补齐前不计入方向覆盖。
原始 URL 缺失补原平台链接;缺失时不能核验视频和跨平台去重。
运动标签缺失优先补种子自带 sport 字段,再做统一归并。
重复归因保留多个 Query 的贡献,全局视频总量只计算一次。
延迟任务超过 30 分钟进入异常列表,并保留任务 ID 供重试。

研发技术基建监控

质量 / 热度过滤:清晰度、帧率、标签、语言、低热度、黑名单与下载异常
近 30 天 · 截至 2026-07-16
YouTube5,363,18763.7%
TikTok2,339,98827.8%
Instagram711,5948.5%
每日过滤量,柱内按平台堆叠;悬浮查看日期和具体数量峰值 1,280,000

今日各平台原因

07-16 · 0
今日暂无质量 / 热度过滤命中。

链路健康

需要研发持续关注的质量指标
抓取来源记录完整率91.4%目标 ≥ 98%
原始 URL 完整率99.2%176 条待补
运动标签完整率96.0%891 条待补
超过 30 分钟的任务37涉及 Instagram 与 YouTube

近 30 天过滤原因排行

Top 17 · 覆盖过滤总量 99.96%
平台处理阶段过滤原因数量占比
查看统计口径与处理说明
数据时间过滤监控截至 2026-07-16;业务数据按 Asia/Singapore 自然日统计。
过滤总量按每次规则命中记录统计;同一内容可能在不同阶段命中不同规则。
去重估算按平台原始 ID 与规范化 URL 合并,用于判断受影响内容规模。
阶段划分搜索、解析前、多阶段、下载前和下载后分别保留原因与任务记录。
异常处理处理错误和超时任务保留 task_id,可按原因重试或回溯规则版本。