分布统计
分辨率、短边、长边、像素数、比例和质量分布；全量直方图与抽样分位数。
原生图片—文本模型 / 训练前数据初筛
先看清数据，
再决定保留什么。
从图片文件夹或图文清单开始，统计尺寸与质量分布，按分辨率和宽高比筛选，再完成全局去重与标准化导出。
Python 3.10+ · CPU 多进程 · 多机静态分片 · Windows / Linux / Docker
01导入文件夹 / JSONL
02统计尺寸 / 技术质量
03筛选规则 / 全局去重
04导出RGB 图片 / 图文清单
完整教程与代码说明
这个 Space 提供文档、命令设置和代码下载。清洗任务通过 CLI 在你的本地机器或服务器运行。
配置尺寸与比例
生成一条筛选命令
先按教程完成统计，将分片放在 runs/statistics/shards。以下设置只生成命令，可直接复制到终端。
输出到 runs/filtered；已有结果时请改用新目录。命令继承分析配置中的质量与去重设置。256p 表示短边 ≥256，包含 256。
用实际尺寸检查比例规则
偏差 δ=max(r/b,b/r)−1，包含阈值边界。实际 CLI 用精确分数比较；这里只展示所选桶和分辨率条件，不判断图片质量、文字和重复。
当前初筛覆盖
分辨率与八桶筛选
短边下限、精确宽高、严格比例和默认 5% 可调宽松偏差。
规范化与文本规则
EXIF、ICC、RGB、透明背景、Unicode、文本长度与正则检查。
技术质量代理
模糊、噪声、信噪比与块效应指标；阈值需针对你的数据校准。
全局去重
文件和像素精确去重，pHash / dHash / RMSE 联合近重复复核。
多进程与多机
SQLite 检查点与静态 rank；汇总分片后统一筛选、去重和报告。
看报告时，先核对这些数字
输入总数 = 保留 + 拒绝 + 重复 + 错误。比较分辨率独立通过率、桶独立通过率、最终保留率，以及各桶筛选前后数量。初筛结果仍需人工抽查图文对应关系与质量。
阅读所有指标的定义 →