YH Intelligence云鹤汇联YH / BENCHMARKS
一部分检查产品能否完成任务、复现结果；另一部分比较建模、决策与 token 用量。每项结果都附有测试范围和原始记录。
检查任务交付、工具接入和模型复用，以及版本更新前后的结果一致性。
RISA · TABARENA FULL-30 · 发布前复现
按原 TabArena 二分类协议核对全部 30 个任务与 472 个候选。最终模型选择、候选指标和预测排名一致；原宏平均 ROC-AUC 得以保留。
2026 年 10 月 3 日 · r7 发布前验证| 指标 | 原结果 | 复现结果 |
|---|---|---|
| ROC-AUC ↑ | 81.669% | 81.669% |
| 平均质量变化 | — | 0 个百分点 |
| 任务覆盖 | 30 / 30 | 30 / 30 |
ROC-AUC 用百分数展示，不是分类准确率。复现值由相同标签下完全相同的预测排名确定，没有重新读取隐藏标签评分。
原 TabArena v0.1 二分类 30 任务子集，r0/f0/s0。在 DGX ARM64 上运行 r7 发布工作保存的应用与原始 SDK。28 个任务原始分数逐字节一致，其余两个最大差约 2.04×10⁻¹⁴；全部排名一致，30 个模型重复预测逐字节一致。最终 Windows/Linux 包的安装与原生功能验收另计。
这轮没有新的 DSH token 计量。下方五任务效率对照单独标明模型、质量和用量，不将它的 token 降幅套用到 Full-30。
AGENT AS A SKILL · DSH
两条路径分别完成三个任务、每任务三次会话。接入 RISA 的九次运行都保存了模型，再次载入后的预测与交付文件完全一致。
这是早期 v6 接入检查：三项开发任务、真实模型请求、本地授权测试服务。建模质量和 token 对照见下方详细记录。
查看接入测试与质量对照 ↓LONG-CONTEXT TASKS · LONGBENCH
云小鹤 0.3.7 以 zero-shot 方式完成全部 200 题，没有终止失败；QA-F1 为 74.56。逐题答案、用量与评分脚本已公开。
v2 准确率 67.0%，四道未完成题计为错误。这是已公开的自报暂定结果，不是官方榜单提交；v1 与 v2 的分数不能直接比较。
DSH & RISA · 2026 年 10 月 2 日 · 历史 v6
两边收到相同请求与数据，均使用 DeepSeek Flash。普通 DSH 自行编程、选模型和调参；接入路径调用当时的 RISA balanced 优化器。三个任务各运行三次，记录全部模型请求的 token，并检查交付预测与保存模型。
该轮用量明显下降；Iris 准确率相当，两项回归任务的误差更高。它不能代表后续精度优先版或 r7 的 token 与质量组合。
| 任务与指标 | 普通 DSH token | 接入 RISA token | Token 减少 | 普通 DSH → 接入 RISA |
|---|---|---|---|---|
| Iris 准确率 ↑ | 399,363 | 11,263 | 97.18% | 98.92% → 100.00% |
| Diabetes RMSE ↓ | 701,886 | 15,149 | 97.84% | 53.1941 → 58.5824 |
| Friedman1 RMSE ↓ | 676,825 | 16,187 | 97.61% | 1.0162 → 3.5323 |
Token 合计包含输入、输出、缓存读取/写入和会话标题等辅助请求；推理 token 已计入输出，不再重复相加。降幅按两边总用量之比计算，不等于账单降幅。重复的是智能体会话，不是三个独立数据集或划分。
这是开发阶段的固定任务测试。两条路径的工具和上下文组织不同，YH 授权使用本地测试服务；模型调用是真实请求。后续精度优先版单独降低了回归误差，但没有配套重测 token，因此没有把两轮结果拼成一组。
HarnessAudit Vision 评测记录
60 例 Vision 任务的逐例记录：内容质量 0.6614（52 份完成报告），临时 Penalty-SAR 0.8722（59 条轨迹）。
60 个 Vision 案例的独立评测记录：52 份完成报告、7 个真实 HOLD、1 个原始路由失败。已完成报告的模型评判内容质量均值为 0.661442；59 条原始可观察轨迹的临时 Penalty-SAR 为 0.872222。修订口径的逐例 L1 SAR 平均值为 0.929722，明确将原始失败计零。原始评分门槛仍为 FAILED，没有官方 Overall 分数。
提供中英双语说明、60 行逐例派生分数和汇总文件。独立重试未替换原始失败；各指标口径与来源哈希见发布页。
比较具体任务的建模质量、决策成绩和 token 用量，分别列出基线、数据集与指标。
RISA · TABARENA
在 TabArena v0.1 的 30 个公开二分类数据集上，完成 241,578 行预测。较自家既有同集结果，宏平均 ROC-AUC 提高 3.60 个百分点，24 个数据集得分上升。
范围为 30 个二分类数据集子集，不是完整 TabArena 总榜。
逐数据集成绩 ↗AVALON · SUPPLYCHAINBENCH
云小鹤供应链分析 Agent 使用 Avalon r4，在冻结环境中逐步完成决策。每个情景包含 36 次动作，16 局全部完成。
同一冻结环境、种子与成本公式。得分为评测单位，不是百分比或美元。
查看冻结榜单与成绩 ↗RISA · 独立的五任务同模型对照
两条路径均使用 DeepSeek Pro。接入 RISA-G1 后，五项任务的平均准确率从 83.87% 变为 82.97%，平均 token 用量从 683,477 降至 254,678。
公开记录 · 2026 年 9 月 6 日| 指标 | DeepSeek Pro 原生路径 | DeepSeek Pro + RISA-G1 |
|---|---|---|
| LLM token 用量 ↓ | 683,477 | 254,678 |
| 准确率 ↑ | 83.87% | 82.97% |
| Macro F1 ↑ | 0.7952 | 0.7545 |
| 耗时（秒）↓ | 223.9 | 241.9 |
98.9% 是准确率的保留比例，不是最终准确率；绝对差为 0.90 个百分点。这组结果体现的是 token 用量下降，耗时并未缩短。
五项任务：Adult Income, Bank Marketing, Credit-G, Spambase, Steel Plates.
这是独立的历史同模型效率对照，与 TabArena 30 数据集实验分开。Token 降幅不等于费用降幅，也不是当前下载版本在所有任务上的承诺。公开 CSV 另列的 Flash Agent 使用不同模型和计量范围，未混入这组比较。
评测记录日期：2026 年 9 月 6 日。
完成 241,578 行预测，平均 ROC-AUC 为 0.8167；较自家既有同集结果 0.7807 提高，24 个数据集得分上升。
TabArena 30 个二分类数据集；ROC-AUC 衡量区分两类的能力。完成 16 个冻结情景，每个情景 36 次动作，环境成本得分为 54.81。
公开供应链模拟环境，按环境回执与冻结评分器核验。共同设置：LTX-2.5 22B 蒸馏版，原始 BF16、无额外量化，704 × 448、121 帧、24 帧/秒，约 5.04 秒音视频。
单条样例约 48.12 分钟。
已有文本条件至成片的分段计时合计。10 路并发，平均约 46.23 分钟/批。
3 轮共 30 项任务，29 项完整成片。串行处理平均约 8.74 分钟/条。
30 项全部完整成片，包含动态文本编码。运行方式和计时范围各不相同。完整成片指媒体可解码；图像质量与提示词符合度需另行评估。
云小鹤 0.3.9.8 公开评测
表格建模涵盖 30 个数据集，供应链评测包含 16 局连续决策。可下载结果、图表和评测说明。
云小鹤 0.3.9.8 的两组评测：RISA 在 TabArena v0.1 binary r0f0s0 的 30 个公开数据集上完成表格建模；供应链分析 Agent Avalon r4 在 SupplyChainBench 冻结环境中完成 16 个种子的连续决策。
提供技术报告、客户成果简报、配对评分 CSV、冻结榜单、图表和证据哈希。另附独立的历史五任务 Token 效率对照；实现代码不在此次发布范围内。
LongBench 评测发布
云小鹤 0.3.7 的 LongBench zero-shot 评测，公开逐题记录与指标重算脚本。
云小鹤 0.3.7 在 LongBench v1 HotpotQA 上的完整 zero-shot 评测。逐题答案、评分、耗时和用量记录一并公开，可使用随附脚本重新计算指标。
提供 JSONL 记录、指标重算脚本、图表和技术报告。
文件、许可和评测方法见对应仓库。原目录核对于 2026 年 9 月 17 日，Vision 记录新增于 9 月 21 日。这些是相应版本的历史结果，不是对当前下载版本的新测试。
部分 Hugging Face 项目显示近 30 天下载数，每小时同步，不代表独立用户数。统计口径见模型下载说明和数据集下载说明。
以上记录对应各自的测试日期与版本，不是当前服务的在线率统计。研究方法与发表记录见研究论文 →