统一训练预算
基线与候选使用相同设备、默认训练预算与评估流程。
Autoresearch
Autoresearch 让 Codex、Claude Code 等编程 Agent 提出并验证小型语言模型的训练改动。先在单张 GPU 上建立基线，再用相同预算运行候选，并按实验台账复核结果。
对照基线验证一次 Autoresearch 改动
先定义一项训练改动并记录环境，再授权 Agent 开始实验。
带入 Floatboat 的请求
请求可预览和复制，不会从此处自动发送。
参考来源: Autoresearch https://github.com/karpathy/autoresearch 先阅读原始说明并核对当前环境与依赖。需要安装或连接新工具时，先提出方案。 我的任务: 先阅读 Autoresearch 官方 program.md，核对 GPU、准备好的数据与独立分支。给我看基线及一项 train.py 改动的运行计划。我批准命令后，只运行约定的实验，并在本地台账中对照 val_bpb、显存峰值和状态。 期望交付: 运行日志、results.tsv 记录，以及一份标明保留、放弃或崩溃的基线对照。
关于 Autoresearch
Andrej Karpathy 的 Autoresearch 将训练实验交给有环境权限的编程 Agent。人先在 program.md 设定实验范围，默认流程只改 train.py，数据准备和评估逻辑留在固定的 prepare.py 中。
默认训练预算是五分钟，不计启动与编译。将验证集每字节比特数（val_bpb）和显存峰值一并记录，并在相同 GPU 与配置下比较。该评估口径下，val_bpb 越低越好。
实验指引使用独立 Git 分支和本地 results.tsv 台账，记录基线、改动、分数、显存和保留、放弃或崩溃状态。项目 README 声明采用 MIT 许可。
Autoresearch 实验会留下哪些证据
先固定训练环境与评估方式，只检验一项改动。并排查看基线与候选日志，结合验证指标和显存峰值判断是否值得保留。
只修改训练脚本
将候选改动限制在 train.py，在这轮比较中固定数据准备和评估。
记录可复核结果
通过日志与 results.tsv 保留候选提交、val_bpb、显存峰值及处置状态。
Autoresearch 的单 GPU 实验场景
这套流程可用于建立首轮基线、验证具体改动或定位运行失败。每次都保留日志和处置状态，供下轮比较与交接。
建立可复现的基线
从已记录的上游提交和准备好的数据出发，先执行未改动的训练脚本。记录 GPU 型号、软件环境、val_bpb 与显存，让后续候选有同一口径的参考。
验证一项优化器改动
给 Agent 一个学习率或优化器假设，只授权一轮候选实验。在同一设备上对照基线，保存差异与实际运行结果。
排查显存不足
如果训练因显存不足中断，保留错误日志并标记为崩溃。重新启动前先复核候选改动和资源限制，再决定是否试一个更小的方案。
交接一个有潜力的候选
将基线与候选提交、原始日志和固定的评估设置交给复核人。请对方确认比较口径，并复跑有价值的结果后再扩大实验。
运行 Autoresearch 前的准备
先确认训练环境，再决定是否让编程 Agent 执行。以一次短基线试跑验证配置，并单独限定可启动的候选轮数。
GPU 与 Python 环境
官方快速开始使用单张 NVIDIA GPU、Python 3.10 或更高版本及 uv。README 标注 H100 为已测试的设备。
准备好的训练数据
先审阅并批准依赖安装和数据下载。用 uv run prepare.py 准备数据和分词器，再用 uv run train.py 检查基线。
独立分支与轮数上限
明确可写分支、允许改动的文件与最大实验次数，保留正常权限设置，扩大范围前另行确认。
相关软件项目
比较这些项目的用途、运行条件和源码许可。
Autoresearch 常见问题
默认由 Agent 修改哪个文件？
上游流程把改动限制在 train.py，固定 prepare.py 里的数据与评估逻辑，保证结果可比较。
val_bpb 衡量什么？
它衡量当前验证设置下的每字节比特数。按上游口径，分数越低代表该验证指标越好。
不同 GPU 的结果可以直接比较吗？
受控比较应使用相同 GPU 与训练设置。同样的时间预算在不同设备上可能完成不同数量的训练工作。
去哪里查看实验历史？
实验说明要求保留运行日志和本地 results.tsv，其中包含提交、val_bpb、显存峰值、状态与简短说明。
候选实验失败怎么处理？
保存失败证据，按实际结果标记崩溃或放弃。只拿有效运行与基线对照。
Mac 能运行官方默认配置吗？
官方默认配置需要一张 NVIDIA GPU。其他平台可查看 README 所列的社区移植和各自的环境说明。