When Does a Language World Model Help Autonomous Research?
A controlled negative result on tabular ML — and a pipeline that caught its own false positives
Team Pegasus — Nevil Enyola, Icham, and collaborators Paris Research Hackathon (TUM.ai × Iterate), Track 3 — Autonomous AI Research Agent · June 2026
Abstract
We built Lucky Loop, an autonomous research agent that runs the full loop — literature review, dataset selection, code generation, real execution, and claim verification — and adds two ideas on top of the standard agent-scientist recipe: (1) predict-before-compute, a pretrained language world model (Qwen-AgentWorld-35B-A3B, served on an AMD MI300X) forecasts an experiment's outcome before it is run; and (2) verify-before-claim, a deterministic effect-vs-noise gate plus a machine-enforced claim ledger that admits a finding only when the measured effect exceeds estimated seed noise.
The system works end-to-end: in a real run it autonomously selected a dataset, reviewed arXiv literature, generated and executed code across multiple model families, and the verifier confirmed a single claim (effect/noise ratio 10.7). We then asked the scientific question we actually cared about: does the language world model improve the research loop? In two controlled ablations (a decision ablation over three studies, and a 16-candidate × 6-dataset experiment-ordering ablation), the answer on tabular ML is no measurable benefit over trivial heuristics. An apparent +98.7% compute saving evaporated under verification: it did not reproduce across the model's stochastic predictions, and a one-line "cheapest-first" baseline beat the world model on 5 of 6 datasets. We report this honestly. The most useful artifact of the project is that our own verify-before-claim pipeline caught three false positives that were in our favor — the clearest possible demonstration of the thesis it was built to test.
1. Introduction
Autonomous research agents (Sakana AI Scientist, RD-Agent, Agent Laboratory) can now propose ideas, write code, and draft papers. The recognized bottleneck is not idea generation but verification: "AI Scientists Fail Without Strong Implementation Capability" [2506.01372]. Two responses exist in isolation. One line predicts before computing — surrogate models (Bayesian optimization; LLM surrogates such as LLAMBO [2402.03921]) or outcome forecasters (Wen et al. [2506.00794], FOREAGENT [2601.05930]) — to spend compute well. A second line verifies after computing — deterministic, ground-truth gates (POPPER [2502.09858]; offline benchmarks like MLE-bench [2410.07095], CORE-Bench [2409.11363]).
Lucky Loop fuses the two inside one live loop: a language world model forecasts the outcome, but the forecast is never the decision — it is gated by a verifier that executes the real code and admits a claim only on effect-vs-noise grounds. No public system combines a pre-compute language-world-model forecast with an in-loop effect-vs-noise claim gate.
Building the system is one contribution. The other is measuring whether the world model actually earns its place — and reporting the result whichever way it falls.
2. Related Work
Autonomous research agents (what we extend). Verification here is post-hoc: LLM-as-reviewer of prose (Sakana v1 [2408.06292] / v2 [2504.08066], Agent Laboratory [2501.04227]); execution feedback without a claim gate (RD-Agent [2505.14738], Curie [2502.16069]); offline ground-truth benchmarks that score after the loop (PaperBench [2504.01848], RE-Bench [2411.15114]). The closest, POPPER [2502.09858], adds deterministic Type-I error control but has no pre-compute prediction step.
Experiment selection / LLM surrogates (predict-before-compute). Classic surrogate-then-select: BO [1206.2944], Hyperband [1603.06560], BOHB [1807.01774]; cost-aware variants FABOLAS [1605.07079], CAGES [2405.07760]. LLM-as-surrogate: LLAMBO [2402.03921], OPRO [2309.03409]. We replace the task-fitted surrogate with a zero-shot pretrained language world model, removing cold-start but losing calibrated uncertainty — hence the need for a verifier.
Predicting experiment outcomes (direct prior art). Wen et al. [2506.00794] predict which idea wins; FOREAGENT [2601.05930] forecasts ML-agent outcomes to skip executions. Both treat the forecast as the decision. We make it a speculative pre-filter gated by ground-truth execution.
Verify-before-claim (the gate's foundation). Reproducibility and effect-vs-noise rigor: "Are GANs Created Equal?" [1711.10337], "Deep RL That Matters" [1709.06560], Reimers-Gurevych [1707.09861], Bouthillier [2103.03098]; claim-verification structure [2408.14317]. We move this human, post-hoc discipline into the loop as a deterministic gate.
Why confidence is not the gate (calibration). Deep nets are systematically overconfident [1706.04599], arbitrarily confident far from training data [1812.05720], and RLHF degrades calibration [2303.08774]; memorization inflates self-knowledge [2506.18998]. Overconfidence concentrates exactly on the unfamiliar inputs that matter most → we verify, we do not trust. This principle ended up applying to our own results (§6).
3. System
Lucky Loop runs a staged loop over a research question:
- Literature review — arXiv metadata/abstracts + curated notes feed a domain/method related-work pass and a gap list.
- Dataset selection — discovery over Hugging Face / OpenML with a recorded rationale.
- Protocol generation — a falsifiable protocol (hypothesis, falsification condition, controlled variables, seeds, primary metric).
- Code generation → static validation → sandboxed dry-run → real execution.
- Verification — every candidate claim enters a claim ledger:
claim → evidence_ids → metrics(effect_size, seed_noise, effect_to_noise_ratio) → verdict. A claim issupportedonly if the measured effect exceeds estimated seed noise by a threshold; otherwiseblocked.
The world model (predict-before-compute). Before each lab action, Qwen-AgentWorld is queried for a structured forecast (recommendation, compute_waste_risk, value_of_information). When the model or sim is unavailable, a deterministic heuristic stub is used. The forecast informs action selection but never overrides the verifier: scientific evidence comes only from executed code.
Serving. Qwen-AgentWorld-35B-A3B runs under vLLM on an AMD MI300X (ROCm), OpenAI-compatible endpoint. All world-model calls in this paper hit the real model unless stated.
4. Experimental setup
We isolate one question: does the world model change what the loop does, or do better than a trivial heuristic?
- M1 (does the loop run for real?). One open-ended question, real Qwen required (
require_qwen=true), budget 6. - A1 (decision ablation). Three fixed-dataset studies, deterministic planner, no scientist agent (removes dataset-choice and LLM-text confounds). The only variable is the world model: ON = real Qwen (
wm_source=qwen_agentworld) vs OFF = heuristic fallback (wm_source=plumbing_not_called). n=3 per arm. - A2 (experiment-ordering ablation, large candidate space). 16 model/hyperparameter candidates (cost and accuracy both varied) × 6 datasets (breast_cancer, wine, digits, iris, two synthetic). The world model predicts each candidate's accuracy; we order candidates by the prediction and measure compute-to-best (runtime until the best-accuracy model is reached) against baselines.
5. Results
5.1 The loop runs end-to-end (M1)
Question: "Does feature scaling improve logistic regression accuracy on breast_cancer?" The agent ran the literature pass and — exercising its autonomous dataset selection — picked the OpenML eeg_eye_state sensor dataset over sklearn's breast_cancer, then generated and executed a protocol over four model families on it (seeds 42/52/62/72/82). The verifier returned one supported claim: effect_size 0.121, seed_noise 0.011, effect/noise ratio 10.7. All 8/8 world-model predictions came from the real Qwen (qwen_agentworld, 0 fallback). One artifact flaw we keep visible: the ledger's claim text inherits the question's breast_cancer wording while the evidence ran on eeg_eye_state — the verifier gates the numbers, not the prose. The full Track-3 cycle — review → code → analysis → verified report — is demonstrated on real hardware.
First signal of the null: all 8 real-Qwen predictions returned the identical structured recommendation = run. Even running for real, the world model's decision-relevant signal never diverged from the heuristic.
5.2 Decision ablation: NULL (A1)
| Study | exp_runs ON/OFF | supported ON/OFF | blocked ON/OFF | compute saved by WM |
|---|---|---|---|---|
| leakage_trap | 4 / 4 | 0 / 0 | 2 / 2 | 0.0 |
| seed_variance_claim | 3 / 3 | 0 / 0 | 4 / 4 | 0.0 |
| split_validity_sensor | 4 / 4 | 2 / 2 | 3 / 3 | 0.0 |
Every decision and every claim verdict is identical with the real world model vs the heuristic. The only non-zero difference is runtime jitter (±0.01–0.10 s, inconsistent sign). The real Qwen's structured signal collapses to the same recommendation=run, compute_waste_risk=0.0, value_of_information=0.5 as the stub on these tasks. No measurable effect.
5.3 Experiment-ordering ablation: an apparent win that did not survive verification (A2)
A first run suggested ordering by Qwen's predicted accuracy saved +98.7% compute vs random on real datasets. Under scrutiny it collapsed:
| dataset | vs random | vs cheapest-first | cost-aware vs cheapest-first |
|---|---|---|---|
| breast_cancer | −135% (run 1: +98.7%) | −8727% | +0.0% |
| wine | +96% | −168% | +0.0% |
| digits | +99% | +57% | +0.0% |
| iris | +83% | −8% | +0.0% |
| synth_easy | −85% | −3969% | +0.0% |
| synth_hard | −100% | −2288% | +0.0% |
- Not reproducible. breast_cancer flipped from +98.7% to −135% across two runs — Qwen's predictions vary between calls (temp 0.2), so the "win" was sampling noise.
- Beaten by one line of code. A trivial cheapest-first heuristic (run the lowest-cost candidate first) beat the world-model ordering on 5 of 6 datasets.
- The cost term does all the work. Making the ranking cost-aware (predicted-accuracy-per-unit-cost) yields +0.0% over cheapest-first everywhere — it degenerates into cheapest-first. The world model contributes nothing the cost heuristic doesn't.
Conclusion. On tabular ML, the language world model does not improve experiment selection over trivial heuristics — robust across both ablations.
6. The result behind the result: verify-before-claim, applied to ourselves
The project's thesis is that models are overconfident on what looks good and must be verified, not trusted. Over one working day, our own pipeline caught three false positives, all in our favor:
- Confounded pilot — the autonomous agent chose different datasets per arm for the same question; the world-model effect was inseparable from the dataset change → fixed with the fixed-dataset controlled path.
- Self-deceiving analyzer — our ablation analyzer reported "EFFECT MEASURED" on runtime jitter while every decision metric was identical → flagged and corrected.
- The +98.7% mirage — an exciting headline number that was non-reproducible and beaten by a one-line baseline → killed before publication.
Had we shipped the +98.7%, we would have published exactly the overconfident, noise-as-signal claim the system exists to prevent. The verifier stopped its own builders. That is the contribution we trust most.
7. Limitations
- Tabular sklearn tasks only. The null may not transfer to open-ended, high-variance, or expensive research tasks where structured forecasts could genuinely diverge. Foresight also had little to buy here: each experiment costs milliseconds, and the value of predicting an outcome should scale with the cost of obtaining it.
- Baselines. A1's OFF arm is a heuristic stub; A2's strongest baseline (cheapest-first) is itself trivial — the honest reading is "the world model does not beat trivial heuristics here," not "world models are useless."
- Relation to the world-model research program. Our result does not contradict the case for world models in perception and robotics. The failure mode we observed — the structured signal collapsing to a constant — is precisely the absence of calibrated, decision-relevant uncertainty ("knowing when it doesn't know") that latent world-model research identifies as the core capability to build. The null is a data point for that program, not a refutation of it.
- Scale / variance. n=3 (A1), single split per dataset (A2), low-temperature stochastic predictions. Reproducibility commands are emitted per run.
- Forecast use. We tested decision-gating and accuracy-ranking; other uses (failure prediction, early-stopping, multi-step planning) are untested.
8. Conclusion
We built a working autonomous research agent that fuses pre-compute language-world-model forecasting with an in-loop effect-vs-noise verifier, and we measured the world model honestly. On tabular ML it adds no decision value over trivial heuristics — a controlled negative result. More importantly, the verification machinery caught three false positives produced by its own authors, including a headline number we wanted to be true. When does a language world model help autonomous research? On these tasks, not yet — and the discipline that let us say so is the real system.
Artifacts (reproducible)
- M1 workspace:
reports/lab/open-does-feature-scaling-improve-logistic-regression-accuracy-on-breast-canc/(notebook, predictions, claim ledger, final report). - A1:
reports/lab_ablations/<study>/{on,off}_run*/+ per-studyanalysis.json. - A2:
experiments/wm_guidance_bigspace.py,reports/wm_guidance_bigspace.json. - World model: Qwen-AgentWorld-35B-A3B, vLLM on AMD MI300X (ROCm).
References
Verified arXiv identifiers, by section. Agents: AI Scientist v1 [2408.06292] / v2 [2504.08066], Agent Laboratory [2501.04227], RD-Agent [2505.14738], Curie [2502.16069], MLE-bench [2410.07095], PaperBench [2504.01848], RE-Bench [2411.15114], CORE-Bench [2409.11363], POPPER [2502.09858], implementation-capability critique [2506.01372]. Selection/surrogates: BO [1206.2944], Hyperband [1603.06560], BOHB [1807.01774], FABOLAS [1605.07079], CAGES [2405.07760], LLAMBO [2402.03921], OPRO [2309.03409]. Outcome prediction: Wen et al. [2506.00794], FOREAGENT [2601.05930]. World models: Qwen-AgentWorld [2606.24597]. Reproducibility: [1711.10337], [1709.06560], [1707.09861], [2103.03098], claim verification [2408.14317]. Calibration: [1706.04599], [1812.05720], [2303.08774], [2506.18998].
Quand un language world model aide-t-il la recherche autonome ?
Un résultat négatif contrôlé sur du ML tabulaire — et un pipeline qui a intercepté ses propres faux positifs
Team Pegasus — Nevil Enyola, Icham et collaborateurs Paris Research Hackathon (TUM.ai × Iterate), Track 3 — Autonomous AI Research Agent · juin 2026
Résumé
Nous avons construit Lucky Loop, un agent de recherche autonome qui exécute la boucle complète — revue de littérature, sélection de dataset, génération de code, exécution réelle et vérification des conclusions — et ajoute deux idées à la recette standard de l'agent-scientifique : (1) predict-before-compute, un language world model pré-entraîné (Qwen-AgentWorld-35B-A3B, servi sur un AMD MI300X) prédit le résultat d'une expérience avant de la lancer ; et (2) verify-before-claim, une porte déterministe effet-contre-bruit et un claim ledger appliqué par la machine qui n'admet une conclusion que lorsque l'effet mesuré dépasse le bruit de seed estimé.
Le système fonctionne de bout en bout : dans un run réel, il a sélectionné un dataset de façon autonome, passé en revue la littérature arXiv, généré et exécuté du code sur plusieurs familles de modèles, et le verifier a confirmé une seule conclusion (ratio effet/bruit de 10,7). Nous avons ensuite posé la question scientifique qui nous importait vraiment : le language world model améliore-t-il la boucle de recherche ? Dans deux ablations contrôlées (une ablation décisionnelle sur trois études et une ablation d'ordonnancement d'expériences à 16 candidats × 6 datasets), la réponse sur du ML tabulaire est : aucun bénéfice mesurable par rapport à des heuristiques triviales. Un gain apparent de +98,7 % de compute s'est évaporé sous vérification : il ne se reproduisait pas d'un appel à l'autre du modèle stochastique, et une baseline d'une ligne de code (« cheapest-first ») a battu le world model sur 5 datasets sur 6. Nous le rapportons honnêtement. L'artefact le plus utile du projet est que notre propre pipeline verify-before-claim a intercepté trois faux positifs qui allaient dans notre sens — la démonstration la plus claire possible de la thèse qu'il était censé tester.
1. Introduction
Les agents de recherche autonomes (Sakana AI Scientist, RD-Agent, Agent Laboratory) savent désormais proposer des idées, écrire du code et rédiger des papers. Le goulot d'étranglement reconnu n'est pas la génération d'idées mais la vérification : « AI Scientists Fail Without Strong Implementation Capability » [2506.01372]. Deux réponses existent, isolément. Une première ligne prédit avant de calculer — modèles surrogates (optimisation bayésienne ; surrogates LLM comme LLAMBO [2402.03921]) ou prédicteurs de résultats (Wen et al. [2506.00794], FOREAGENT [2601.05930]) — pour bien dépenser le compute. Une seconde ligne vérifie après avoir calculé — portes déterministes ancrées dans la vérité terrain (POPPER [2502.09858] ; benchmarks hors-ligne comme MLE-bench [2410.07095], CORE-Bench [2409.11363]).
Lucky Loop fusionne les deux dans une seule boucle vivante : un language world model prédit le résultat, mais la prédiction n'est jamais la décision — elle est gardée par un verifier qui exécute le vrai code et n'admet une conclusion que sur des critères effet-contre-bruit. Aucun système public ne combine une prédiction pré-compute par language world model avec une porte de claims effet-contre-bruit dans la boucle.
Construire le système est une contribution. L'autre est de mesurer si le world model mérite réellement sa place — et de rapporter le résultat, quel qu'il soit.
2. Travaux connexes
Agents de recherche autonomes (ce que nous étendons). La vérification y est post-hoc : LLM-relecteur de prose (Sakana v1 [2408.06292] / v2 [2504.08066], Agent Laboratory [2501.04227]) ; retour d'exécution sans porte de claims (RD-Agent [2505.14738], Curie [2502.16069]) ; benchmarks vérité-terrain hors-ligne qui notent après la boucle (PaperBench [2504.01848], RE-Bench [2411.15114]). Le plus proche, POPPER [2502.09858], ajoute un contrôle déterministe de l'erreur de type I mais n'a pas d'étape de prédiction pré-compute.
Sélection d'expériences / surrogates LLM (predict-before-compute). Le schéma classique surrogate-puis-sélection : BO [1206.2944], Hyperband [1603.06560], BOHB [1807.01774] ; variantes cost-aware FABOLAS [1605.07079], CAGES [2405.07760]. LLM-comme-surrogate : LLAMBO [2402.03921], OPRO [2309.03409]. Nous remplaçons le surrogate ajusté à la tâche par un language world model pré-entraîné zero-shot, ce qui supprime le cold-start mais perd l'incertitude calibrée — d'où la nécessité d'un verifier.
Prédire les résultats d'expériences (antécédents directs). Wen et al. [2506.00794] prédisent quelle idée gagne ; FOREAGENT [2601.05930] prédit les résultats d'agents ML pour éviter des exécutions. Les deux traitent la prédiction comme la décision. Nous en faisons un pré-filtre spéculatif gardé par l'exécution réelle.
Verify-before-claim (le fondement de la porte). Reproductibilité et rigueur effet-contre-bruit : « Are GANs Created Equal? » [1711.10337], « Deep RL That Matters » [1709.06560], Reimers-Gurevych [1707.09861], Bouthillier [2103.03098] ; structure de vérification de claims [2408.14317]. Nous déplaçons cette discipline humaine et post-hoc dans la boucle, sous forme de porte déterministe.
Pourquoi la confiance n'est pas la porte (calibration). Les réseaux profonds sont systématiquement surconfiants [1706.04599], arbitrairement confiants loin des données d'entraînement [1812.05720], et le RLHF dégrade la calibration [2303.08774] ; la mémorisation gonfle la connaissance de soi [2506.18998]. La surconfiance se concentre exactement sur les entrées inconnues qui comptent le plus → nous vérifions, nous ne faisons pas confiance. Ce principe a fini par s'appliquer à nos propres résultats (§6).
3. Système
Lucky Loop exécute une boucle par étapes sur une question de recherche :
- Revue de littérature — métadonnées/abstracts arXiv + notes curées alimentent une passe related-work domaine/méthode et une liste de gaps.
- Sélection de dataset — découverte sur Hugging Face / OpenML avec justification enregistrée.
- Génération de protocole — un protocole falsifiable (hypothèse, condition de falsification, variables contrôlées, seeds, métrique primaire).
- Génération de code → validation statique → dry-run sandboxé → exécution réelle.
- Vérification — chaque conclusion candidate entre dans un claim ledger :
claim → evidence_ids → metrics(effect_size, seed_noise, effect_to_noise_ratio) → verdict. Une conclusion n'estsupportedque si l'effet mesuré dépasse le bruit de seed estimé d'un seuil ; sinon elle estblocked.
Le world model (predict-before-compute). Avant chaque action de labo, Qwen-AgentWorld est interrogé pour une prédiction structurée (recommendation, compute_waste_risk, value_of_information). Quand le modèle ou le simulateur est indisponible, un stub heuristique déterministe prend le relais. La prédiction informe la sélection d'action mais ne passe jamais au-dessus du verifier : la preuve scientifique ne vient que du code exécuté.
Serving. Qwen-AgentWorld-35B-A3B tourne sous vLLM sur un AMD MI300X (ROCm), endpoint compatible OpenAI. Tous les appels au world model dans ce paper touchent le vrai modèle, sauf mention contraire.
4. Dispositif expérimental
Nous isolons une seule question : le world model change-t-il ce que fait la boucle, ou fait-il mieux qu'une heuristique triviale ?
- M1 (la boucle tourne-t-elle pour de vrai ?). Une question ouverte, vrai Qwen requis (
require_qwen=true), budget 6. - A1 (ablation décisionnelle). Trois études à dataset fixe, planner déterministe, pas d'agent scientifique (élimine les facteurs confondants choix-de-dataset et texte-LLM). La seule variable est le world model : ON = vrai Qwen (
wm_source=qwen_agentworld) vs OFF = fallback heuristique (wm_source=plumbing_not_called). n=3 par bras. - A2 (ablation d'ordonnancement d'expériences, grand espace de candidats). 16 candidats modèle/hyperparamètres (coût et accuracy variés tous deux) × 6 datasets (breast_cancer, wine, digits, iris, deux synthétiques). Le world model prédit l'accuracy de chaque candidat ; nous ordonnons les candidats selon la prédiction et mesurons le compute-to-best (temps d'exécution jusqu'à atteindre le meilleur modèle) contre des baselines.
5. Résultats
5.1 La boucle tourne de bout en bout (M1)
Question : « Le feature scaling améliore-t-il l'accuracy de la régression logistique sur breast_cancer ? » L'agent a exécuté la passe de littérature et — exerçant sa sélection autonome de dataset — a choisi le dataset capteur OpenML eeg_eye_state plutôt que le breast_cancer de sklearn, puis a généré et exécuté dessus un protocole sur quatre familles de modèles (seeds 42/52/62/72/82). Le verifier a rendu une seule conclusion supported : effect_size 0,121, seed_noise 0,011, ratio effet/bruit 10,7. Les 8/8 prédictions du world model venaient du vrai Qwen (qwen_agentworld, 0 fallback). Un défaut d'artefact que nous laissons visible : le texte du claim dans le ledger hérite de la formulation breast_cancer de la question alors que la preuve a tourné sur eeg_eye_state — le verifier garde les chiffres, pas la prose. Le cycle Track-3 complet — revue → code → analyse → rapport vérifié — est démontré sur du vrai hardware.
Premier signal du null : les 8 prédictions du vrai Qwen ont retourné la même recommendation = run structurée. Même en tournant pour de vrai, le signal décisionnel du world model n'a jamais divergé de l'heuristique.
5.2 Ablation décisionnelle : NULL (A1)
| Étude | exp_runs ON/OFF | supported ON/OFF | blocked ON/OFF | compute économisé par le WM |
|---|---|---|---|---|
| leakage_trap | 4 / 4 | 0 / 0 | 2 / 2 | 0,0 |
| seed_variance_claim | 3 / 3 | 0 / 0 | 4 / 4 | 0,0 |
| split_validity_sensor | 4 / 4 | 2 / 2 | 3 / 3 | 0,0 |
Chaque décision et chaque verdict de claim est identique avec le vrai world model et avec l'heuristique. La seule différence non nulle est du jitter de runtime (±0,01–0,10 s, signe incohérent). Le signal structuré du vrai Qwen s'effondre sur ces tâches vers le même recommendation=run, compute_waste_risk=0.0, value_of_information=0.5 que le stub. Aucun effet mesurable.
5.3 Ablation d'ordonnancement : un gain apparent qui n'a pas survécu à la vérification (A2)
Un premier run suggérait qu'ordonner selon l'accuracy prédite par Qwen économisait +98,7 % de compute vs aléatoire sur les datasets réels. Sous examen, cela s'est effondré :
| dataset | vs aléatoire | vs cheapest-first | cost-aware vs cheapest-first |
|---|---|---|---|
| breast_cancer | −135 % (run 1 : +98,7 %) | −8727 % | +0,0 % |
| wine | +96 % | −168 % | +0,0 % |
| digits | +99 % | +57 % | +0,0 % |
| iris | +83 % | −8 % | +0,0 % |
| synth_easy | −85 % | −3969 % | +0,0 % |
| synth_hard | −100 % | −2288 % | +0,0 % |
- Non reproductible. breast_cancer est passé de +98,7 % à −135 % entre deux runs — les prédictions de Qwen varient d'un appel à l'autre (temp 0,2), donc le « gain » était du bruit d'échantillonnage.
- Battu par une ligne de code. Une heuristique triviale cheapest-first (lancer d'abord le candidat le moins cher) a battu l'ordonnancement du world model sur 5 datasets sur 6.
- Le terme de coût fait tout le travail. Rendre le classement cost-aware (accuracy-prédite-par-unité-de-coût) donne +0,0 % partout par rapport à cheapest-first — il dégénère en cheapest-first. Le world model n'apporte rien que l'heuristique de coût n'ait déjà.
Conclusion. Sur du ML tabulaire, le language world model n'améliore pas la sélection d'expériences par rapport à des heuristiques triviales — résultat robuste sur les deux ablations.
6. Le résultat derrière le résultat : verify-before-claim, appliqué à nous-mêmes
La thèse du projet est que les modèles sont surconfiants sur ce qui semble bon et doivent être vérifiés, pas crus sur parole. En une journée de travail, notre propre pipeline a intercepté trois faux positifs, tous en notre faveur :
- Pilote confondu — l'agent autonome a choisi des datasets différents par bras pour la même question ; l'effet world-model était inséparable du changement de dataset → corrigé avec le chemin contrôlé à dataset fixe.
- Analyseur auto-illusionné — notre analyseur d'ablation rapportait « EFFECT MEASURED » sur du jitter de runtime alors que toutes les métriques de décision étaient identiques → signalé et corrigé.
- Le mirage des +98,7 % — un chiffre-titre excitant, non reproductible et battu par une baseline d'une ligne → tué avant publication.
Si nous avions publié les +98,7 %, nous aurions publié exactement la conclusion surconfiante, du bruit pris pour du signal, que le système existe pour empêcher. Le verifier a arrêté ses propres constructeurs. C'est la contribution en laquelle nous avons le plus confiance.
7. Limites
- Tâches sklearn tabulaires uniquement. Le null pourrait ne pas se transférer à des tâches de recherche ouvertes, à forte variance ou coûteuses, où des prédictions structurées pourraient réellement diverger. La prévoyance avait d'ailleurs peu à acheter ici : chaque expérience coûte des millisecondes, et la valeur de prédire un résultat devrait croître avec le coût de son obtention.
- Baselines. Le bras OFF de A1 est un stub heuristique ; la baseline la plus forte de A2 (cheapest-first) est elle-même triviale — la lecture honnête est « le world model ne bat pas des heuristiques triviales ici », pas « les world models sont inutiles ».
- Relation au programme de recherche world-models. Notre résultat ne contredit pas les arguments en faveur des world models pour la perception et la robotique. Le mode de défaillance observé — le signal structuré qui s'effondre en constante — est précisément l'absence de l'incertitude calibrée et pertinente pour la décision (« savoir quand on ne sait pas ») que la recherche sur les world models latents identifie comme la capacité centrale à construire. Le null est un point de données pour ce programme, pas une réfutation.
- Échelle / variance. n=3 (A1), un seul split par dataset (A2), prédictions stochastiques à basse température. Les commandes de reproduction sont émises pour chaque run.
- Usage de la prédiction. Nous avons testé le gating de décision et le classement par accuracy ; d'autres usages (prédiction d'échec, early-stopping, planification multi-étapes) restent non testés.
8. Conclusion
Nous avons construit un agent de recherche autonome fonctionnel qui fusionne prédiction pré-compute par language world model et verifier effet-contre-bruit dans la boucle, et nous avons mesuré le world model honnêtement. Sur du ML tabulaire, il n'ajoute aucune valeur décisionnelle par rapport à des heuristiques triviales — un résultat négatif contrôlé. Plus important : la machinerie de vérification a intercepté trois faux positifs produits par ses propres auteurs, dont un chiffre-titre que nous voulions croire. Quand un language world model aide-t-il la recherche autonome ? Sur ces tâches, pas encore — et la discipline qui nous permet de le dire est le vrai système.
Artefacts (reproductibles)
- Workspace M1 :
reports/lab/open-does-feature-scaling-improve-logistic-regression-accuracy-on-breast-canc/(notebook, prédictions, claim ledger, rapport final). - A1 :
reports/lab_ablations/<study>/{on,off}_run*/+analysis.jsonpar étude. - A2 :
experiments/wm_guidance_bigspace.py,reports/wm_guidance_bigspace.json. - World model : Qwen-AgentWorld-35B-A3B, vLLM sur AMD MI300X (ROCm).
Références
Identifiants arXiv vérifiés, par section. Agents : AI Scientist v1 [2408.06292] / v2 [2504.08066], Agent Laboratory [2501.04227], RD-Agent [2505.14738], Curie [2502.16069], MLE-bench [2410.07095], PaperBench [2504.01848], RE-Bench [2411.15114], CORE-Bench [2409.11363], POPPER [2502.09858], critique implementation-capability [2506.01372]. Sélection/surrogates : BO [1206.2944], Hyperband [1603.06560], BOHB [1807.01774], FABOLAS [1605.07079], CAGES [2405.07760], LLAMBO [2402.03921], OPRO [2309.03409]. Prédiction de résultats : Wen et al. [2506.00794], FOREAGENT [2601.05930]. World models : Qwen-AgentWorld [2606.24597]. Reproductibilité : [1711.10337], [1709.06560], [1707.09861], [2103.03098], vérification de claims [2408.14317]. Calibration : [1706.04599], [1812.05720], [2303.08774], [2506.18998].