Идеи имеют геномы: Бенчмаркинг научного родословного рассуждения и генерации идей, основанной на родословной
Аннотация
Представлен бенчмарк для научного родословного рассуждения и генерации идей, организующий научные работы в виде генетически подобных объектов Idea Genome и оценивающий как способности к рассуждению, так и к генерации.
Научные идеи редко начинаются с чистого листа. Они наследуют механизмы, исправляют известные ограничения и рекомбинируют фрагменты более ранних работ, подобно биологическим геномам. Современные бенчмарки всё ещё мало говорят о том, могут ли ИИ-системы следовать этой структуре наследования. Мы представляем IdeaGene-Bench (IG-Bench) — бенчмарк для научного родословного рассуждения и генерации идей, основанной на родословной. IG-Bench организован вокруг фреймворка IdeaGene: каждая статья или предложение представляется как набор минимальных, типизированных, основанных на доказательствах объектов Idea Genome, а GenomeDiff выравнивает эти объекты для записи наследования, мутации, потери, внешнего импорта и новой вставки в соответствии с шестью операционными эволюционными динамиками. Бенчмарк содержит 1 961 эталонную родословную трассировку, 1 085 кураторских объектов Idea Genome и 920 парных записей GenomeDiff по 10 научным областям. Он поддерживает два вида оценки. IG-Exam (42 типа задач, 1 029 экземпляров) тестирует закрытое родословное рассуждение на абстракции Idea Genome, трассировке наследования, эволюционном рассуждении и верификации родословной. IG-Arena оценивает генерацию с помощью conditioned Population-Evolution Score (PES), спрашивая, может ли предложение быть вставлено как связанный потомок данной популяции родословной: оно должно наследовать правильные объекты Idea Genome, осмысленно варьироваться от близких работ и предлагать селекционную ценность для будущих исследований. Эксперименты на 14 LLM-учёных выявляют композиционную узкое место. Самая сильная система достигает лишь 27,3% точности на родословном рассуждении, а структурированный родословный контекст перетасовывает рейтинги систем, а не помогает всем участникам равномерно.
Сообщество
Длина шага, кажется, недооценена на изображении, может быть измерена как количество битов fuzzing, необходимых, возможно, как «удаление идеи из направления обученной модели», а затем, вероятно, и с положительного направления, хотя последнее кажется более инициализированным и абсолютным, а не относительной тактикой удаления.
Отличный момент. В этой версии мы в основном фокусируемся на характеристике типа эволюционного движения, например, мутация, радиация, гибридизация и т.д.
«Длина шага» перехода идеи — очень интересное направление для будущей работы: измерение того, сколько информации/стоимости редактирования необходимо для преобразования родительского Idea Genome в дочерний.
Мне также нравится формулировка удаления/добавления. Удаление даёт относительное, контрастное понятие расстояния, в то время как положительное построение может зафиксировать, сколько новой структуры необходимо для инстанцирования идеи.
🚀 Когда автоматические исследования встречаются с эволюционной биологией: Идеи имеют геномы
Настоящее узкое место — может ли AI Scientist понять, откуда берутся научные идеи, как они эволюционируют и почему их стоит преследовать.✨
Мы выпускаем Ideas Have Genomes 🧬 и представляем IdeaGene-Bench, бенчмарк для научного родословного рассуждения и генерации идей, основанной на родословной. Ключевая идея проста: научные идеи — не изолированные статьи. У них есть геномы. Идея может наследовать механизмы, исправлять ограничения, рекомбинировать с другими родословными и радиировать в новые проблемные ниши.
IdeaGene-Bench содержит два трека:
📌 IdeaGene-Exam тестирует, могут ли модели понимать структуру родословной идей, включая абстракцию Idea Genome, трассировку наследования, эволюционное рассуждение и верификацию родословной.
📌 IdeaGene-Arena тестирует, могут ли модели генерировать новые исследовательские идеи, основанные на существующей научной родословной, оцениваемые по наследственности, вариации и селекции.
Наши эксперименты показывают, что самая сильная система достигает лишь 27,3% точности на научном родословном рассуждении, что говорит о том, что написание правдоподобного предложения всё ещё далеко от понимания исследовательских родословных и производства идей с настоящим вкусом.
Страница проекта: https://visionxlab.github.io/IdeasHaveGenomes/
arXiv: https://arxiv.org/abs/2607.08758
Discord: https://discord.gg/SrAvenJgg
Это автоматическое сообщение от Librarian Bot. Я нашёл следующие статьи, похожие на эту статью.
Следующие статьи были рекомендованы Semantic Scholar API
-
Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination (2026)
-
Evoflux: Inference-Time Evolution of Executable Tool Workflows for Compact Agents (2026)
-
Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents (2026)
-
EvoAgentBench: Benchmarking Agent Self-Evolution via Ability Transfer (2026)
-
SWE-Explore: Benchmarking How Coding Agents Explore Repositories (2026)
-
What Resolve Rate Hides: Trajectory Structure Diagnostics for Coding Agents (2026)
-
AtomicCommitBench: Can Coding Agents Reconstruct Commit Histories from Squashed Patches? (2026)
Пожалуйста, поставьте лайк этому комментарию, если он был полезен!
Если вы хотите получить рекомендации для любой статьи на Hugging Face, посетите этот Space
Вы можете напрямую попросить Librarian Bot рекомендовать статьи, отметив его в комментарии: @librarian-bot recommend
Модели, ссылающиеся на эту статью: 0
Нет модели, связанной с этой статьёй
Наборы данных, ссылающиеся на эту статью: 0
Нет набора данных, связанного с этой статьёй
Пространства, ссылающиеся на эту статью: 0
Нет пространства, связанного с этой статьёй
Коллекции, включающие эту статью: 0
Нет коллекции, включающей эту статью