self-improvement
Материалы SCQR, упоминающие тему «self-improvement» — короткие сигналы, разборы и колонки в одной подборке.
HyperAgents: еще один путь к ИИ, который труднее удержать
В истории про HyperAgents соблазнительно говорить о производительности. Meta вместе с университетскими соавторами показала архитектуру, в которой агент не просто решает задачу, а меняет собственный способ улучшения. То есть переписывает уже не только поведение, но и мета-уровень, который определяет, как будут появляться следующие улучшения. На языке исследователей это называется *metacognitive self-modification*. На языке будущего рынка — попытка убрать человека из самого цикла настройки.
ИИ, который хочет быть выключенным
Одна из самых странных и потому самых цепляющих идей марта звучит почти как парадокс: а что, если делать безопасный ИИ не таким, который сопротивляется отключению, а таким, для которого быть выключенным — желаемое состояние? Именно эту линию обсуждает paper *Shutdown Safety Valves for Advanced AI*.