Q STAR 2.0 - new MIT breakthrough AI model IMPROVES ITSELF in REAL TIME (new Strawberry?) English, Russian

Chat GPT:

Test-time training это метод машинного обучения, при котором модель адаптируется во время тестирования, чтобы улучшить качество работы на новых данных. Такая адаптация достигается с использованием задач самосупервизии, например, предсказания пропущенных частей данных или изучения инвариантных свойств. Это позволяет модели справляться с различиями в распределении между обучающими и тестовыми данными.

Как модель обновляет свои параметры или внутренние представления, используя тестовые данные, особенно учитывая отсутствие обратной связи по правильным меткам в тестовой фазе? Модели обычно полагаются на предположения о структуре или свойствах данных (например, пространственная согласованность или инвариантность к трансформациям). Эти предположения позволяют модели создавать вспомогательные задачи самосупервизии во время тестирования, такие как восстановление зашумлённых данных или предсказание замаскированных областей. Такие задачи заранее закладываются разработчиками в процессе обучения, и модель применяет те же принципы при тестировании.

Пример восстановления изображений во время тестирования и задал вопрос о том, как модель может автономно генерировать такую задачу, учитывая отсутствие истинных меток в тестовых данных. Модель не "придумывает" задачи самостоятельно. Вместо этого вспомогательные задачи заранее определяются на этапе обучения. Например, модель может быть заранее обучена восстанавливать зашумлённые изображения, предсказывать трансформации или заполнять маскированные области. На этапе тестирования она использует эти заранее изученные техники для динамической адаптации к новым данным, не требуя явных меток. Это возможно благодаря структурным свойствам данных, таким как согласованность или инвариантность.

Предположения и заранее определённые вспомогательные задачи составляют основу тестового обучения. Примеры типичных задач, таких как предсказание трансформаций, заполнение пропущенных данных или устранение шума, эти подходы помогают моделям эффективно адаптироваться к новым тестовым ситуациям.