Meta-rules implementation

[nicl-nno]

Some meta-rules should be implemented to make FEDOT more smart:

Case 1: make number of CV folds dependent from the dataset size (e.g. only one fold for the less than X rows)

In the architesture, the adding of new meta-rules should be implemented.

[gkirgizov]

Тут важно определить,, от чего в принципе могут зависить адаптивные параметры. InputData и все?
Можно определить такую сигнатуру правила: ParameterRule = [GraphRequirements, InputData] -> GraphRequirements. То есть правила меняют параметры в соответствии с их заданным значением и какими-то характеристикам переданных данных. Кажется, этого достаточно.
Далее:

• где-то будет статично задаваться список таких функций-правил для адаптивных параметров
• они будут прогоняться по GraphRequirements перед запуском опимизатора и менять их

Предлагаю также накидать еще парочку правил-кандидатов, наверняка о чем-то таком еще думали или где-то есть уже сущестующая полу-адаптивная логика изменения параметров перед началом. Что-о с таймаутами мб.

[MorrisNein]

Схожая идея реализована в autosklearn 2.0. Там на основании размера датасета и кол-ва признаков выбирается кол-во фолдов (и ещё один параметр, который для нас сейчас не актуален).

В общем случае полезно бы учитывать:

• мета-признаки InputData;

• входные параметры оптимизатора;

• доступные вычислительные ресурсы (обсуждаемо).

Идеи возможных мета-правил:

• выбор числа фолдов в одном месте, не просто правило 1-много;

• на пухлых датасетах ИЛИ с заведомо малым числом вычислительных ресурсов: 1) использовать только лёгкие модели, 2) уменьшать размер поколения (спорно), 3) сообщать пользователю о нехватке ресурсов.