Train-test shape mismatch

[maypink]

Fixed train test splin using Hold-out validation: now no new targes can appear in test subset.

[codecov]

Codecov Report

All modified and coverable lines are covered by tests ✅

Project coverage is 87.81%. Comparing base (86d7158) to head (2376f2a).
Report is 150 commits behind head on master.

Additional details and impacted files

@@            Coverage Diff             @@
##           master    #1022      +/-   ##
==========================================
- Coverage   87.88%   87.81%   -0.07%     
==========================================
  Files         206      206              
  Lines       13797    13801       +4     
==========================================
- Hits        12126    12120       -6     
- Misses       1671     1681      +10     

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[maypink]

Получается, есть 3 варианта развития событий при разбиении данных: StratifiedKFold, KFold и использование train_test_split при hold out валидации. С первыми двумя все ок, данные бьются корректно, а с hold out валидацией и правда бывали разбиения, где в тестовой подвыборке появлялись новые метки. Эту проблему решает просто параметр stratify, так что train_data.num_classes >= test_data.num_classes.
А по поводу самой ишуи, это же не проблема, если именно train_data.num_classes != test_data.num_classes, вроде условие с меньше или равно тоже достаточно