Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

add InputData from pd and numpy #1184

Merged
merged 6 commits into from
Oct 23, 2023
Merged
Show file tree
Hide file tree
Changes from 1 commit
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
51 changes: 51 additions & 0 deletions fedot/core/data/data.py
Original file line number Diff line number Diff line change
Expand Up @@ -53,6 +53,57 @@ class Data:
# Object with supplementary info
supplementary_data: SupplementaryData = field(default_factory=SupplementaryData)

@classmethod
def from_numpy(cls,
features_array: np.ndarray,
target_array: np.ndarray,
idx: Optional[np.ndarray] = None,
task: Task = Task(TaskTypesEnum.classification),
data_type: Optional[DataTypesEnum] = None) -> InputData:
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Думаю по умолчанию можно поставить table, как наиболее часто используемый тип

Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Может даже стоит создать два метода
from_numpy
и
ts_from_numpy

Интуитивно, пользователю, будет понятней сразу из названия метода, что он может с его помощью конвертировать временной ряд в инпут дату (вместо того, чтобы вручную прописывать Task и DataType)

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Да, по аналогии с from_csv прописала

"""Import data from numpy array.

Args:
features_array: numpy array with features.
target_array: numpy array with target.
task: the :obj:`Task` to solve with the data.
data_type: the type of the data. Possible values are listed at :class:`DataTypesEnum`.

Returns:
data
"""
return array_to_input_data(features_array, target_array, idx, task, data_type)

@classmethod
def from_dataframe(cls,
df: pd.DataFrame,
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Иногда возникает ситуация, когда у тебя X и y - отдельные датафреймы, и хочется создать инпут дату из них. Это выглядит как частный случай метода from_numpy. Возможно его можно обобщить и до датафреймов

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

ну тут идея как раз в том, что пользователь уже пооткрывал свои данные и подготовил датафрейм самостоятельно, специально из этого метода убрала всю автоматичность

Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Может быть у меня замыленный взгляд - привык, что в sklearn ты всегда передаешь X и y отдельно. Поэтому часто возникает именно такая ситуация, что хочется отдельно прокинуть фичи и таргет. Но тот вариант, что сейчас написан, тоже нужен.

Copy link
Collaborator

@MorrisNein MorrisNein Oct 19, 2023

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Про отдельные X и Y спорный момент. С одной стороны, мы идеологически предлагаем решение "из коробки" - вы просто читаете любой формат в DataFrame и засовываете в AutoML. С другой, почти любая предобработка данных пользователем выдаст X и Y отдельно.

Я считаю, этот вопрос можно переформулировать так: мы рассчитываем на продвинутого пользователя или наоборот?

Судя по тому, что дело дошло до создания InputData вручную, скорее на продвинутого. Тогда, на мой взгляд, разумнее использовать вариант с отдельными параметрами для X и Y.

UPD: На это можно посмотреть ещё так: в pandas гораздо интуитивнее разделяется датафрейм, чем два датафрейма сшиваются воедино. Гораздо лучше, если наш интерфейс не будет никого обрекать на конкатенацию датафреймов.

Copy link
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Принято, разделила from_dataframe на два входа features_df и target_df

task: Union[Task, str] = 'classification',
data_type: DataTypesEnum = DataTypesEnum.table,
target_columns: Union[str, List[Union[str, int]]] = '') -> InputData:
"""Import data from pandas DataFrame.

Args:
df: loaded pandas DataFrame.
task: the :obj:`Task` to solve with the data.
data_type: the type of the data. Possible values are listed at :class:`DataTypesEnum`.
target_columns: name of the target column (the last column if empty and no target if ``None``).

Returns:
data
"""

if isinstance(task, str):
task = Task(TaskTypesEnum(task))

idx = df.index.to_numpy()
if not target_columns:
features_names = df.columns.to_numpy()[:-1]
else:
features_names = df.drop(target_columns, axis=1).columns.to_numpy()
features, target = process_target_and_features(df, target_columns)

return InputData(idx=idx, features=features, target=target, task=task, data_type=data_type,
features_names=features_names)

@classmethod
def from_csv(cls,
file_path: PathType,
Expand Down
7 changes: 5 additions & 2 deletions test/unit/data/test_data.py
Original file line number Diff line number Diff line change
Expand Up @@ -59,9 +59,12 @@ def test_data_from_csv():
idx=idx,
task=task,
data_type=DataTypesEnum.table).features
actual_features = InputData.from_csv(
actual_features_from_csv = InputData.from_csv(
os.path.join(test_file_path, file)).features
assert np.array_equal(expected_features, actual_features)
assert np.array_equal(expected_features, actual_features_from_csv)
df.set_index('ID', drop=True, inplace=True)
actual_features_from_df = InputData.from_dataframe(df).features
assert np.array_equal(expected_features, actual_features_from_df)


def test_with_custom_target():
Expand Down