-
Notifications
You must be signed in to change notification settings - Fork 87
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
add InputData from pd and numpy #1184
Changes from 1 commit
bf2bd91
496b7a6
61c155d
8543b44
822bb13
a9e04c3
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
Original file line number | Diff line number | Diff line change |
---|---|---|
|
@@ -53,6 +53,57 @@ class Data: | |
# Object with supplementary info | ||
supplementary_data: SupplementaryData = field(default_factory=SupplementaryData) | ||
|
||
@classmethod | ||
def from_numpy(cls, | ||
features_array: np.ndarray, | ||
target_array: np.ndarray, | ||
idx: Optional[np.ndarray] = None, | ||
task: Task = Task(TaskTypesEnum.classification), | ||
data_type: Optional[DataTypesEnum] = None) -> InputData: | ||
"""Import data from numpy array. | ||
|
||
Args: | ||
features_array: numpy array with features. | ||
target_array: numpy array with target. | ||
task: the :obj:`Task` to solve with the data. | ||
data_type: the type of the data. Possible values are listed at :class:`DataTypesEnum`. | ||
|
||
Returns: | ||
data | ||
""" | ||
return array_to_input_data(features_array, target_array, idx, task, data_type) | ||
|
||
@classmethod | ||
def from_dataframe(cls, | ||
df: pd.DataFrame, | ||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Иногда возникает ситуация, когда у тебя X и y - отдельные датафреймы, и хочется создать инпут дату из них. Это выглядит как частный случай метода from_numpy. Возможно его можно обобщить и до датафреймов There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. ну тут идея как раз в том, что пользователь уже пооткрывал свои данные и подготовил датафрейм самостоятельно, специально из этого метода убрала всю автоматичность There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Может быть у меня замыленный взгляд - привык, что в sklearn ты всегда передаешь X и y отдельно. Поэтому часто возникает именно такая ситуация, что хочется отдельно прокинуть фичи и таргет. Но тот вариант, что сейчас написан, тоже нужен. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Про отдельные X и Y спорный момент. С одной стороны, мы идеологически предлагаем решение "из коробки" - вы просто читаете любой формат в DataFrame и засовываете в AutoML. С другой, почти любая предобработка данных пользователем выдаст X и Y отдельно. Я считаю, этот вопрос можно переформулировать так: мы рассчитываем на продвинутого пользователя или наоборот? Судя по тому, что дело дошло до создания InputData вручную, скорее на продвинутого. Тогда, на мой взгляд, разумнее использовать вариант с отдельными параметрами для X и Y. UPD: На это можно посмотреть ещё так: в pandas гораздо интуитивнее разделяется датафрейм, чем два датафрейма сшиваются воедино. Гораздо лучше, если наш интерфейс не будет никого обрекать на конкатенацию датафреймов. There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more. Принято, разделила from_dataframe на два входа features_df и target_df |
||
task: Union[Task, str] = 'classification', | ||
data_type: DataTypesEnum = DataTypesEnum.table, | ||
target_columns: Union[str, List[Union[str, int]]] = '') -> InputData: | ||
"""Import data from pandas DataFrame. | ||
|
||
Args: | ||
df: loaded pandas DataFrame. | ||
task: the :obj:`Task` to solve with the data. | ||
data_type: the type of the data. Possible values are listed at :class:`DataTypesEnum`. | ||
target_columns: name of the target column (the last column if empty and no target if ``None``). | ||
|
||
Returns: | ||
data | ||
""" | ||
|
||
if isinstance(task, str): | ||
task = Task(TaskTypesEnum(task)) | ||
|
||
idx = df.index.to_numpy() | ||
if not target_columns: | ||
features_names = df.columns.to_numpy()[:-1] | ||
else: | ||
features_names = df.drop(target_columns, axis=1).columns.to_numpy() | ||
features, target = process_target_and_features(df, target_columns) | ||
|
||
return InputData(idx=idx, features=features, target=target, task=task, data_type=data_type, | ||
features_names=features_names) | ||
|
||
@classmethod | ||
def from_csv(cls, | ||
file_path: PathType, | ||
|
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Думаю по умолчанию можно поставить table, как наиболее часто используемый тип
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Может даже стоит создать два метода
from_numpy
и
ts_from_numpy
Интуитивно, пользователю, будет понятней сразу из названия метода, что он может с его помощью конвертировать временной ряд в инпут дату (вместо того, чтобы вручную прописывать Task и DataType)
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Да, по аналогии с from_csv прописала