muinar07_act3_Notebook.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "id": "2179f2d5-3c52-40ef-89a6-a6bf3b667b67",
      "metadata": {
        "id": "2179f2d5-3c52-40ef-89a6-a6bf3b667b67"
      },
      "source": [
        "![image-2.png](attachment:image-2.png)\n",
        "_Aprendizaje Automático_\n",
        "\n",
        "_Máster Universitario en Inteligencia Artificial_\n",
        "\n",
        "# Actividad grupal: Explorando patrones ocultos: Detección de Anomalías en datos\n",
        "## Objetivos\n",
        "\n",
        "Mediante este trabajo se pretende que ponga en práctica la aplicación de las técnicas de detección de anomalías. El objetivo es analizar si existen anomalías en el conjunto de datos aplicando técnicas univariantes y multivariantes. Debe detallar los pasos que hay que realizar para detección de valores inusuales.\n",
        "\n",
        "- \tEntender los métodos media móvil, z-score, Isolation Forest y Local Outlier Factor\n",
        "- \tImplementar el código para cada una de estas técnicas y analizar si existen o no anomalía\n",
        "-\n",
        "\tInvestigar sobre una técnica de detección de anomalías con un caso de uso concreto.\n",
        "\n",
        "Descripción de la actividad\n",
        "\n",
        "Debes realizar la actividad en el Notebook adjunto. Debes ir completando el código solicitado, así como responder a las preguntas que se van realizando.\n",
        "\n",
        "Tareas que\n",
        "- alizar\n",
        "\tDetección de\n",
        "- malías.\n",
        "\tDebes completar el código pedido en este notebook y contestar las pregunt\n",
        "- finales.\n",
        "\tBuscar dos artículos científicos (https://scholar.google.es/) con un caso de uso de detección de anomalías. Los artículos deben estar en revistas científicas, y deben ser posteriores a 2015. No debe utilizar técnicas de De\n",
        "- Learning.\n",
        "\tPara cada artí\n",
        "- O indicar:\n",
        "o\tObjetivo: cuál es el objetivo de la investigación, es decir a qué problema real está aplicando la detección\n",
        "-  anomalías.\n",
        "o\tTécnicas de detección de anoma\n",
        "- s empleadas.\n",
        "o\tPrincipales resultados de la aplicación y de la investigación.\n"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "d6b223cc-37ea-4c71-83b1-3d14f08c2814",
      "metadata": {
        "id": "d6b223cc-37ea-4c71-83b1-3d14f08c2814"
      },
      "source": [
        "#### Integrantes del grupo"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "b551b017-af3e-4f8a-84fd-128fda892f3b",
      "metadata": {
        "id": "b551b017-af3e-4f8a-84fd-128fda892f3b"
      },
      "outputs": [],
      "source": [
        "# Coloca en este espacio el nombre de los integrantes del grupo"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "c02a78f7-cd2f-4fde-91c2-4c5a1ac1355c",
      "metadata": {
        "id": "c02a78f7-cd2f-4fde-91c2-4c5a1ac1355c"
      },
      "source": [
        "## Detección de anomalías"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "a202a2c2-eb39-4beb-b555-de0cd9a6af2b",
      "metadata": {
        "id": "a202a2c2-eb39-4beb-b555-de0cd9a6af2b"
      },
      "source": [
        "Los transformadores juegan un papel muy importante en el sistema eléctrico. Aunque son algunos de los componentes más confiables de la red eléctrica, también son propensos a fallar debido a muchos factores, tanto internos como externos. Podría haber muchos iniciadores que causen una falla en el transformador, pero los que potencialmente pueden conducir a una falla catastrófica son los siguientes:\n",
        "Falla mecánica\n",
        "Falla dieléctrica\n",
        "\n",
        "Contenido\n",
        "Estos datos se recopilaron a través de dispositivos IoT desde el 25 de junio de 2019 hasta el 14 de abril de 2020 y se actualizaron cada 15 minutos.\n",
        "El dataset contiene 19352 registros.\n",
        "Descripción de los parámetros:\n",
        "Voltaje de corriente:\n",
        "1. VL1- Fase Línea 1\n",
        "2. VL2- Fase Línea 2\n",
        "3. VL3- Fase Línea 3\n",
        "4. IL1- Línea actual 1\n",
        "5. IL2- Línea actual 2\n",
        "6. IL3- Línea actual 3\n",
        "7. VL12- Línea de tensión 1 2\n",
        "8. VL23- Línea de tensión 2 3\n",
        "9. VL31- Línea de tensión 3 1\n",
        "10. INUT-Corriente neutra"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "5bff89b9-c58c-4cbc-bf0e-9c8737a5065a",
      "metadata": {
        "id": "5bff89b9-c58c-4cbc-bf0e-9c8737a5065a"
      },
      "outputs": [],
      "source": [
        "import numpy as np\n",
        "import pandas as pd\n",
        "from matplotlib import pyplot as plt\n",
        "import seaborn as sns\n",
        "\n",
        "# se carga el dataset, con separados ;, se transforman las dos columnas Date y Time a una única columna con tipo datetime\n",
        "# en el fichero CSV existen NaN identificados por ?\n",
        "df = pd.read_csv('CurrentVoltage.csv', sep=',')"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "91ffa6f1-8f62-472b-a2ba-64f8920e242c",
      "metadata": {
        "id": "91ffa6f1-8f62-472b-a2ba-64f8920e242c"
      },
      "source": [
        "#### ¿Cuántas instancias tiene el dataset?"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "7129db1e-2001-472d-9189-f93acf057742",
      "metadata": {
        "id": "7129db1e-2001-472d-9189-f93acf057742"
      },
      "outputs": [],
      "source": [
        "# Pon aquí tu código"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "d70b584a-b90d-405d-ae54-6938b787f767",
      "metadata": {
        "id": "d70b584a-b90d-405d-ae54-6938b787f767"
      },
      "source": [
        "#### ¿Cuál es el tipo de datos predominante en las variables?"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "a651d2ca-30be-4ecb-aa38-a13b15f3841a",
      "metadata": {
        "id": "a651d2ca-30be-4ecb-aa38-a13b15f3841a"
      },
      "outputs": [],
      "source": [
        "#Inserta acá el código"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "e5fa0b4f-202a-40f5-a964-62926d0888a3",
      "metadata": {
        "id": "e5fa0b4f-202a-40f5-a964-62926d0888a3"
      },
      "source": [
        "## Variables nulas"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "c1013d5b-a8dd-4e10-af4f-118512a663ce",
      "metadata": {
        "id": "c1013d5b-a8dd-4e10-af4f-118512a663ce"
      },
      "source": [
        "#### ¿Tiene este dataset datos faltantes?"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "5d43e9e5-0dd4-480a-a4e9-e5ab50f212ec",
      "metadata": {
        "id": "5d43e9e5-0dd4-480a-a4e9-e5ab50f212ec"
      },
      "source": [
        "¿Tiene este dataset datos faltantes?"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "c5d6992a-e4e5-4b4b-86f1-7a8e5bf30094",
      "metadata": {
        "id": "c5d6992a-e4e5-4b4b-86f1-7a8e5bf30094"
      },
      "source": [
        "#### ¿Es necesario hacer algún tratamiendo adicional sobre los datos?"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "eebad195-e0c2-4c59-8183-0ab6be8aec93",
      "metadata": {
        "id": "eebad195-e0c2-4c59-8183-0ab6be8aec93"
      },
      "outputs": [],
      "source": [
        "### PON AQUÍ TU CÓDIGO EN CASO DE QUE SEA NECESARIO HACER ALGÚN TRATAMIENTO ADICIONAL"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "0a48f5cc-253e-452e-9db5-6681646396dd",
      "metadata": {
        "id": "0a48f5cc-253e-452e-9db5-6681646396dd"
      },
      "source": [
        "#### Media móvil"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "c563ce6a-146d-4d76-b5a8-85d55dc82068",
      "metadata": {
        "id": "c563ce6a-146d-4d76-b5a8-85d55dc82068"
      },
      "outputs": [],
      "source": [
        "# Vamos a aplicar la técnica de detección de anomalías de Media Móvil sobre la variable INUT"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "a16f69d9-88ec-49d7-a9b4-3ea35339ce22",
      "metadata": {
        "id": "a16f69d9-88ec-49d7-a9b4-3ea35339ce22"
      },
      "outputs": [],
      "source": [
        "# Calcula la media móvil"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "0eb092d3-3938-4a75-ab67-53abb99d31de",
      "metadata": {
        "id": "0eb092d3-3938-4a75-ab67-53abb99d31de"
      },
      "outputs": [],
      "source": [
        "# Define un umbral para detectar anomalías"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "5a6bc824-5302-4319-ac8c-0c8feeeabd5b",
      "metadata": {
        "id": "5a6bc824-5302-4319-ac8c-0c8feeeabd5b"
      },
      "outputs": [],
      "source": [
        "# Visualiza los resultados"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "5af89577-3a38-4f3a-907f-7e2020d4a16a",
      "metadata": {
        "id": "5af89577-3a38-4f3a-907f-7e2020d4a16a"
      },
      "source": [
        "#### Z-Score"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "0232dcd2-7b81-40c5-82ee-4996f6912e26",
      "metadata": {
        "id": "0232dcd2-7b81-40c5-82ee-4996f6912e26"
      },
      "outputs": [],
      "source": [
        "# Vamos a aplicar la técnica de detección de anomalías Z-Score\n",
        "# Pon aquí tu código"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "b6f5f71a-e869-435e-9d67-f8d795abd627",
      "metadata": {
        "id": "b6f5f71a-e869-435e-9d67-f8d795abd627"
      },
      "outputs": [],
      "source": [
        "# Define un umbral para detectar anomalías (por ejemplo, 3 desviaciones estándar)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "fe706737-aa74-4d81-9960-e9b10e4f7288",
      "metadata": {
        "id": "fe706737-aa74-4d81-9960-e9b10e4f7288"
      },
      "outputs": [],
      "source": [
        "# Visualiza los resultados"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "5d26ba45-324a-4cf0-93dd-b407fc476af6",
      "metadata": {
        "id": "5d26ba45-324a-4cf0-93dd-b407fc476af6"
      },
      "source": [
        "#### Isolation Forest"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "c437e831-2bc5-4119-b448-9ee9130b77ab",
      "metadata": {
        "id": "c437e831-2bc5-4119-b448-9ee9130b77ab"
      },
      "outputs": [],
      "source": [
        "# Vamos a aplicar la técnica de detección de anomalías de Isolation Forest, configura el parámetro contamination en 5%\n",
        "# Pon aquí tu código"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "590a0463-1d90-4245-a95e-0e89c877d13e",
      "metadata": {
        "id": "590a0463-1d90-4245-a95e-0e89c877d13e"
      },
      "outputs": [],
      "source": [
        "# Agrega las columnas de puntaje y si es dato anómalo o no en el dataframe"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "7e7b3916-b649-4b10-849f-562ba86cc1dd",
      "metadata": {
        "id": "7e7b3916-b649-4b10-849f-562ba86cc1dd"
      },
      "outputs": [],
      "source": [
        "# Crea un gráfico de barras para mostrar los datos anómalos vs los datos normales"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "7acf8c86-4713-4177-b6dc-fed9e205d705",
      "metadata": {
        "id": "7acf8c86-4713-4177-b6dc-fed9e205d705"
      },
      "outputs": [],
      "source": [
        "# Crea un gráfico donde se puedan ver los datos anómalos sobre la variable INUT."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6c531890-3581-466c-b3fd-1ea7f4bfb1b0",
      "metadata": {
        "id": "6c531890-3581-466c-b3fd-1ea7f4bfb1b0"
      },
      "outputs": [],
      "source": [
        "# Repite los pasos anteriores con el parámetro de contamination en 1%"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "2e2153da-3c75-46bf-a699-86d410a21858",
      "metadata": {
        "id": "2e2153da-3c75-46bf-a699-86d410a21858"
      },
      "source": [
        "## Local Outlier Factor"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "1c8b9bea-60ca-49e5-9fc2-d9057943e1e5",
      "metadata": {
        "id": "1c8b9bea-60ca-49e5-9fc2-d9057943e1e5"
      },
      "outputs": [],
      "source": [
        "# Vamos a aplicar la técnica de detección de anomalías de Local Outlier Factor\n",
        "# Pon aquí tu código"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6d41e24b-70c2-47cf-b396-047098d08647",
      "metadata": {
        "id": "6d41e24b-70c2-47cf-b396-047098d08647"
      },
      "outputs": [],
      "source": [
        "# Crea un gráfico de barras para mostrar los datos anómalos vs los datos normales"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "a3e6e2e2-b6e1-4477-855c-3aa7dc24bcf3",
      "metadata": {
        "id": "a3e6e2e2-b6e1-4477-855c-3aa7dc24bcf3"
      },
      "outputs": [],
      "source": [
        "# Crea un gráfico donde se puedan ver los datos anómalos sobre la variable INUT."
      ]
    },
    {
      "cell_type": "markdown",
      "id": "1e29d46f-8f02-4c6a-8e68-d76fd5f82997",
      "metadata": {
        "id": "1e29d46f-8f02-4c6a-8e68-d76fd5f82997"
      },
      "source": [
        "## Análisis"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "a67e8709-7e03-4c5a-9b09-b96b0e9310b4",
      "metadata": {
        "id": "a67e8709-7e03-4c5a-9b09-b96b0e9310b4"
      },
      "outputs": [],
      "source": [
        "# Realiza un análisis detallado de los resultados obtenidos en cada una de las técnicas aplicadas. Utiliza gráficos o trablas para apoyar tu conclusiones"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "d1bfd27d-31ae-47dd-9521-d6a2560d6666",
      "metadata": {
        "id": "d1bfd27d-31ae-47dd-9521-d6a2560d6666"
      },
      "source": [
        "## Artículos de investigación"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "ef8f46d1-06d8-403f-9124-37a430888cf8",
      "metadata": {
        "id": "ef8f46d1-06d8-403f-9124-37a430888cf8"
      },
      "source": [
        "#### Artículo 1"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "5f85a7fb-c65b-4fdd-811c-90aad86b5eea",
      "metadata": {
        "id": "5f85a7fb-c65b-4fdd-811c-90aad86b5eea"
      },
      "outputs": [],
      "source": [
        "# Coloca en este espacio el análisis del artículo 1"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "6d8d4821-bb0f-4bc7-abe0-00984ef5e673",
      "metadata": {
        "id": "6d8d4821-bb0f-4bc7-abe0-00984ef5e673"
      },
      "source": [
        "#### Artículo 2"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "999b016d-7cc2-401b-b57c-35475edec3a9",
      "metadata": {
        "id": "999b016d-7cc2-401b-b57c-35475edec3a9"
      },
      "outputs": [],
      "source": [
        "# Coloca en este espacio el análisis del artículo 2"
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.9.18"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}