Entregable	Procesador de entrada
Fecha	28/04/2020
Revisado por	Paloma Terán Pérez
Proyecto	ASIO (Arquitectura Semántica e Infraestructura Ontológica) en el marco de la iniciativa Hércules para la Semántica de Datos de Investigación de Universidades que forma parte de CRUE-TIC
Módulo	Procesador de datos
Tipo	Software
Objetivo	Procesador de datos del módulo de entrada para el proyecto Backend SGI (ASIO). Recibe los datos del importador y los guarda en una base de datos intermedia
Estado	100%
Próximos pasos
Documentación	Manual de usuario Manual de despliegue Documentación técnica

ASIO - Procesador de entrada

	Master
Quality Gate
Coverage

Procesador de datos del módulo de entrada para el proyecto Backend SGI (ASIO).

OnBoarding

Para iniciar el entorno de desarrollo se necesita cumplir los siguientes requisitos:

• OpenJDK 11
• Eclipse JEE 2019-09 con plugins:
  • Spring Tools 4
  • m2e-apt
  • Lombok
• Docker

Módulos disponibles

• Módulo back: módulo que añade una capa de servicios REST a la funcionalidad de la aplicación. Genera un artefacto JAR bootable
• Módulo kafka: módulo que añade la capacidad de consumir mensajes de un topic de Kafka
• Módulo service: módulo que contiene la lógica de la aplicación. Puede ser utilizado como librería independiente para ser integrado en otras aplicaciones
• Módulo jpa-abstractions: módulo con utilidades para el acceso a datos mediante JPA
• Módulo service-abstractions: módulo con utilidades para la generación de servicios
• Módulo swagger: módulo que contine la funcionalidad necesaria para añadir Swagger para la interacción con el API Rest

Metodología de desarrollo

La metodología de desarrollo es Git Flow.

Entorno de desarrollo Docker

La inicialización de los elementos adicionales al entorno de desarrollo se realiza con docker.

En el directorio docker-devenv se ha configurado un fichero docker-compose.yml para poder arrancar el entorno de desarrollo.

Para arrancar el entorno:

docker-compose up -d

Para pararlo:

docker-compose down

Enviar mensajes a general-data

Si queremos saltarnos el proceso ETL y mandar directamente los datos processados de la cola input-data a general-data basta con configurar la propiedad send-general-data-topic a true, false en caso contrario.

app:
  kafka:
    send-general-data-topic: true

Instalación en entorno real

Será preciso configurar las siguientes variables de entorno cuando se instale en un entorno real:

Variable	Descripción	Valor por defecto
APP_KAFKA_INPUT_TOPIC_NAME	Nombre del topic de Kafka de entrada	input-data
APP_KAFKA_GENERAL_CONTINGENCY_TOPIC_NAME	Nombre del topic de Kafka general contingency	general-contingency-data
APP_KAFKA_CREATE_TOPICS	Flag que indica si debe crear automáticamente los topics de Kafka. Valores admisibles true y false	false
SPRING_KAFKA_BOOTSTRAP_SERVERS	URL del servicio de Kafka para los productores	localhost:29092
SPRING_KAFKA_CONSUMER_BOOTSTRAP_SERVERS	URL del servicio de Kafka para los consumidores	localhost:29092
SPRING_KAFKA_CONSUMER_GROUP_ID	ID del grupo de consumidores	input-processor
APP_PERSISTENCE_DATASOURCE_USERNAME	Nombre del usuario de acceso a la base de datos
APP_PERSISTENCE_DATASOURCE_PASSWORD	Contraseña del usuario de acceso a la base de datos
APP_PERSISTENCE_DATASOURCE_URL	URL de acceso a la base de datos MariaDB	jdbc:mysql://localhost:3307/app?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC&createDatabaseIfNotExist=true
APP_KAFKA_SEND_GENERAL_DATA_TOPIC	Flag que indica si se deben enviar los datos a la siguiente cola sin pasar por ETL. Valores admisibles true y false	true
APP_SERVICES_ETL_ENDPOINT	URL del servicio para invocar el proceso ETL	http://localhost:8080/kettle/runJob
APP_SERVICES_ETL_JOB	Nombre del job que se invocará al hacer la llamada al proceso ETL	main
APP_SERVICES_ETL_USERNAME	Nombre de usuario para invocar el proceso ETL	asioetl
APP_SERVICES_ETL_PASSWORD	Contraseña para invocar el proceso ETL	asioetl
APP_MANAGEMENT_SYSTEM_URL	Url para saber si el Management-System está corriendo (evitar importaciones concurrentes)	http://localhost:9321/etl-notifications/isMSRunning

Ejecución

Al generarse un JAR bootable la ejecución se realizará mediante el siguiente comando:

java -jar {jar-name}.jar

Sustituyendo {jar-name} por el nombre del fichero JAR generado.

No es necesario especificar la clase de inicio de la aplicación, ya que el fichero MANIFEST.MF generado ya contiene la información necesaria. Solamente se especificarán los parametros necesarios.

Testing y cobertura

Se incluyen los resultados del testing y cobertura en los siguientes enlaces:

• Testing
• Cobertura

Documentación adicional

• Compilación
• Generación Docker