Commit 37a85a5c authored by Cristian Aguirre's avatar Cristian Aguirre

Update 21-06-23. Update README and add docs directory

parent 53d3f17c
......@@ -36,7 +36,7 @@ docker push <nombrecuenta>/<repositorio>:<tag>
3.- Con la imagen ya subida a un repositorio, colocamos este nombre en el archivo
**airflow-envvars-configmap.yaml**, además que aprovechamos en actualizar y validar
todas las configuraciones presentes en dicho archivo y también en nuestro
archivo de Secrets **airflow-secrets.yamñl**
archivo de Secrets **airflow-secrets.yaml**
```text
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY=<cuenta/SERVER-URL>/<repositorio>
......@@ -72,7 +72,7 @@ NOTA: *Detalle de cada variable de entorno usada por los POD y Airflow:*
```
Adicionalmente, validar o actualizar los valores del archivo **airflow-secrets.yaml** (recordar que
tiene encriptación con método **"base64"**)
tiene encriptación con método **"base64"** - tipo de Secret **Opaque**)
```text
AWS_ACCESS_KEY: bWluaW9hZG1pbg== # ACCESS_KEY de AWS si en caso se usa bucket S3 para guardar los DAG's
......@@ -92,14 +92,15 @@ sh script_apply.sh
```
Con este comando, tiene que esperar unos minutos para que todos los recursos esten levantados y corriendo
normalmente.
normalmente. Todos los recursos serán creados en el namespace **bcom-airflow** (configurado en los
templates)
5.- (OPCIONAL) Si en caso a deployado usando Minikube, será necesario exponer el puerto del Airflow Webserver
para que desde su local puede ingresar a la web. Dado que el puerto expuesto es dentro del contenedor del
minikube, debe salir ahora a su local con el siguiente comando:
para que desde su local puede ingresar a la web. La forma más simple es exponiendo directamente el puerto del
servicio del clúster a nuestro localhost con la ayuda de _kubectl_. Ejecutamos el siguiente comando:
```shell
kubectl port-forward <ID-POD-AIRFLOW-WEBSERVER> 8081:8080
kubectl port-forward <ID-POD-AIRFLOW-WEBSERVER> 8081:8080 -n bcom-airflow
```
Ahora desde su navegador puede ingresar la ruta http://localhost:8081 para ver la Web de Airflow
......@@ -107,7 +108,7 @@ Ahora desde su navegador puede ingresar la ruta http://localhost:8081 para ver l
6.- Validamos que nuestros POD's están corriendo en estado "Running" con el siguiente comando:
```shell
kubectl get pods
kubectl get pods -n bcom-airflow
```
......@@ -119,7 +120,7 @@ DAG en este despliegue de Airflow, se siguen los siguientes pasos:
1.- Verificar que nuestro ambiente en Kubernetes está levantado correctamente. Ejecutamos el comando:
```shell
kubectl get pods
kubectl get pods -n bcom-airflow
```
2.- Los archivos actualizados del dag colocarlos en el bucket y prefijo correspondiente de **dags**.
......@@ -143,13 +144,13 @@ establecido se podrá ver los cambios en la web de Airflow.
_Requisitos para ejecutar el DAG:_
- El ambiente este desplegado correctamente y los POD's en estado "Running"
- Crear la conexión en la web de Airflow con el nombre que está configurado en app_conf.yml con
parámetro **bcom_tp_connection**.
- Crear la conexión en la web de Airflow (usuario admin tiene estos permisos) con el nombre que está configurado en app_conf.yml con
parámetro **s3_conn_id**.
- Validar todas las rutas (bucket y prefijos) y configuraciones de los 7 insumos en app_conf.yml.
1.- En la web de Airflow, ubicamos nuestro DAG con nombre: **"BCOM_DAG_TRANSFORMACION_TACOMVENTAS_PROMOCIONESRESIDENCIAL"**
(configurado como constante en dag_transformacion_tacomventas_promoresidencial.py) y lo inicializamos
por medio de su checkbox.
por medio de su checkbox (usuario admin puede realizarlo).
2.- De acuerdo a la configuración actual, el DAG se ejecutará cada 2 horas (configurado en app_conf.yml con parámetro
**schedule**).
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment