Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Submit feedback
Contribute to GitLab
Sign in / Register
Toggle navigation
B
bcom-tp-etl-transformation-pipelines
Project
Project
Details
Activity
Releases
Cycle Analytics
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Issues
0
Issues
0
List
Board
Labels
Milestones
Merge Requests
0
Merge Requests
0
CI / CD
CI / CD
Pipelines
Jobs
Schedules
Charts
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Open sidebar
general
bcom-tp-etl-transformation-pipelines
Commits
37a85a5c
Commit
37a85a5c
authored
Jun 21, 2023
by
Cristian Aguirre
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
Update 21-06-23. Update README and add docs directory
parent
53d3f17c
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
12 additions
and
11 deletions
+12
-11
README.md
README.md
+12
-11
BCOM-AIRFLOW-K8S Referencias.docx
docs/BCOM-AIRFLOW-K8S Referencias.docx
+0
-0
No files found.
README.md
View file @
37a85a5c
...
...
@@ -36,7 +36,7 @@ docker push <nombrecuenta>/<repositorio>:<tag>
3.
- Con la imagen ya subida a un repositorio, colocamos este nombre en el archivo
**airflow-envvars-configmap.yaml**
, además que aprovechamos en actualizar y validar
todas las configuraciones presentes en dicho archivo y también en nuestro
archivo de Secrets
**airflow-secrets.yam
ñ
l**
archivo de Secrets
**airflow-secrets.yaml**
```
text
AIRFLOW__KUBERNETES__WORKER_CONTAINER_REPOSITORY=<cuenta/SERVER-URL>/<repositorio>
...
...
@@ -72,7 +72,7 @@ NOTA: *Detalle de cada variable de entorno usada por los POD y Airflow:*
```
Adicionalmente, validar o actualizar los valores del archivo
**airflow-secrets.yaml**
(recordar que
tiene encriptación con método
**"base64"**
)
tiene encriptación con método
**"base64"**
- tipo de Secret
**Opaque**
)
```
text
AWS_ACCESS_KEY: bWluaW9hZG1pbg== # ACCESS_KEY de AWS si en caso se usa bucket S3 para guardar los DAG's
...
...
@@ -92,14 +92,15 @@ sh script_apply.sh
```
Con este comando, tiene que esperar unos minutos para que todos los recursos esten levantados y corriendo
normalmente.
normalmente. Todos los recursos serán creados en el namespace
**bcom-airflow**
(configurado en los
templates)
5.
- (OPCIONAL) Si en caso a deployado usando Minikube, será necesario exponer el puerto del Airflow Webserver
para que desde su local puede ingresar a la web.
Dado que el puerto expuesto es dentro del contenedor
del
minikube, debe salir ahora a su local con
el siguiente comando:
para que desde su local puede ingresar a la web.
La forma más simple es exponiendo directamente el puerto
del
servicio del clúster a nuestro localhost con la ayuda de _kubectl_. Ejecutamos
el siguiente comando:
```
shell
kubectl port-forward <ID-POD-AIRFLOW-WEBSERVER> 8081:8080
kubectl port-forward <ID-POD-AIRFLOW-WEBSERVER> 8081:8080
-n
bcom-airflow
```
Ahora desde su navegador puede ingresar la ruta http://localhost:8081 para ver la Web de Airflow
...
...
@@ -107,7 +108,7 @@ Ahora desde su navegador puede ingresar la ruta http://localhost:8081 para ver l
6.
- Validamos que nuestros POD's están corriendo en estado "Running" con el siguiente comando:
```
shell
kubectl get pods
kubectl get pods
-n
bcom-airflow
```
...
...
@@ -119,7 +120,7 @@ DAG en este despliegue de Airflow, se siguen los siguientes pasos:
1.
- Verificar que nuestro ambiente en Kubernetes está levantado correctamente. Ejecutamos el comando:
```
shell
kubectl get pods
kubectl get pods
-n
bcom-airflow
```
2.
- Los archivos actualizados del dag colocarlos en el bucket y prefijo correspondiente de
**dags**
.
...
...
@@ -143,13 +144,13 @@ establecido se podrá ver los cambios en la web de Airflow.
_Requisitos para ejecutar el DAG:_
-
El ambiente este desplegado correctamente y los POD's en estado "Running"
-
Crear la conexión en la web de Airflow con el nombre que está configurado en app_conf.yml con
parámetro
**
bcom_tp_connection
**
.
-
Crear la conexión en la web de Airflow
(usuario admin tiene estos permisos)
con el nombre que está configurado en app_conf.yml con
parámetro
**
s3_conn_id
**
.
-
Validar todas las rutas (bucket y prefijos) y configuraciones de los 7 insumos en app_conf.yml.
1.
- En la web de Airflow, ubicamos nuestro DAG con nombre:
**"BCOM_DAG_TRANSFORMACION_TACOMVENTAS_PROMOCIONESRESIDENCIAL"**
(configurado como constante en dag_transformacion_tacomventas_promoresidencial.py) y lo inicializamos
por medio de su checkbox.
por medio de su checkbox
(usuario admin puede realizarlo)
.
2.
- De acuerdo a la configuración actual, el DAG se ejecutará cada 2 horas (configurado en app_conf.yml con parámetro
**schedule**
).
...
...
docs/BCOM-AIRFLOW-K8S Referencias.docx
0 → 100644
View file @
37a85a5c
File added
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment