RT master thesis T1 Extracción y tipificación automática de cláusulas contractuales mediante modelos transformer T2 Automatic extraction and classification of contractual clauses using transformer models A1 Castro Bautista, Duvan Darío A2 Ingeniería Informática K1 Procesamiento de Lenguaje Natural Jurídico K1 Extracción de Cláusulas Contractuales K1 Arquitecturas Transformer K1 BERT K1 CUAD Dataset K1 Análisis de Riesgos AB En el entorno corporativo, la revisión manual de contratos puede implicar un consumode tiempo y recursos, lo que dificulta su escalabilidad ante grandes volúmenes de docu-mentación jurídica. En este contexto, este trabajo desarrolla y evalúa un procedimientobasado en un modelo Transformer genérico (bert-base-uncased) para identificar ytipificar fragmentos contractuales. A partir del corpus CUAD, sus 41 categorías origi-nales se reducen a cinco: Governing Law, Termination for Convenience, Audit Rights,Non-compete y Limitation of Liability. El entrenamiento utiliza fragmentos derivadosde las anotaciones, mientras que los contratos completos se procesan mediante unafragmentación jerárquica y determinista por párrafos y, cuando es necesario, oraciones.Los datos se particionan por contrato.Se comparan dos condiciones experimentales que difieren simultáneamente en variosfactores, entre ellos el tratamiento de NONE, la ponderación de la pérdida y la seleccióny partición de los contratos. Baseline utiliza cinco clases y asigna NONE mediante unumbral de confianza, mientras que Balanced lo incorpora como sexta clase aprendida.El valor operativo τ = 0,90 se fijó durante la fase de desarrollo previa a la construccióndel holdout final. Sobre este último se incluye posteriormente un análisis de sensibilidadcon seis umbrales. La evaluación incluye conjuntos de prueba propios, no comparablesentre sí, y un holdout común de 100 contratos no vistos y 7.870 fragmentos, de loscuales el 96,68 % corresponde a NONE.En el holdout, Baseline obtiene una Accuracy de 0,72 y un F1 macro de 0,31, frente a0,93 y 0,28 de Balanced. Los errores se concentran en la frontera entre las categorías po-sitivas y NONE, mientras que las confusiones entre categorías positivas son reducidas.Baseline presenta mayor Recall@1 y Recall@3 en las cinco categorías, con variabilidadentre ellas. En conjunto, las configuraciones presentan comportamientos diferentes ysus resultados no permiten establecer una superioridad global. Estas diferencias debeninterpretarse considerando que las condiciones experimentales incorporan modificacio-nes simultáneas en varios elementos del procedimiento. El estudio se centra en el corpusCUAD, las cinco categorías seleccionadas y una única semilla experimental. YR 2026 FD 2026 LK http://hdl.handle.net/10498/40528 UL http://hdl.handle.net/10498/40528 LA spa DS Repositorio Institucional de la Universidad de Cádiz RD 08-nov-2026