Extracción y tipificación automática de cláusulas contractuales mediante modelos transformer

Abstract

En el entorno corporativo, la revisión manual de contratos puede implicar un consumo de tiempo y recursos, lo que dificulta su escalabilidad ante grandes volúmenes de docu- mentación jurídica. En este contexto, este trabajo desarrolla y evalúa un procedimiento basado en un modelo Transformer genérico (bert-base-uncased) para identificar y tipificar fragmentos contractuales. A partir del corpus CUAD, sus 41 categorías origi- nales se reducen a cinco: Governing Law, Termination for Convenience, Audit Rights, Non-compete y Limitation of Liability. El entrenamiento utiliza fragmentos derivados de las anotaciones, mientras que los contratos completos se procesan mediante una fragmentación jerárquica y determinista por párrafos y, cuando es necesario, oraciones. Los datos se particionan por contrato. Se comparan dos condiciones experimentales que difieren simultáneamente en varios factores, entre ellos el tratamiento de NONE, la ponderación de la pérdida y la selección y partición de los contratos. Baseline utiliza cinco clases y asigna NONE mediante un umbral de confianza, mientras que Balanced lo incorpora como sexta clase aprendida. El valor operativo τ = 0,90 se fijó durante la fase de desarrollo previa a la construcción del holdout final. Sobre este último se incluye posteriormente un análisis de sensibilidad con seis umbrales. La evaluación incluye conjuntos de prueba propios, no comparables entre sí, y un holdout común de 100 contratos no vistos y 7.870 fragmentos, de los cuales el 96,68 % corresponde a NONE. En el holdout, Baseline obtiene una Accuracy de 0,72 y un F1 macro de 0,31, frente a 0,93 y 0,28 de Balanced. Los errores se concentran en la frontera entre las categorías po- sitivas y NONE, mientras que las confusiones entre categorías positivas son reducidas. Baseline presenta mayor Recall@1 y Recall@3 en las cinco categorías, con variabilidad entre ellas. En conjunto, las configuraciones presentan comportamientos diferentes y sus resultados no permiten establecer una superioridad global. Estas diferencias deben interpretarse considerando que las condiciones experimentales incorporan modificacio- nes simultáneas en varios elementos del procedimiento. El estudio se centra en el corpus CUAD, las cinco categorías seleccionadas y una única semilla experimental.

In corporate environments, the manual review of contracts can involve a consumption of time and resources, which makes scalability difficult when dealing with large volumes of legal documentation. In this context, this work develops and evaluates a procedure based on a generic Transformer model (bert-base-uncased) to identify and classify contractual fragments. Based on the CUAD corpus, its 41 original categories are reduced to five: Governing Law, Termination for Convenience, Audit Rights, Non-compete, and Limitation of Liability. Training uses fragments derived from the annotations, while complete contracts are processed through deterministic hierarchical segmentation by paragraphs and, when necessary, sentences. The data are partitioned by contract. Two experimental conditions are compared, differing simultaneously in several factors, including the treatment of NONE, loss weighting, and contract selection and partitioning. Baseline uses five classes and assigns NONE through a confidence threshold, whereas Balanced incorporates it as a sixth learned class. The operational value τ = 0.90 was fixed during the development phase prior to the construction of the final holdout. A sensitivity analysis using six thresholds was subsequently conducted on the latter. The evaluation includes separate test sets, which are not directly comparable, and a common holdout of 100 unseen contracts and 7,870 fragments, of which 96.68 % correspond to NONE. On the holdout, Baseline achieves an Accuracy of 0.72 and a macro F1 of 0.31, compared with 0.93 and 0.28 for Balanced. Errors are concentrated at the boundary between positive categories and NONE, while confusions among positive categories are limited. Baseline achieves higher Recall@1 and Recall@3 across all five categories, with variability between categories. Overall, the two configurations exhibit different behaviors, and their results do not support a global superiority of one configuration over the other. These differences should be interpreted considering that the experimental conditions incorporate simultaneous modifications to several elements of the procedure. The study is limited to the CUAD corpus, the five selected categories, and a single experimental seed.