Nuevas capacidades de Deep Learning en la Extensión Imagery para ArcGIS Pro 3.1

Publicado el 13 marzo, 2023

Nuevas capacidades para Deep Learning dentro de ArcGIS Pro se han añadido en las últimas actualizaciones de la aplicación. Esta nueva actualización (3.1) se ha enfocado en mejorar los flujos de trabajo e incrementar la productividad. Algunas de estas mejoras son:

• Clasificación de Pixeles usando imágenes con series temporales
• Clasificación de Pixeles en entidades con imágenes adjuntas
• Etiquetado con segmentación interactiva.

Veamos un poco más a fondo cada una de estas nuevas capacidades:

Clasificación de Pixeles usando imágenes con series temporales – Nuevas capacidades de Deep Learning

En esta versión se ha añadido el soporte para la arquitectura Pixel-Set Encoders and Temporal Self-Attention (PSETAE) para entrenar modelos de series temporales que requieran clasificación.

Esta arquitectura de modelo de Deep Learning está basada en Transformers, originalmente desarrollados por Garnot et al para la clasificación de diferentes cultivos en parcelas usando imágenes satelitales con series de tiempo.

Para soportar este flujo de trabajo, se ha añadido el soporte para inputs multidimensionales y la arquitectura PSETAE para las siguientes herramientas:

• Export Training Data for Deep Learning: Ahora soporta dataset multidimensionales.
• Train Deep Learning Model: Ahora soporta la arquitectura PSETAE
• Clasificación de Pixeles usando Deep Learning: Ahora soporta inputs multidimensionales y la arquitectura PSETAE

Ejemplo de un Flujo de trabajo: Clasificación de Cultivos en imágenes con serie de tiempo

Se tienen imágenes de diferentes periodos, y se quiere hacer una clasificación de cultivos. El primer paso es preparar la data para entrenamiento, donde se usará la herramienta “Export Training Data for Deep Learning”

El input, que es una serie de tiempo con imágenes, puede ser un raster compuesto o un raster multidimensional, para los periodos de tiempo que se quieran. Para crear las etiquetas de entrenamiento para un raster multidimensional, utilizamos la herramienta “Label Objects for Deep Learning” (disponible en la pestaña de Imagery en el Grupo de Image Classification). Los píxeles serán etiquetados en diferentes clases, basadas en la información disponible. La imágen siguiente muestra las etiquetas de diferentes tipos de cultivos. La herramienta luego creará imágenes apiladas como muestras de entrenamiento. Estas muestras tendrán la información, además de los intervalos de tiempo.

Muestras de etiquetas de diferentes clases superpuestas en un ráster de serie temporal

Una vez que tengamos nuestros datos de entrenamiento, podemos ejecutar la herramienta Training Deep Learning con la nueva arquitectura del modelo PSETAE. Finalmente, podemos usar la herramienta Classify Pixels usando Deep Learning para realizar la inferencia. La herramienta Classify Pixels using Deep Learning también admite conjuntos de datos multidimensionales, que pueden ser un CRF o un conjunto de datos de mosaico.

El resultado final será un ráster clasificado de los diferentes tipos de cultivos.

Clasificación de cultivo en datos de series temporales

Clasificación de Pixeles en entidades con imágenes adjuntas – Nuevas capacidades de Deep Learning

Una manera bastante común de poder relacionar información dentro de la plataforma ArcGIS es por medio de las entidades con archivos adjuntos. Muchas de las aplicaciones de Esri, como ArcGIS QuickCapture y ArcGIS Survey 123, utilizan este enfoque para recopilar datos y fotografías. En esta última versión se ha mejorado la herramienta de Classify Pixel usando Deep Learning: ahora permite que el input de la herramienta sean las entidades que tengan archivos de imágenes adjuntas. El output será una clase de entidades con imágenes, cuyos píxeles se clasifican o transforman según el modelo de aprendizaje.

Ejemplo: Opacar información sensible en entidades con archivos adjuntos

Consideremos que recopilamos imágenes de Street View para diversos fines, como inspección de activos, diseño de paisajes o gestión de tráfico. Esta información se puede recopilar utilizando cámaras montadas en automóviles. Sin embargo, las imágenes pueden contener rostros humanos y matrículas de vehículos. Por motivos de privacidad, queremos que todas las caras y matrículas se vean borrosas antes de permitir que los datos sean públicos. Podemos usar modelos previos de ArcGIS (Face Blurring y Licence Plate Blurring) para que esas preocupaciones de privacidad sean subsanadas.

Se usará la ubicación del GPS para crear puntos para cada imagen y adjuntamos las imágenes de las características de los puntos correspondientes. Y, por supuesto, nos aseguraremos de difuminar las caras y las matrículas en los archivos adjuntos de las imágenes 

Entidades con imágenes adjuntas

La imagen anterior muestra un ejemplo de una entidad de puntos con archivos adjuntos de imágenes. Esta clase de entidad se usará de punto como entrada para la herramienta “Classify Pixels using Deep Learning”. El resultado final será una clase de entidades con las imágenes pero con caras y licencias borrosas. 

Se puede usar Model Builder o un script de Python para optimizar todos los pasos en el flujo de trabajo.

Este es solo un ejemplo de cómo la clasificación de píxeles mediante funciones con archivos adjuntos de imágenes puede ayudar a sus flujos de trabajo. Estamos seguros de que esta mejora también puede ayudar a sus flujos de trabajo.

Entidades con imágenes como adjuntos con caras y licencias borrosas.

Etiquetado con segmentación interactiva

Finalmente, otra mejora para la productividad es el etiquetado con segmentación interactiva. Esta mejora es bastante útil, ya que mejora el proceso de etiquetado de datos, uno de los pasos más tediosos y lentos de los flujos de trabajo de Deep Learning. Es normal encontrar organizaciones que invierten grandes cantidades de recursos para etiquetar datos. 

Utilizando ArcGIS Pro 3.1, se tiene una nueva característica llamada “Auto Detect” en el panel de “Label Objects for Deep Learning”. Esta nueva funcionalidad permite detectar objetos y automáticamente dibujar los polígonos o segmentos en la imagen objetivo. Puede simplemente seleccionar la etiqueta deseada y hacer clic en las entidades.

En la siguiente animación, hacemos clic en las casas y piscinas y la herramienta creará polígonos alrededor de los objetos automáticamente.

Auto Detect

¿Qué opina de estas mejoras? ¿Tiene algún caso de uso que pueda beneficiarse de estas nuevas funciones? TELEMATICA cuenta con un grupo capacitado de profesionales que podrán ayudarle a adaptar estos flujos de trabajo a los existentes de su organización.