Siete formas de integrar datos con ArcGIS Online

Publicado el 26 agosto, 2024

ArcGIS Online es una potente plataforma para crear, compartir y analizar información geográfica. Para maximizar su potencial, es esencial una integración de datos eficiente. Al funcionar como un repositorio central, ArcGIS Online le permite almacenar, administrar y compartir datos espaciales, ya sea en forma de archivos, capas web o conexiones a fuentes de datos. Los datos que agrega se convierten en la base para los flujos de trabajo de visualización, análisis y edición. Mantener esta información actualizada permite a las organizaciones tomar decisiones informadas basadas en datos. Ya sea que su objetivo es la asignación de recursos, la planificación, la participación ciudadana o algo completamente distinto, es esencial contar con información precisa y actualizada. Entonces, la pregunta es: ¿cómo integramos los datos con ArcGIS Online y mantenemos la información actualizada?

La toma de decisiones informada comienza con sus datos.

En este artículo, exploraremos siete formas de incorporar sus datos a ArcGIS Online. El mejor enfoque dependerá de factores como la frecuencia de actualización de los datos, el origen de los mismos y los pasos necesarios para que alcancen el estado deseado. Si bien esta no es una lista exhaustiva, cubre los enfoques más comunes y analiza los beneficios de cada uno.

1. Directamente (Mi contenido > agregar elemento)

El lugar más fácil para comenzar es agregar datos directamente desde la fuente de datos. En ArcGIS Online, los datos se pueden agregar directamente desde su unidad o red local, o se pueden cargar desde varias soluciones de almacenamiento en la nube comunes, como OneDrive, Google Drive y Dropbox. Se admite una larga lista de formatos de archivo y formatos de datos para agregar a ArcGIS Online, lo que lo convierte en una forma rápida y sencilla de integrar sus datos con ArcGIS Online. Puede agregar shapefiles comprimidos, geodatabases de archivos comprimidos y archivos CSV que contengan información de ubicación, como información de dirección o valores de coordenadas, directamente. En el proceso, puede crear capas web a partir de los archivos, transformando los datos en un formato que esté listo para usar en mapas web, aplicaciones web y herramientas de análisis. Muchos otros tipos de datos, incluidos paquetes y URL, también son compatibles para agregarlos directamente a su contenido en ArcGIS Online.

Flujo de trabajo que muestra un shapefile comprimido que se agrega directamente a ArcGIS Online.

Agregar datos directamente a Online es una excelente opción cuando el objetivo es incorporar una copia estática y única de los datos. Si los datos de origen cambian, se editan o aumentan de tamaño con regularidad, este enfoque puede generar algunos desafíos en lo que respecta a mantener los datos actualizados. Necesitaría actualizar los datos agregando o sobrescribiendo los elementos respectivos en su contenido con la última copia de los datos, o usar Python en un Notebook para automatizar la tarea. Sin embargo, el último enfoque requeriría experiencia en programación de códigos, que es un conjunto de habilidades más avanzado y especializado.

Para concluir, si sus datos están listos para usar con fines cartográficos, de análisis o de generación de informes y no requieren actualizaciones frecuentes sobrescribiendo los datos, considere agregarlos directamente a su contenido en ArcGIS Online. Este enfoque es una forma rápida, sencilla y eficiente de integrar sus datos con ArcGIS Online.

2. ArcGIS Data Pipelines

¿Qué sucede si los datos de origen se están editando fuera de ArcGIS Online y necesitamos que la información de nuestros mapas y aplicaciones se actualice constantemente? ¿O qué sucede si los datos no están listos para usar? ¿Quizás están desordenados y requieren un poco de trabajo para limpiarlos, formatearlos y transformarlos antes de usarlos en un mapa web o en un flujo de trabajo de análisis? Aquí es donde ArcGIS Data Pipelines se convierte en una gran solución, ya que se puede utilizar para optimizar de manera eficiente los flujos de trabajo de preparación de datos dentro de ArcGIS Online.

ArcGIS Data Pipelines es una función de integración de datos nativa en ArcGIS Online que está disponible de manera inmediata para todas las organizaciones de ArcGIS Online. Ofrece una experiencia de creación visual con poco código, y de arrastrar y soltar, que permite a los usuarios diseñar canalizaciones de datos que ingieran, preparen y diseñen datos para que estén listos para usar con fines de mapeo, análisis e informes.

Una canalización de datos que se utiliza para ingerir y habilitar geoespacialmente datos de Snowflake para su uso en ArcGIS Online.

Data Pipelines puede establecer conexiones seguras con una variedad de almacenes de datos basados ​​en la nube, incluidos Snowflake, Google BigQuery, Amazon S3 y Azure Blob Storage, además de admitir otras fuentes de datos como URL públicas, capas de entidades existentes y más. Sin embargo, Data Pipelines va más allá de la simple ingesta de datos, ya que cuenta con muchas herramientas de ingeniería de datos comunes que se pueden usar para limpiar, combinar y dar formato a los conjuntos de datos. Luego, los datos transformados se escriben en una capa de entidades, listas para usar en ArcGIS. Aún mejor, Data Pipelines incluye una funcionalidad de programación integrada que le permite ejecutar sus canalizaciones de datos de forma recurrente, manteniendo sus capas en ArcGIS Online actualizadas a medida que los conjuntos de datos de origen cambian y evolucionan.

Si está buscando una solución de integración de datos que no requiera código, y que pueda ayudarlo a limpiar, preparar, combinar y formatear conjuntos de datos para usar en ArcGIS Online, incluido soporte para actualizaciones programadas, ArcGIS Data Pipelines es la solución para usted.

3. ArcGIS Velocity

¿Qué sucede si necesita integrar datos con ArcGIS Online y mantener la información actualizada, al mismo tiempo que admite datos en tiempo real, como feeds de plataformas de Internet de las cosas (IoT), intermediarios de mensajes o APIs de terceros? Si el conocimiento de la situación en tiempo real es el requisito para sus necesidades de integración de datos, considere ArcGIS Velocity . Esta es una extensión de análisis de big data y datos en tiempo real para ArcGIS Online. Velocity permite a las organizaciones monitorear de manera efectiva y obtener información precisa basada en la ubicación de los activos en tiempo real, como vehículos, aeronaves, embarcaciones, sensores ambientales, etc. Lo hace al admitir la ingesta de datos de sensores de IoT desde la nube y otras fuentes de feeds de datos de observación en tiempo real.

Un análisis en tiempo real en ArcGIS Velocity que ingiere datos de transmisión, realiza análisis espaciales y envía los resultados a ArcGIS Online.

Velocity también incluye potentes herramientas de análisis, como geofencing dinámico y modelos de análisis visual, que pueden usarse para obtener nuevos conocimientos, incluido soporte para alertas que pueden comunicar información útil cuando el tiempo es esencial.

Si su organización tiene proyectos que requieren procesamiento de datos en tiempo real, y soporte para visualizar y analizar datos de alta velocidad, como sensores de IoT, entonces ArcGIS Velocity es la solución para usted.

4. Compartir desde ArcGIS Pro

Hasta ahora, hemos analizado formas de integrar datos en ArcGIS Online mediante enfoques basados ​​en la web, como agregar datos directamente o usar Data Pipelines y Velocity. Sin embargo, muchas organizaciones comienzan su trabajo en nuestro potente software GIS de escritorio, ArcGIS Pro.

ArcGIS Pro está diseñado para integrarse sin problemas con los componentes basados ​​en la web del sistema ArcGIS, incluido ArcGIS Online. Ofrece herramientas innovadoras para administrar datos espaciales, realizar análisis geoespaciales avanzados y crear visualizaciones sorprendentes. Ya sea que trabaje en 2D o 3D, ArcGIS Pro le permite compartir mapas y datos en todo el ecosistema de ArcGIS, lo que admite muchos casos de uso.

Utilice ArcGIS Pro para compartir sus datos como capas web con su organización de ArcGIS Online.

El flujo de trabajo típico para muchos usuarios comienza en ArcGIS Pro, donde la creación, edición y análisis de datos ocupan un lugar central. ArcGIS Pro ofrece la flexibilidad de conectarse a muchos tipos diferentes de datos, incluidos archivos almacenados en su computadora o unidad de red, datos que residen en una geodatabase corporativa, almacenes de datos en la nube y otras ubicaciones también. Los usuarios pueden conectarse a varias fuentes de datos, aprovechar sus datos en mapas y escenas, y realizar análisis y visualizaciones avanzadas en el espacio 2D y 3D. Una vez que los datos están seleccionados a su gusto, se pueden compartir en ArcGIS Online como capas web, mapas web, escenas web y más, para respaldar su caso de uso específico. Este contenido y datos geoespaciales se pueden usar para respaldar a su equipo o a cualquier persona en todo el mundo. Y una vez que se publica en su organización de ArcGIS Online, se vuelve accesible para colaboración, edición, consulta, visualización y análisis espacial.

Si se necesitan actualizaciones de los datos en ArcGIS Online debido a cambios en los datos de origen, puede sobrescribirlos manualmente o automatizar el proceso mediante las bibliotecas Python de ArcGIS en un cuaderno o secuencia de comandos. Más adelante se ofrecerá más información sobre esa solución.

5. Extensión ArcGIS Data Interoperability para ArcGIS Pro

Cabe destacar la extensión ArcGIS Data Interoperability para ArcGIS Pro. Esta extensión amplía enormemente las capacidades de ArcGIS Pro en lo que respecta a la integración y transformación de datos. Al igual que Data Pipelines y Velocity, Data Interoperability ofrece una interfaz de diagramación visual intuitiva y sin código que se puede utilizar para diseñar datos.

Flujo de trabajo ETL en Data Interoperability que lee GeoJSON desde una URL pública, geocodifica cualquier geometría nula, aplica transformaciones de datos avanzadas y luego escribe los datos procesados ​​en un servicio de entidades en ArcGIS Online.

Esta extensión para ArcGIS Pro ofrece capacidades sólidas para conectarse a una amplia gama de entradas y tipos de archivos compatibles, se destaca en el manejo de transformaciones complejas y permite volver a escribir los datos en su origen, incluso más allá del ecosistema de productos de ArcGIS. En comparación con otras herramientas analizadas hasta ahora, se destaca como una solución ETL (Extracción, Transformación, Carga) extremadamente poderosa.

Si sus datos de origen sufren cambios que necesitan reflejarse en ArcGIS Online, las organizaciones también necesitarán tener ArcGIS Server licenciado con la extensión ArcGIS Data Interoperability, ya que esto permite a los usuarios programar los trabajos ETL para que se ejecuten de forma repetida, a través de un cuaderno.

Si su organización busca integrar datos de una amplia colección de fuentes con ArcGIS, con soporte para transformaciones de datos complejas, esta extensión le proporcionará las poderosas capacidades de ingeniería de datos que está buscando.

6. Bibliotecas Python de ArcGIS

Si es un desarrollador o tiene una necesidad de integración de datos que no se puede satisfacer con otro mecanismo, existen bibliotecas Python de ArcGIS: ArcGIS API for Python y ArcPy. Se trata de bibliotecas Python modernas y potentes que brindan una experiencia programática consistente para la creación de códigos y la automatización en todo el sistema ArcGIS, y se pueden usar para integrar datos.

Pasos para agregar y publicar un archivo CSV como capa web en ArcGIS Online usando la API de ArcGIS para Python.

Con las bibliotecas Python de ArcGIS, puede crear secuencias de comandos Python para conectarse a una amplia variedad de fuentes de datos y formatos de archivo, realizar análisis y manipulaciones de datos avanzados, y escribir los resultados en capas web en ArcGIS Online. La API de ArcGIS para Python tiene funciones y métodos para agregar y publicar archivos, paquetes y DataFrames habilitados espacialmente como capas web en ArcGIS Online. ArcPy también tiene funciones para compartir, sobrescribir y reemplazar capas web mediante una combinación de funciones y herramientas de geoprocesamiento.

ArcGIS Online incluye un mecanismo para escribir, ejecutar e incluso programar códigos de automatización mediante la API de ArcGIS para Python y ArcPy, que es ArcGIS Notebooks. Dicho esto, los códigos de Python que aprovechan estas bibliotecas también se pueden escribir y ejecutar de forma externa a ArcGIS Online.

Cuando las necesidades de integración de datos son complejas o deben automatizarse, y ninguna de las soluciones listas para usar o comerciales (COTS) se adapta a las necesidades, usar las bibliotecas Python de ArcGIS en un código para integrar y actualizar datos en ArcGIS Online puede ser el enfoque necesario.

7. Colaboración distribuida

La colaboración distribuida permite a las organizaciones que utilizan ArcGIS Enterprise ampliar el alcance de su GIS mediante el intercambio continuo de contenido con una o más organizaciones de ArcGIS Enterprise y ArcGIS Online.

La colaboración distribuida permite compartir contenido entre ArcGIS Online y ArcGIS Enterprise. Los datos se pueden sincronizar en ambas direcciones, lo que mantiene la información actualizada.

La colaboración distribuida permite que las organizaciones que utilizan ArcGIS Enterprise y Online en conjunto compartan capas web y otros contenidos entre sistemas sin problemas. Una vez que se comparte el contenido, las actualizaciones se envían automáticamente, lo que mantiene la información sincronizada entre los dos sistemas. Las organizaciones pueden compartir mapas, aplicaciones, capas web y otros contenidos entre los dos sistemas con facilidad. Y en el caso de las capas de entidades web, se pueden configurar colaboraciones para admitir el uso compartido bidireccional de ediciones de capas de entidades. Esto permite que una capa de entidades publicada en ArcGIS Enterprise se edite en ArcGIS Online y que las ediciones se escriban nuevamente en la fuente, ya sea una capa de entidades alojada o una capa de entidades que haga referencia a datos en una geodatabase corporativa.

Si utiliza ArcGIS Online y Enterprise en conjunto, considere la posibilidad de utilizar la colaboración distribuida para compartir sus datos de un sistema a otro. Este enfoque no requiere conocimientos de programación y facilita la integración de datos de ArcGIS Enterprise con ArcGIS Online.

Conclusión

En este blog, aprendimos siete formas de integrar datos con ArcGIS Online. Una vez que los datos están integrados, se pueden utilizar para realizar análisis espaciales, crear mapas visualmente impactantes y resolver problemas. Tenga en cuenta que el enfoque correcto dependerá de los requisitos únicos de su proyecto y de los objetivos de la organización.

Explore algunas de estas estrategias hoy para comenzar a liberar todo el potencial de sus datos dentro de ArcGIS Online y generar resultados más impactantes.

Sarah Hanson

Este artículo originalmente apareció en la edición global del Blog de ArcGIS el 8 de julio de 2024.