SPATIAL ETL

Spatial ETL: Tornando os Dados Espaciais Acessíveis

Os dados estão ao nosso redor. As empresas estão olhando para suas informações espaciais agora mais do que nunca para auxiliar a analisar situações e tomar decisões. Mas antes que os dados espaciais possam libertar todo o seu valor, ele precisa estar acessível para os usuários que necessitam dele! Compartilhar e utilizar livremente dados espaciais são atividades freqüentemente atormentadas pelos desafios da interoperabilidade. Formatos em constante evolução, proprietários, modelos de dados únicos e a ausência de padrões são barreiras que limitam ou impedem o fluxo dos dados espaciais. Ha mais de 15 anos atrás, as ferramentas de Spatial ETL surgiram como uma forma de auxiliar os profissionais de GIS tornar dados espaciais acessíveis aos usuários finais nos softwares e aplicações de sua escolha. Independente do modelo de dados ou formato inicial, as ferramentas de Spatial ETL tornam possível aos usuários, incluindo topógrafos, gerentes, desenvolvedores, usuários finais e até os próprios especialistas GIS, a acessarem dados espaciais em aplicações CAD, GIS e outras, para analisar, visualizar e planejar. Para demonstrar como a acessibilidade de dados espaciais é importante, imagine por um momento que você se depara com alguém precisando de cuidados médicos. Aqui, ligar para uma ambulância só é útil se a pessoa que estiver recebendo o telefonema torna sua solicitação (o dado) disponível para um motorista de ambulância que possa atendê-lo. Mas não somente saber que alguém precisa de sua ajuda, ele também precisa de dados espaciais – aonde encontrar a pessoa – antes que ele possa atendê-lo com sucesso. Dados não valem nada se ficam trancados. Através de todas as indústrias, dados com informações espaciais precisam estar acessíveis a pessoas que precisam deles para que todo o seu potencial de uso possa ser alcançado.	Extrair, Transformar e Carregar Se você sabe o que significa a sigla ETL, então você não ficaria surpreso em saber que quando a Safe Software cunhou o termo “Spatial ETL” em 1993, ela significava simplesmente “extrair, transformar e carregar dados espaciais”. Produtos tradicionais de ETL para Business Intelligence (BI) foram desenvolvidos com o mesmo propósito, mas com uma diferença: eles se esqueceram de incluir o mundo dos dados espaciais de uma organização, que em média constitui mais de 80% de todos os dados corporativos. O objetivo das ferramentas de Spatial ETL é liberar os dados espaciais existentes – freqüentemente o mais inexplorado, ainda que o mais vital, ativo corporativo – para aprimorar a analise dos negócios e influenciar as decisões corporativas. Então como fazer com que ferramentas de Spatial ETL tornem as informações espaciais acessíveis? Eles constituem um mecanismo econômico para rapidamente converter dados no formato, projeção e modelo para que as pessoas a utilizem quando precisarem. Para atingir este objetivo, Spatial ETL é composto de três habilidades: Extrair o dado a partir de sua fonte Transformar o dado tornando-o pronto para uso Carregar o dado no destino final de visualização ou armazenamento

Extraia os Dados a Partir de Sua Fonte

Extraindo Dados a Partir de Sua Fonte O primeiro passo em Spatial ETL é a extração. No processo de extração, a ferramenta de Spatial ETL direciona os dados da fonte para serem processados, copiando-o a partir de sua localização inicial. Isto assegura que quando a transformação ocorrer no próximo passo, isto poderá ser feito sem impactar a infraestrutura existente. Transformando Dados para Torná-los Utilizáveis Transformação é a principal funcionalidade do Spatial ETL, por ser o processo pelo qual o processo converte o dado no formato, estrutura e sistema de coordenadas que o usuário final necessitar. A Transformação ocorre de três formas, permitindo que os usuários: Converta dados espaciais em um formato que o usuário final possa usar; Reestruturar o dado em um modelo de dados e um sistema de coordenadas requerido; Integrar dados distintos em uma visualização ou base de dados única, centralizada.	Converter O processo de conversão é, na sua forma mais simples, converter um conjunto de dados de um formato para outro. Este processo permite que o dado seja usado em aplicações diferentes daquela que corresponde ao formato original. Reestruturar A Reestruturação ocorre quando um modelo de dado precisa ser modificado para se adequar a um formato de destino, modelo de banco de dados ou necessidades do usuário. Em muitos casos, reestruturação envolve alterações do sistema de coordenadas no qual o dado é armazenado e filtragem das informações existentes para um determinado modelo de dados de destino. Para bancos de dados, reestruturação geralmente significa reorganizar os nomes de tabelas e colunas, e também reestruturar como o dado é organizado dentro destas tabelas e colunas. Formatos de arquivos freqüentemente requerem reestruturações similares de modelos de dados para corresponder com a aplicação de destino. Integrar Integração foca em combinar dados de múltiplas fontes. Enquanto um processo de integração simplificado pode orientar dados de bases de dados distintas que já se encontram armazenado no mesmo formato, processos complexos de integração envolvem combinação de fontes e modelos de dados distintos. Por exemplo, dados criados em uma aplicação GIS pode ser integrada com dados criados em um ambiente CAD e outros dados criados em uma aplicação BIM. Verdadeiras ferramentas de Spatial ETL permitem que os usuários unam e combinem estes três processos – conversão, reestruturação e integração – em um único processo de Spatial ETL. Isto permite que usuários criem conjuntos de dados de destino que são imediatamente utilizados por usuários finais de acordo com seus próprios requisitos.

Carregar e Visualizar os Dados

Carregando ou Visualizando Dados em Conjuntos de Dados de Destino Uma vez que o dado tenha sido extraído de sua fonte, convertido para o formato solicitado, modelo de dados e sistema de coordenadas, e ate mesmo integrado com dados de outras fontes, é hora de carregar os dados. O dado pode ser carrega em um conjunto de dados de destino ou ser visualizado. Conjuntos de dados hoje em dia são os destinos mais comuns, mas de acordo com o avanço da tecnologia as pessoas entendem que é possível somente visualizar os dados que precisam, e a visualização dos dados tem se tornado uma solução popular para carregar dados. Entretanto, as vantagens de um conjunto de dados de destino – incluindo a habilidade de salvar e abrir o dado em aplicações para analise, manipulação e edição – certamente mantém a popularidade de conjuntos de dados como destino, especialmente para edição de dados como especialistas GIS e planejadores utilizando desenhos CAD. Uma vez que o dado tenha sido carregado em um conjunto de dados de destino ou em uma visualização, ele poderá ser acessado e usado posteriormente por usuários que precisem deles no formato, modelo e sistema de coordenadas requeridas. Usuários finais podem então abrir os dados na aplicação de sua escolha, para realizar analises, visualizações e mais. Adicionalmente, quando os dados tenham sido combinados a partir de múltiplas fontes, os usuários finais podem acessar qualquer coisa que eles precisarem a partir de uma fonte centralizada. Este conceito é chamado de “create once, deliver to many”, ou, “criado uma vez, disponível para muitos”, pois os criadores/editores dos dados fonte continuam utilizando as ferramentas de sua escolha enquanto que os usuários finais podem acessar todos os dados existentes a partir de uma localização central – com processos de Spatial ETL rodando silenciosamente em segundo plano para manter um repositório de dados de destino central atualizado.	Requisitos Essenciais para um Spatial ETL Verdadeiro Agora que os conceitos básicos de extração, transformação e carga foram apresentadas, é importante entender três requisitos essenciais que verdadeiras ferramentas de Spatial ETL costumam atender: processamento centralizado, transformação semântica e transformação orientada a modelos. Processamento Centralizado As mais eficientes ferramentas de Spatial ETL extraem dados através de um processo centralizado que usa um conjunto de leitores (readers – extratores) e escritores (writers – loaders) que agem como plugins. Quando os dados espaciais são extraídos, eles são inseridos no processo pelo leitor daquele formato do dado original, e então são transformados e carregados em um dado de destino usando um plugin escritor. Nos casos onde os dados são integrados a partir de múltiplas e distintas fontes, a ferramenta simplesmente usa múltiplos leitores. Esta técnica de processamento centralizado assegura que as ferramentas de Spatial ETL podem converter dados de e para a mais ampla gama de formatos, com crescimento fluido para atender às mudanças de mercado através da adição de suporte a novos formatos que surjam. Quando um novo formato é identificado, desenvolvedores facilmente introduzem o suporte através da criação de um plugin para leitura e escrita para o novo formato ao invés de criar ferramentas de transformação individuais para todos os formatos suportados e o novo formato.

Spatial ETL: Tornando os Dados Espaciais Acessíveis

No mercado atual que possui cerca de 200 formatos, o processamento centralizado é crucial. Sem esta capacidade, usuários finais poderiam ser deparados com a busca de ferramentas especificas de Spatial ETL para cada combinação de diferentes formatos. O processamento centralizado assegura que uma única ferramenta de Spatial ETL pode ampliar os formatos suportados independente da combinação de formato-a-formato necessário. Suportes futuros podem ser alcançados de uma forma rápida, e os usuários finais podem contar com uma única ferramenta para atingir todas as necessidades de Spatial ETL ao invés de selecionar ferramentas individuais para cada necessidade que eles possuem. Transformação Semântica Enquanto diversas aplicações informam que importam e exportam dados, uma transformação bem-sucedida só ocorre quando modelos de dados são levados em consideração. Transformação semântica oferece uma abordagem completa para transformar dados de um formato para outro, pois ela leva em consideração o modelo de dados original e como combiná-lo com uma estrutura que o formato de destino possa reconhecer. Antes de entender como as ferramentas de Spatial ETL fazem isto, é importante entender um pouco mais sobre modelos de dados em relação a formatos. Diversos formatos carregam seus próprios modelos de dados – na verdade, toda a base de alguns formatos como, por exemplo, os formatos de compartilhamento baseados em padrões, é o seu próprio modelo de dados – outros, geralmente bancos de dados proprietários, permitem que as organizações escolham seus próprios modelos de dados com algumas limitações como, por exemplo, geometrias que são permitidas e quantidade de dados que pode ser mantida no banco.	Em ambos os casos, modelos de dados são muito bem ajustados aos formatos. Atingir a tradução semântica requer uma ferramenta de Spatial ETL que esteja atenta às regras e parâmetros de cada formato e tipo de dado, e ser capaz de transformar dados com o mínimo de envolvimento de um usuário. Esta capacidade envolve um rico manuseio dos tipos de geometrias disponíveis em diversos formatos e tipos de dados, para que a qualidade dos dados seja mantida. Ferramentas de Spatial ETL proficientes ultrapassam esta barreira da tradução de duas maneiras. Elas fazem: Contagem automática para transformação de modelos de dados durante a conversão entre formatos que contenham conjuntos de estruturas Permitem que usuários reestruturem modelos de dados de acordo com os requisitos de sua transformação – mas sem requerer que os usuários programem códigos.



Transformação de Modelos de Dados Orientada pelo Usuário
Ainda que conversões de formato para formato sejam comuns, elas não são a única situação na qual os modelos de dados precisam ser levados em consideração. Uma pesquisa recente da Safe Software com seus usuários demonstrou que mais de 50% das tarefas de Spatial ETL não convertem dados de um formato para outro, mas sim reestruturam o modelo do dado para que o mesmo seja usado de forma mais eficiente. Ferramentas de Spatial ETL permitem que seus usuários realizem reestruturações de modelos de dados sem ter que desenvolver uma única linha de código oferecendo uma interface amigável ao usuário a qual permite que modelos sejam reestruturados visualmente. Estes fluxos visuais podem ser salvos, reutilizados e modificados posteriormente para tarefas futuras de transformação. Estas tarefas são freqüentemente necessárias para manter dados atualizados através do envio de novos dados que foram criados utilizando inúmeras aplicações para um conjunto de dados de destino centralizado.	Utilizando o Spatial ETL As três características acima asseguram, a organizações que escolham usar a informação espacial como parte central de suas estratégias de negócios, que tenham uma maneira eficiente para tornar seus dados espaciais acessíveis para as pessoas que necessitam deles. Já se foi a idéia de que departamentos individuais devam trabalhar em seus próprios mundos, com estruturas de TI que limitam o potencial da empresa de trabalhar como se fosse uma só. Ao contrário, ferramentas de Spatial ETL encontram suas forças agrupando dados de sistemas distintos, simplificando os projetos de transformação de dados e recentemente tornando dados acessíveis através da empresa e além de suas fronteiras. A melhor forma de realmente entender como o Spatial ETL pode tornar seus dados acessíveis de uma forma mais produtiva é testar você mesmo. Conte com o apoio de nossos especialistas para analisar sua estrutura de aplicações e de dados, seus formatos e modelos, e confrontar com as potencialidades das atividades de Spatial ETL! Conte conosco!