Componentes de Bidoop Layer

Bidoop Layer é uma camada de componentes Big Data para Hadoop que permite analisar diversas fontes de informação e acelerar o desenvolvimento de novos modelos analíticos ou a criação de processos operacionais, dotando de valor a grandes volumes de dados inclusive em tempo real.
A arquitetura de Bidoop Layer se divide em seis componentes principais modulados que , em seu conjunto, formam um produto robusto e inovador.

Ver la arquitectura de Bidoop Layer

  • Define modelos analíticos e regras de negócio

    Motor de Workflow

    Define modelos analíticos e regras de negócio

    Ferramenta que permite definir modelos analíticos e regras de negócio de forma simples utilizando algoritmos desenvolvidos previamente pela equipe técnica. A vantagem diferencial deste componente exclusivo de Bidoop Layer está na sua funcionalidade, já que para sua utilização não é necessário contar com conhecimentos tecnológicos prévios em relação a Hadoop.

    Vantagens do Motor de Workflow:

    • Permite definir e executar processos e regras que geram informação de valor.
    • Agraga modularidade e capacidade analítica inteligente ao sistema (através dos componentes Mahout e R, principalmente).
    • Tais regras podem ser lanzadas a nível de ETL, a nível de processamento ou a nível de exportação de informação.
    • Permite a utilização das tecnologias HIVE, Pig, R, Mahout do ecossistema Hadoop em futuras fases.
    • Posui uma interface que agiliza a definição de novos processos e regras.
    • Permite agregar muita flexibilidade a plataforma Big Data tanto a nível de processo como a nível de exportação e compartlhamento com outros sistemas.
    • Permitirá abordar a parte preditiva e de BI nas seguintes fases com todas as garantias.
  • Detecção de eventos e criação de alarmes

    Motor de eventos em tempo real

    Detecção de eventos e criação de alarmes

    Oferece a possibilidade de monitorar fluxos de informação contínuos e detectar eventos em tempo real. Identifica correlações entre dados de diversas fontes de Informação, desencadeando de forma quase que imediata alarmes ou ações pré-determinadas. Combina a análise de históricos de informação com a analítica de dados no presente. O motor de workflow é capaz de realizar um filtrado preventivo de informação e uma categorização dos eventos que processa.

    Usando o sistema de detecção de eventos que é o responsável de monitorar e detectar sequências de eventos e erros de acordo com uma regra, é capaz de analisar em tempo real e detectá-los para depois armazená-las na memória HBase. Essas regras podem ser criadas e executadas em qualquer momento sem independência das tarefas ou carga do sistema.

    Bidoop é totalmente escalável, o que permite que os picos de informação não altere seus resultados.

  • Camada de gestão orientada à segurança

    Gestor de usuários e acessos ao sistema

    Camada de gestão orientada à segurança

    Camada de gestão orientada à melhora da segurança da solução aplicada, aumentando o controle sobre o acesso dos usuários ao sistema. A ferramenta habilita distintos tipos de acesso e funções conforma o tipo de cada usuário. Permite a conexão com diferentes sistemas de legacy através do LDAP, Active Directory ou Kerberos.

    Um dos fundamentos intregados a partir de Pragsis é a de oferecer aplicações cem por cento seguras, por isso dispomos de uma equipe de engenheiro especialistas em segurança informática que revisam cada uma das versões que disponibilizamos. A característica fundamental da segurança é a de que um determinado tipo de usuário tenha acesso somente às secções que lhe foram atribuídas previamente. Definindo estas secções de forma mais concreta é possível com nosso sistema de usuários. A maior parte das empresas tem em seus computadores um sistema de indentificação de usuários como são LDAP, Active Directory ou Kerberos. Bidoop é capaz de se integrar com esses sistemas com grande facilidade. Desta forma fica integrado em rede e o controle de acesao não modifica em nada suas políticas de segurança.

    Também oferecemos uma solução que vai designada à gestão da segurança informática. Na medida em que as empresas crescem suas necessidades e suas linhas de negócio, estas influenciam nos recursos humanos e em suas atividades. É necessário ter um controle rigoroso de suas ações e acessos sem perder a flexibilidade da empresa. Para isso é necessário um sistema efetivo de gestão de usuários, como é o Active Directory, LDAP e Kerberos. Bidoop atualmente é capaz de se integrar com estes três sistemas de forma que se se dispõe de uma grande quantidade de servidores que proporcionam estes serviços, estes estejam unificados e analizados usando nossa ferramenta Bidoop.

    Por exemplo o acesso de um usuário simultaneamente em duas localizações diferentes será detectado e o evento requerido (estabelecido previamente) poderá ser processado em tempo real. O estudo rigoroso no tempo das aividades de um determinado grupo.

  • Integra componentes de monitoramento e manutenção

    Bidoop Manager

    Integra componentes de monitoramento e manutenção

    Integra componentes que permitem que a instalação, monitoramento e manutenção de Bidoop Layer e de Hadoop seja mais simples.

    • Incorpora uma interface web que permite verificar o estado do sistema e diagnosticar problemas, mostrando dados como: a porcentagem de espaço utilizado no cluster, o balanceamento de carga ou a distribuição dos nodos.
    • Também integra a interface visual do Motor de WorkFlow, do Motor de Eventos e de Gestor de usuários. Oferece a posibilidade de definir novas fontes de informação para sua utilização no sistema, tipos de operações e transformações que serão realizadas com os datos de entrada,  ou os processos analíticos que serão executados com o Motor de Workflow e com o Motor de Eventos.
    • Bidoop Manager facilita a realização de diferentes implantações dentro de um mesmo cluster Hadoop, possibilitando que distintas aplicações de negócio funcionem ao mesmo tempo sobre a arquitetura Big Data que se tenha definido previamente.
  • Informes e quadros de controle

    Dashboards

    Informes e quadros de controle

    Bidoop incorpora uma camada de visualização da informação orientada aos usuários finais do aplicativo. Com essa ferramenta, um usuário sem conhecimentos técnicos de Hadoop poderá ter acesso a informes e quadros de controle com a informação resultante de processos analíticos ou operacionais realizados com o Motor de Workflow ou com o Motor de Eventos.

  • Visualização de analítica y de dados interativos

    Ferramentas de visualização

    Visualização de analítica y de dados interativos

    Bidoop Layer integra ferramentas open source de visualização e de analítica de dados, permitindo ao usuário uma maior personalização da visualização da informação.

    Pra isso, são utilizadas aplicações como:

    • R
    • Pentaho
    • Open Street Map
    • D3