Wednesday, June 27, 2012

Hadoop e suas aplicações.



Quando você pensar em computação distribuída, certamente vai topar com o Hadoop.
Atualmente o Hadoop é o framework de computação distribuída mais usado quando se pensa em Big Data. Muitos desenvolvedores tem a curiosidade de saber em que tipo de problemas o Hadoop pode ser usado. Abaixo algumas aplicações da tecnologia.

Detecção de tendências
Detectar novas tendências rapidamente é necessário para um mundo cada vez mais conectado. Com o twitter e a constante troca de informações o volume de informação cresce a cada segundo.

Sistema de Recomendação
Sistemas de recomendação são parte integrante de muitos dos serviços que usamos. Amazon, Netflix, Last.fm entre outros nos mostram o grande valor que sistemas assim podem gerar.

Detecção de fraudes
É a eterna luta entre gato e rato. Detectar fraudes de maneira rápida é uma tarefa bastante complicada. Com o Hadoop podemos processar quantidades gigantes de dados e perceber tendências imperceptíveis em escala menor.

Customer Churn Analysis (análise de rotatividade de clientes)
Empresas que operam grandes volumes de usuários como as operadoras de telefonia sabem que muitas vezes um único usuário que resolve mudar de operadora acaba levando com ele muitos outros. Analisar os padrões de interações entre seus usuários e detectar quem são os que tem mais chances de mudar de operadora é uma grande ferramenta estratégica.

Análise de LOGS
Quem trabalha com aplicações WEB, sabe que elas podem gerar quantidades absurdas de arquivos de log. O Hadoop é aplicado com grande maestria em aplicações de manipulação de logs. Projetos paralelos como o Pig visam inclusive facilitar este tipo de trabalho.

Análise de transação de ponto de venda
Analisar e cruzar dados de grandes cadeias de lojas visando agregar estes dados historicamente e tentar perceber o que os pontos de venda mais bem sucedidos tem em comum é uma grande oportunidade para geração de negócios.

Análise de dados de rede para prever falhas
Perguntas difíceis de responder tais como: Qual o ponto mais fraco da minha rede ? Quando ela vai se partir ? Muitas empresas de telecom estão tratando analisando o volume e a direção do tráfego em suas redes.

Segmentação de usuários
Conhecer os seus usuários e tentar entender melhor como eles interagem com seus produtos e como eles interagem entre si é sinônimo de geração de negócios.

Modelar Risco
A modelagem de risco na área de seguros e instituições financeiras faz parte da sobrevivência destas instituições. Para conseguir uma modelagem mais próxima do real o uso do Hadoop permite a utilização de um número sem precedentes de fatores.

Ad Targeting
Muitas Ad Network já estão utilizando tecnologias Big Data para otimizar tanto a relevância quanto o posicionamento de suas propagandas. Nada pior que propaganda mal relacionada com o conteúdo de um website.

Monday, June 25, 2012

Hadoop, nova tecnologia para tratamento de Big Data

Neste nosso mundo tecnológico, precisamos ficar ligados a todo momento, pois ficamos obsoletos em uma fração de segundos.

O framework Hadoop, lançado no final de 2011, é uma plataforma para análise de dados de código aberto desenvolvida pela Apache, está se tornando fundamental para ajudar empresas a gerirem grandes volumes de dados.

A plataforma aberta de computação distribuída ganhou impulso como mecanismo para lidar com o conceito de Big Data, segundo o qual as empresas procuram extrair valor dos dados de seus sistemas de informação.  Usuários corporativos estão adotando tanto as tecnologias da plataforma Hadoop existentes como as que complementam sistemas que desenvolvem.

A Nasa adota a Hadoop para lidar com grandes volumes de dados em projetos como o
Square Kilometre Array, um radio telescópio para visualização do céu. Estima-se que este sistema produzirá 700 terabytes de dados por hora quando for construído na próxima década. 

Os sistemas vão incluir a Hadoop, assim como tecnologias Apache Object Oriented Data Technology (OODT) para gerenciar grandes volumes de informações.

O Twitter é outro grande usuário de Hadoop. Segundo a empresa, todos os produtos de relevância [a  partir dos quais oferece recomendações personalizadas aos usuários] têm alguma interação com a Hadoop”.

A rede social adota Hadoop há cerca de quatro anos e até desenvolveu o Scalding, um repositório Scala para facilitar tarefas executadas pelo Hadoop através do framework MapReduce. A ferramenta foi desenhada sobre o repositório Cascading Java, criado para reduzir a complexidade da plataforma Hadoop.

Os subprojetos da Hadoop incluem o framework MapReduce, que é uma matriz de software para o processamento de grandes conjuntos de processamento em clusters; a Hadoop Distributed File System (HDFS), que oferece acesso rápido a dados de aplicações e Common, com utilitários para apoiar outros subprojetos Hadoop.

A rede social Tagged utiliza a tecnologia Hadoop para análise de informações e processa cerca de meio terabyte de novos dados diários, segundo engenheiros da empresa, a Hadoop está sendo aplicada em tarefas que superam a capacidade da ferramenta Greenplum, comprada pela EMC. 

Apesar de elogiarem a Hadoop, os usuários apontam deficiências como a fiabilidade e monitoramento de tarefas. Um dos problemas é a latência. “O tempo para obter dados é bastante rápido, mas todos reclamam da grande latência na execução de consultas”. A Tagged utiliza a Apache Hive, outro projeto derivado da Hadoop, para consultas “ad hoc”.

“Isso pode levar vários minutos para obter resultados que, na Greenplum, levaria questões de segundos”. Mas usar a Hadoop é mais barato que Greenplum.

O que promete a Hadoop 2.0
A Hadoop 1.0 foi lançada no final de 2011, com tecnologia de autenticação forte via Kerberos e suporte para bases de dados HBase. A versão também impede os usuários individuais de derrubarem clusters, usando restrições sobre a MapReduce.

Mas uma nova versão está no horizonte. A plataforma entrou em fase alfa no início deste ano “e terá a camada de MapReduce recodificada de extremo a extremo, além de uma reescrita completa de toda a lógica de armazenamento e da camada de HDFS “.

A Hadoop 2.0 estará focada na escala e inovação, baseada na Yarn (próxima geração da MapReduce) e em recursos de federação. A Yarn permitirá aos usuários adicionar os seus próprios modelos de computação para não ficarem presos à MapReduce.

As adoções previstas incluem aplicações de tempo real e algoritmos de aprendizagem artificial, além das operações de armazenamento com capacidade de expansão.

Capacidades de funcionamento o tempo todo da versão 2.0 deverão permitir a constituição de clusters sem tempo de inatividade. A versão prevê também o armazenamento escalável. A Hadoop 2.0 estará disponível dentro de um ano.