BIG DATA na Saúde, como criar valor ??

Big Data na Saúde

A invasão de novas aplicações e dos dispositivos móveis no cuidado do paciente tem conferido agilidade aos serviços assistenciais e aumentado o repositório de informações, tanto clínicas quanto administrativas das instituições em geral.

A pergunta que surge é: - "Como criar valor usando estes dados (Big Data).

Um dos grandes entraves para que o beneficio do compartilhamento de informações seja sentido é a falta de precisão dos registros eletrônicos de saúde e a falta de adoção de padrões.

Saber organizar e aproveitar ao máximo os dados colhidos resultando necessariamente em melhores diagnósticos, tanto individuais como populacionais, ofertando tratamentos com maior assertividade, e antecipando a ocorrência de epidemias é certamente um dos maiores desafios.

Podemos definir algumas ações para identificar o valor destas informações e precisamos ficar atentos, especialmente para as questões éticas de segurança de acesso a informação.
- Criar transparência no processo de uso das informações.
- Proporcionar acesso as informações de forma segura.
- Criar ações atendendo o perfil da população.
- Criar soluções ágeis baseado em dados novos para garantir eficácia na ação.
- Avaliar a evolução dos dados de forma periódica e com metodologia própria e de forma automatizada.

Os custos da área de Saúde são proporcionais ao envelhecimento da população e também a ineficiência com a gestão dos recursos.
Os EUA investiu de forma equivocada em 2012 mais de US$ 700 bilhões segundo estudo  apresentado pelo professor e presidente do Departamento de Informática Médica & Epidemiologia Clínica da Oregon Health & Scince University, William Hersh.  Algumas razões para o desperdício apontadas pelo professor foram:
-Serviços desnecessários prestados e entregues de forma ineficiente.
-Preços altos em relação aos custos.
-Excesso de custos administrativos.
-Oportunidades de prevenção perdidas.
-Ocorrência de fraudes. 

Ainda no departamento de Informática Médica do Oregon Health & Scince University a professora Joan Ash afirma que os registros médicos utilizados de forma correta podem trazer grandes  benefícios para os pacientes e para os médicos, mas se não forem utilizados adequadamente ou estiverem incorretos, podem induzir a erros médicos e a desperdício de recursos. 
Existe uma série de problemas com a troca de informações de saúde, como:
-Falta de padrões reconhecidos por todas as instituições / governos.
-Dados irrecuperáveis para pesquisa.
-De proveniência desconhecida.
-De granularidade insuficiente (pouco detalhamento).
-Documentos imprecisos e incompletos.
-Informações transformadas de maneira que prejudicam o significado.
-Incompatível com os protocolos de pesquisa.

No Brasil, além da falta de recursos, temos a ineficiência na gestão dos mesmos.

Segundo informações do Ministério da Saúde em 2012 o Orçamento era de R$ 12,8 Bilhões mas ao final do período foi realizado apenas R$ 3,7 Bilhões do orçamento previsto. Esta dificuldade na realização do orçamento sinaliza para a dificuldade de gestão por parte do ministério, pois a saúde no Brasil precisa de todo o investimento possível.
Com toda a escassez de recursos, temos poucas ações preventivas, além dos programas de vacinação. Deparamo-nos no dia a dia com uma saúde combalida que não tem capacidade de remunerar corretamente os serviços prestados e não consegue atender a demanda da população.

Poderíamos trabalhar de forma mais eficaz utilizando as informações existentes. 

Hoje todas as Unidades que atendem SUS efetuam o envio das informações dos atendimento de saúde para o DATASUS.

O DATASUS recebe todas as informações e disponibiliza algumas consultas desta base de dados, mas ainda sem aplicações práticas em curso.

Certamente temos uma base gigante que permite uma série de análises e que pode agregar valor na saúde brasileira. Temos o padrão, temos a regulamentação para o envio das informações, temos as informações atualizadas.

O que falta para que o Ministério da Saúde crie iniciativas de análise deste BIG DATA para aplicação prática em benefício da população ?

Hadoop e suas aplicações.

Quando você pensar em computação distribuída, certamente vai topar com o Hadoop.

Atualmente o Hadoop é o framework de computação distribuída mais usado quando se pensa em Big Data. Muitos desenvolvedores tem a curiosidade de saber em que tipo de problemas o Hadoop pode ser usado. Abaixo algumas aplicações da tecnologia.

Detecção de tendências

Detectar novas tendências rapidamente é necessário para um mundo cada vez mais conectado. Com o twitter e a constante troca de informações o volume de informação cresce a cada segundo.

Sistema de Recomendação

Sistemas de recomendação são parte integrante de muitos dos serviços que usamos. Amazon, Netflix, Last.fm entre outros nos mostram o grande valor que sistemas assim podem gerar.

Detecção de fraudes

É a eterna luta entre gato e rato. Detectar fraudes de maneira rápida é uma tarefa bastante complicada. Com o Hadoop podemos processar quantidades gigantes de dados e perceber tendências imperceptíveis em escala menor.

Customer Churn Analysis (análise de rotatividade de clientes)

Empresas que operam grandes volumes de usuários como as operadoras de telefonia sabem que muitas vezes um único usuário que resolve mudar de operadora acaba levando com ele muitos outros. Analisar os padrões de interações entre seus usuários e detectar quem são os que tem mais chances de mudar de operadora é uma grande ferramenta estratégica.

Análise de LOGS

Quem trabalha com aplicações WEB, sabe que elas podem gerar quantidades absurdas de arquivos de log. O Hadoop é aplicado com grande maestria em aplicações de manipulação de logs. Projetos paralelos como o Pig visam inclusive facilitar este tipo de trabalho.

Análise de transação de ponto de venda

Analisar e cruzar dados de grandes cadeias de lojas visando agregar estes dados historicamente e tentar perceber o que os pontos de venda mais bem sucedidos tem em comum é uma grande oportunidade para geração de negócios.

Análise de dados de rede para prever falhas

Perguntas difíceis de responder tais como: Qual o ponto mais fraco da minha rede ? Quando ela vai se partir ? Muitas empresas de telecom estão tratando analisando o volume e a direção do tráfego em suas redes.

Segmentação de usuários

Conhecer os seus usuários e tentar entender melhor como eles interagem com seus produtos e como eles interagem entre si é sinônimo de geração de negócios.

Modelar Risco

A modelagem de risco na área de seguros e instituições financeiras faz parte da sobrevivência destas instituições. Para conseguir uma modelagem mais próxima do real o uso do Hadoop permite a utilização de um número sem precedentes de fatores.

Ad Targeting

Muitas Ad Network já estão utilizando tecnologias Big Data para otimizar tanto a relevância quanto o posicionamento de suas propagandas. Nada pior que propaganda mal relacionada com o conteúdo de um website.

Hadoop, nova tecnologia para tratamento de Big Data

Neste nosso mundo tecnológico, precisamos ficar ligados a todo momento, pois ficamos obsoletos em uma fração de segundos.

O framework Hadoop, lançado no final de 2011, é uma plataforma para análise de dados de código aberto desenvolvida pela Apache, está se tornando fundamental para ajudar empresas a gerirem grandes volumes de dados.

A plataforma aberta de computação distribuída ganhou impulso como mecanismo para lidar com o conceito de Big Data, segundo o qual as empresas procuram extrair valor dos dados de seus sistemas de informação.  Usuários corporativos estão adotando tanto as tecnologias da plataforma Hadoop existentes como as que complementam sistemas que desenvolvem.

A Nasa adota a Hadoop para lidar com grandes volumes de dados em projetos como o Square Kilometre Array, um radio telescópio para visualização do céu. Estima-se que este sistema produzirá 700 terabytes de dados por hora quando for construído na próxima década. 

Os sistemas vão incluir a Hadoop, assim como tecnologias Apache Object Oriented Data Technology (OODT) para gerenciar grandes volumes de informações.

O Twitter é outro grande usuário de Hadoop. Segundo a empresa, todos os produtos de relevância [a  partir dos quais oferece recomendações personalizadas aos usuários] têm alguma interação com a Hadoop”.

A rede social adota Hadoop há cerca de quatro anos e até desenvolveu o Scalding, um repositório Scala para facilitar tarefas executadas pelo Hadoop através do framework MapReduce. A ferramenta foi desenhada sobre o repositório Cascading Java, criado para reduzir a complexidade da plataforma Hadoop.

Os subprojetos da Hadoop incluem o framework MapReduce, que é uma matriz de software para o processamento de grandes conjuntos de processamento em clusters; a Hadoop Distributed File System (HDFS), que oferece acesso rápido a dados de aplicações e Common, com utilitários para apoiar outros subprojetos Hadoop.

A rede social Tagged utiliza a tecnologia Hadoop para análise de informações e processa cerca de meio terabyte de novos dados diários, segundo engenheiros da empresa, a Hadoop está sendo aplicada em tarefas que superam a capacidade da ferramenta Greenplum, comprada pela EMC. 

Apesar de elogiarem a Hadoop, os usuários apontam deficiências como a fiabilidade e monitoramento de tarefas. Um dos problemas é a latência. “O tempo para obter dados é bastante rápido, mas todos reclamam da grande latência na execução de consultas”. A Tagged utiliza a Apache Hive, outro projeto derivado da Hadoop, para consultas “ad hoc”.

“Isso pode levar vários minutos para obter resultados que, na Greenplum, levaria questões de segundos”. Mas usar a Hadoop é mais barato que Greenplum.

O que promete a Hadoop 2.0
A Hadoop 1.0 foi lançada no final de 2011, com tecnologia de autenticação forte via Kerberos e suporte para bases de dados HBase. A versão também impede os usuários individuais de derrubarem clusters, usando restrições sobre a MapReduce.

Mas uma nova versão está no horizonte. A plataforma entrou em fase alfa no início deste ano “e terá a camada de MapReduce recodificada de extremo a extremo, além de uma reescrita completa de toda a lógica de armazenamento e da camada de HDFS “.

A Hadoop 2.0 estará focada na escala e inovação, baseada na Yarn (próxima geração da MapReduce) e em recursos de federação. A Yarn permitirá aos usuários adicionar os seus próprios modelos de computação para não ficarem presos à MapReduce.

As adoções previstas incluem aplicações de tempo real e algoritmos de aprendizagem artificial, além das operações de armazenamento com capacidade de expansão.

Capacidades de funcionamento o tempo todo da versão 2.0 deverão permitir a constituição de clusters sem tempo de inatividade. A versão prevê também o armazenamento escalável. A Hadoop 2.0 estará disponível dentro de um ano.