"BIG DATA X PÉSSIMAS ANÁLISES", O DESAFIO A SER VENCIDO

Big data não é sobre os dados, é sobre as análises, segundo o professor da Universidade de Harvard Gary King - e existem algumas análises muito ruins lá fora. Um de seus exemplos recentes diz respeito a um grande projeto de dados que começou a usar feeds do Twitter e outras mídias sociais para prever a taxa de desemprego nos EUA. Os pesquisadores elaboraram uma categoria de muitas palavras que pertenceram ao desemprego, incluindo: emprego, desemprego e classificados. Eles capturaram tweets e outras mídias sociais que continham estas palavras, em seguida, olharam para as correlações entre o número total de palavras por mês nesta categoria e a taxa de desemprego mensal. Isto é conhecido como análise de sentimentos por contagem de palavras, e é uma abordagem de análise comuns, disse King.

O dinheiro foi levantado e trabalho se arrastou por um longo tempo e de repente houve um tremendo aumento no número de tweets que continham o tipo de palavras que caíssem nesta categoria. Talvez os pesquisadores haviam deixado passar alguma coisa. "O que eles não tinham notado foi que Steve Jobs havia morrido", disse King,professor da Universidade Albert J Weatherhead III e diretor do Instituto de Ciências Sociais Quantitativa em Harvard. Claro, tweets com "Jobs" postados por uma razão completamente diferente inundaram a rede.

King, cuja pesquisa se ​​concentra no desenvolvimento e aplicação de métodos empíricos para pesquisa em ciências sociais, disse que esses erros acontecem "o tempo todo", em análise de sentimentos pela contagem de palavras e outros programas de análise "off the shelf" . Isso porque essas abordagens tendem a confundir os seres humanos com os sistemas que respondem de maneiras completamente previsíveis. Isso é conhecido  como péssimo em analytics. "Nós somos muito bons em serem humanos, mas muito ingênuos tradando-se de computadores."

O orador principal na recente Text and Social Analytics Summit 2013 em Cambridge, Massachusetts, King fez questão que,sem dúvida, muitas empresas estão descobrindo como eles devem extrair valor a partir do pronto de origem dos dados que coletam e que são gerarados minuto a minuto. (Curiosidade: O volume de e-mail produzidos a cada cinco minutos é equivalente a todos os dados digitais na Biblioteca do Congresso.) O valor real em Big Data está na qualidade das análises, que muitas vezes exige cálculos matemáticos personalizados para o propósito de seu negócio em particular, não algo genérico como um programa off-the-shelf.

"Temos tentado comoditizar os analytics e há softwares lá fora que fazem um monte destas tarefas", disse King. Mas o software comercial que automatiza a "última milha", o trecho que separa um projeto de análise de Big Data vencedor de um coadjuvante, ele acredita que é raro, se é que existe algum.

CONTAGEM DE PALAVRAS CONTRA LEITURA ASSISTIDA POR COMPUTADOR

Uma característica comum de análise ruins envolve a formação de grumos de muitas classificações individuais para responder a perguntas sobre o zeitgeist. O projeto de análise Twitter descrito acima é um exemplo. Análise de sentimentos por uma contagem de palavras categóricas funciona por pouco tempo", mas se você fizer isso por mais tempo, isso será o suficiente para ele falhar catastroficamente", disse King.

Uma maneira de evitar erros de interpretação é de ler os posts - King trabalha com leitura assistida por computador para garantir que o post é realmente sobre o assunto. Isso requer semântica ao invés de contagem de palavras simples e é muito mais difícil de fazer.

Análises Ruins não se limitam à enormemente e difícil tarefa de analisar os não estruturados feeds de mídia social. Outro projeto de Big Data que deu errado descrito por King tentou descobrir as causas de morte em partes do mundo onde não há emissão da certidão de óbito. Uma maneira de coletar esses dados é ter pesquisadores indo de casa em casa fazendo o que é chamado de "autópsia verbal". Quais eram os sintomas do falecido exibidos antes de morrer,sangramento do nariz, dores de estômago?

Isso funciona muito bem, disse ele, até que você tente ligar o relatório verbal a um diagnóstico e o que você vai encontrar não necessariamente terá a mesma causa da morte de um médico para outro. O envio de um médico para a Tanzânia para fazer a autópsia verbal parece ter ajudado, mas isso pode ser um beco sem saída também. Um médico treinado em Boston, por exemplo, sem muita experiência em doenças tropicais, talvez não pense imediatamente em malária quando houver corrimento nasal e por sua vez reportará a causa da morte erroneamente. E enviar o melhor médico na Tanzânia em campo para fazer "este pequeno estudo", disse King, pode realmente acabar matando as pessoas, privando-os de um bem escasso, ou seja, um médico. O problema fundamental é que as análises estão focadas em classificações individuais quando o real objetivo da análise é a forma como toda a população foi distribuída.

"Na saúde pública, eles não se preocupam com você, eles se preocupam com "de que todo mundo morreu", disse King. A abordagem é ineficaz em muitos campos. "Uma vez que percebemos do que precisávamos para chegar a um método diferente para estimar a porcentagem na categoria que não tinha nada a ver com a classificação de um indivíduo."

Tratando-se do Brasil, este tipo de trabalho seria ainda mais complexo, levando-se em consideração o péssimo atendimento dos Serviços Públicos de Saúde onde médicos sequer dispõem de equipamentos para efetuar diagnósticos. Os médicos brasileiros além de enfrentar problemas de infraestrutura, ainda tem que lidar com as péssimas condições de trabalho as quais tem que se submeter para atender a população, e muito ao contrário do que você está imaginando, não estamos falando de povoados na Selva Amazônica ou cidades e povoados no Sertão Nordestino, também estão incluídos bairros das principais capitais do país.

Apesar de alguns hospitais públicos já contarem com os recursos da informatização, ainda é precário a qualidade dos dados informados, quando são informados, pois não há uma forma de se certificar que aqueles dados são confiáveis devido a forma de como são registrados e sem falar dos vários casos de desvio de verbas e corrupção na área da saúde. Portanto, qualquer tipo de trabalho a ser desenvolvido envolvendo a Análise de Big Data com dados obtidos a partir destes sistemas estaria fadado ao fracasso se não houvesse todo um trabalho de seleção e validação dos dados.

PRIVACIDADE E ESCASSEZ DE MÃO DE OBRA QUALIFICADA SERÃO OS PRINCIPAIS OBSTÁCULOS PARA O BIG DATA NO BRASIL

O desenvolvimento do Big Data no Brasil terá vários desafios em um futuro bem próximo. O maior deles, como não poderia deixar de ser quando o assunto é dados, é a preocupação quanto à privacidade. Se a recomendação de links patrocinados pelo Google já parece invasiva à maioria das pessoas, o mundo e a legislação atuais não estão preparados para as possibilidades que o Big Data oferece de agregar e tirar conclusões de dados até então esparsos.

Gustavo Tamaki, gerente de vendas da Greenplum Brasil, da EMC, pondera que os usos mais invasivos do Big Data ainda não são uma realidade. Mas admite os riscos:

– Acho que toda tecnologia que surge também tem o seu lado ruim.

Para Karin Breitman, da PUC-Rio, os cientistas não devem autocensurar as pesquisas por causa da polêmica:

– Essa é uma questão ética. Cabe à sociedade impor limites à aplicação da ciência e da tecnologia, mas os pesquisadores precisam trabalhar no limite, na ponta.

Outro problema a ser enfrentado será a escassez de profissionais que reúnem habilidades em matemática, estatística e ciência da computação. O Big Data levou as empresas a uma disputa frenética por esse perfil e tornou a IBM a maior empregadora de matemáticos PhDs no mundo. O instituto McKinsey Global prevê que faltarão entre 140 mil e 190 mil desses profissional em 2018.

– Já há carência desse profissional no Brasil hoje. Se houver uma explosão do Big Data, certamente teremos problemas – advertiu Alexandre Kazuki, da HP, que prevê para 2013 a massificação da tecnologia por aqui.

Este problema também será enfrentado por todas as empresas que desejem entrar no mundo do Big Data, pois o desafio não se resume só a encontrar profissionais qualificados, mas também como identifica-los no mercado. O primeiro passo é saber o que procura e a partir desta informação, os RHs e empresas de recrutamento também precisam se preparar e qualificar para a tarefa de procura e contratação de mão de obra. 

O BRASIL SÓ CONHECE O PRÉ-SAL DEVIDO AO BIG DATA

Todas as empresas já enfrentam o problema dos dados de alguma forma, mas a tecnologia ainda é aplicada por aqui de forma pouco madura, muito restrita aos dados estruturados, tradicionais – observou Maurício Prado, gerente geral de servidores da Microsoft Brasil. – Mas a expectativa de crescimento é enorme. Temos um dos principais mercados de internet no mundo, sobretudo de redes sociais, o que é um fator crucial para a adesão do conceito de Big Data.

– A gente só sabe que o pré-sal existe por causa da Big Data e da economia da nuvem – resumiu Patrícia Florissi, executiva de tecnologia da EMC para a região das Américas.

Isso porque, explica ela, a tecnologia agiliza o processamento de dados sísmicos captados pelas sondas que procuram petróleo no fundo do mar. Como são milhões as variáveis, o trabalho exige intermináveis simulações de imagens, e só o Big Data é capaz de dar conta do trabalho em um tempo razoável.

Visando esse mercado, a gigante EMC está construindo no Parque Tecnológico do Fundão um centro de pesquisas totalmente dedicado ao uso de Big Data para a indústria do petróleo. Ele ficará pronto em no máximo dois anos e empregará 35 pesquisadores, sendo apenas um deles estrangeiro, conta a executiva. O centro vai realizar trabalhos que estejam alinhados com as áreas de atuação da própria EMC, da Petrobras e da UFRJ. Segundo Patrícia, a companhia de Massachusetts vai investir R$ 100 milhões no país nos próximos quatro anos.

Há também iniciativas brasileiras de Big Data na seara dos dados governamentais, aceleradas pela proximidade da Lei de Acesso à Informação, que entra em vigor em maio. Uma parceria do Ministério do Planejamento, do Serviço Federal de Processamento de Dados (Serpro) e da PUC-Rio disponibilizou na internet dados abertos dos dois mandados do governo Lula.

OS CASES E NUMEROS QUE MOVIMENTARAM O BIG DATA NO BRASIL EM 2013

O instituto de pesquisas IDC Brasil realizou, no fim de agosto, o IDC Brazil BI & Big Data Conference 2013, um evento dedicado ao debate sobre o futuro do big data no país e, de quebra, selecionou e premiou os melhores cases de sucesso.

Entre os cinco finalistas do evento, o que mais impressiona é a homogeneidade da lista: Buscapé Company, Universidade Metodista de São Paulo, Escritório de Prioridades Estratégicas de Minas Gerais, Votorantim Cimentos e a Secretaria Nacional do Ministério da Justiça foram os selecionados. 

As diversas formas de usar o big data ficam clara nos projetos. A Universidade Metodista, por exemplo, foi indicada pelo Intelligere, um projeto que tem como objetivo "melhorar o processo de aprendizagem e assegurar o sucesso do aluno em completar seu percurso acadêmico no prazo definido e dentro dos parâmetros de qualidade especificados, por meio da aplicação de estudos analíticos aos processos de aprendizagem, avaliação e acompanhamento da vida do aluno". Ou seja, usando todos os dados de um só aluno, é possível saber onde ele precisa melhorar e o que precisará fazer para não ficar mais tempo na faculdade.

Já o Escritório de Prioridades Estratégicas de Minas Gerais, que foi o grande vencedor do evento, visa à transparência de dados do governo, disponibilizando informações da gestão pública para, com isso, conseguir desenvolver novas políticas públicas com participação da população. O resultado foi a reunião de dados sobre pontos importantes da sociedade (como educação e saúde, por exemplo), para que todos saibam onde os problemas mais graves se encontram e que medidas podem ser tomadas com maior velocidade.

Analisando os cinco finalistas, o critério do IDC Brasil fica claro: a capacidade de analisar e explorar valor foi o foco, principalmente em casos em que os dados foram usados para a tomada rápida de decisões, encurtando processos e economizando recursos. A capacidade de analisar os dados é fundamental para que esse tipo de situação aconteça – não basta ter um amontado de dados se não se sabe ao certo como eles podem beneficiar seu negócio.

O evento também revelou as estimativas do IDC Brasil em relação à movimentação financeira que o negócio irá gerar em 2013: 285 milhões de dólares apenas no Brasil. Ainda segundo o IDC, as projeções indicam que esse valor ultrapassará a marca do 1 bilhão de dólares em 2017. Investir em novas tecnologias e pessoas dedicadas ao uso de um número cada vez maior de informação será essencial para que novas empresas e governos brilhem nos próximos anos.

Fonte : INFO

PRÓS E CONTRAS DO BIG DATA NA SAÚDE

Um dos grandes desafios no Brasil é a falta de precisão no registros eletrônicos na área da saúde, pois por incrível que pareça, muitas áreas da saúde ainda nem mesmo possuem computadores.

De nada adianta congressos pomposos de Tecnologia onde prometem as mil maravilhas na revolução do compartilhamento de informações quando em nosso país, nem mesmo órgãos publico de segurança são interligados, pois hoje qualquer cidadão pode tirar quantas carteiras de identidade quiser bastando viajar para outro estado. Falha? Eu diria mais um descaso do governo que enche o peito para reclamar que foi espionado quando sua própria segurança interna sempre foi uma bagunça.

Hoje com a disseminação de vários dispositivos móveis e de plataformas baseadas em cloud, podemos ver uma certa agilidade nos serviços assistenciais aumentando cada vez mais o repositório de informações tanto clinicas como administrativas das instituições em geral ou órgãos de saúde pública. Agora vem a pergunta que não quer calar: " Como aproveitar estes dados através do Big Data?" Afinal, saber organizar e aproveitar ao máximo os dados colhidos resulta necessariamente em melhores diagnósticos, tanto individuais como populacionais, e tratamentos.

Em uma palestra, durante a Global Summit 2013, realizado pela InterSystems no ano de 2013, o líder do Mckinsey Global Institute, Michael Chui, mostrou como a ocorrência de epidemias de doenças que segundo ele pode muitas vezes, ser mensurada até por meio de buscas feitas no google. Claro que isto é uma falácia, principalmente tratando de uma fonte que é incapaz de autenticar uma informação e armazenar petabytes de puro lixo em seu mecanismo de busca.

O executivo apresentou cinco passos rumo ao valor, porém alertou para questões que ainda preocupam como a privacidade, segurança e o pertencimento dessas para questões que ainda preocupam como a privacidade, segurança e o pertencimento dessas informações. 

• Criar transparência; 
• Expor a variabilidade de informações passíveis de experimentação; 
• Customizar ações de acordo com o perfil da população; 
• Suportar decisões humanas com algoritmos automatizados; 
• Inovar modelos de negócios, produtos e serviços.

Economia 
A gestão "Eficiente" das informações é também vista como uma saída para os custos crescentes do sistema do sistema de saúde, uma tendência comum à maioria dos países. Os EUA, em 2012,
por exemplo, gastou cerca de US$ 750 bilhões sem necessidade, segundo estudo apresentado pelo professor e presidente do Departamento de Informática Médica & Epidemiologia Clínica da Oregon Health & Scince University, William Hersh.

Algumas razões para o desperdício apontadas pelo professor foram: 

• Serviços desnecessários prestados e entregues de forma ineficiente 
• Preços altos em relação aos custos; 
• Excesso de custos administrativos;
• Oportunidades de prevenção perdidas; e 
• Ocorrência de fraudes. 

Entraves 

Apesar dos investimentos que  Barack Obama está direcionando à saúde do País para promover a digitalização dos registros médicos (EHR, na sigla em inglês) de todos os cidadãos americanos, Hersh sinalizou que, além da privacidade e confidencialidade mencionada por Chui, há ainda muitas outras barreiras para o uso das informações integradas. 

Alguns exemplos são: alto custo, necessidade de mão de obra técnica, com conhecimento de Business Intelligence (BI), por exemplo, e necessidade de infraestrutura de interoperabilidade. O professor apresentou pesquisas de diferentes entidades como, por exemplo, do English National Health Service (NHS), que demonstram uma série de problemas com a troca de informações de saúde, como: 

• Documentos imprecisos e incompletos; 
• Transformados em maneiras que prejudiquem o significado; 
• Irrecuperáveis para pesquisa; 
• De proveniência desconhecida; 
• De granularidade insuficiente (pouco detalhamento); 
• Incompatível com os protocolos de pesquisa. 

Agora imaginem este mesmo cenário no Brasil, praticamente estes problemas irão se multiplicar por 1000, pois além de documentações imprecisas, ainda temos cidadãos que simplesmente não existem e consultam nos hospitais públicos utilizando documentos de irmãos ou parentes, nem mesmo documentos com fotos são verificados, pois o que é necessário é o numero do documento para poder ser cobrado do SUS. Se fizer um estudo, vamos ver que alguns pacientes são tratados de várias doenças em um curto período de tempo.

Evidente que ao primeiro sinal do Governo solicitando projetos de Big Data voltado para saúde, as figurinhas carimbadas é claro, aquelas empresas que já possuem cadeira cativa no fornecimento de soluções para o Governo, e convidadas trarão projetos miraculosos e muito caros. Será preciso muita seriedade para selecionar ou montar um plano de ação e para isso o Governo Federal deverá estar muito bem assessorado para não cair em armadilhas, pois é comum empresas no Brasil prometerem algo do tipo que "Galinha Voa".

Mas antes do Governo pensar em entrar na onda do Big Data, é preciso arrumar a casa, uma tarefa que já deveria ter sido feita há muito tempo, pois de nada adianta programas para tirar o povo da miséria e fome e deixa-los a própria sorte na saúde.

BRASIL : BIG DATA & CLOUD - UM SONHO MUITO DISTANTE DA REALIDADE

Com Milhões de informações armazenados em seus bancos de dados o governo tem a oportunidade de construir aplicações para criar novos serviços e melhorar o atendimento ao cidadão. O problema é que para isto acontecer é necessário uma atitude inicial chamada de "Boa Vontade" e neste caso "Boa Vontade Política". Antes de tudo, o governo costuma procurar no mercado brasileiro empresas com expertise ao contrário do Governo dos USA que busca profissionais especialistas em Universidades e empresas, deixando apenas os cargos mais básicos para serem preenchidos pelos funcionários ou terceirizados das empresas contratadas, digamos que de certa forma ele garante seu time de elite, alheio e protegido a qualquer quebra de contrato ou politica de custos das empresas terceirizadas.

Segundo informações do Presidente da IBM no Brasil, Rodrigo Kede, a Prefeitura do Rio de Janeiro já está mais adiantada do que outras, pois já sinaliza um grande interesse em analisar e tirar informações efetivas dos seus dados. Bom, todos sabemos que existe um abismo entre sinalizar interesse e realizar, tratando-se de iniciativas por partes de órgãos politicos no Brasil.

Por experiência própria, entrei em contato com alguns políticos influentes, lideres de Partidos, governadores, Chefes de Gabinete, Prefeitos e conversei sobre o assunto, porém é nitidamente visível a total falta de conhecimento sobre o assunto e o que já vem sendo feito em países de 1° mundo. A resposta mais ouvida é : "Interessante, vamos analisar", vido de um político isto quer dizer : "Vamos empurrar com a Barriga".

Ainda segundo Kede, há limitações fisicas e humanas no Brasil para o desenvolvimento de projetos de Big Data, concordo em parte quanto a limitações físicas, porém discordo quanto a limitações humanas, pois

existem sim profissionais especialistas em Banco de Dados e acostumados a trabalhar com grandes volumes de dados, o que há sim é uma falta de capacitação técnica para localizar e identificar estes profissionais.

Como mencionei acima, há muitos anos faltam administradores e gestores de visão a longo prazo, pois um dos problemas no Brasil é que devido a sua instabilidade e dados muitas vezes questionáveis envolvendo a nossa economia, deixa investidores receosos e inseguros para investir em projetos muito longos, principalmente aqueles que passaram por 2 mandatos de governos, pois o risco de ser abandonado ou cancelado é muito alto.

No mercado de Cloud, também engatinhamos, mesmo com a IBM, Amazon, Google, lideres mundiais na oferta de computação em nuvem, no Brasil os preços são muito elevados. A Amazon resolveu entrar forte no Brasil, porém não contava com a falta de infraestrutura e pagou caro por isso quando seus serviços

ficaram indisponíveis no final de 2013.

Ainda não há como prever como será 2014 e se há, são apenas especulações,pois como todos sabem, o Brasil este ano está com a cabeça enfiada na Copa do Mundo, o Governo Federal e Prefeituras não pensam em outra coisa senão cumprir ou remediar o que foi prometido, portanto, que venha 2015, pois 2014 será um ano a ser esquecido pela TI.

Paulo Fagundes

Big Data Specialist - Senior Instructor & Consultant 
Oracle Exadata & Exalogic Elastic Cloud

Varejistas testarão big data com operadora móvel no Brasil

Uma operadora em atuação no Brasil, cujo nome ainda não pode ser revelado, elaborou dois produtos para vender ao mercado
O uso de big data por operadoras celulares começa a se tornar realidade. Com a ajuda da Accenture, que desenvolveu uma plataforma com essa finalidade, uma operadora em atuação no Brasil, cujo nome ainda não pode ser revelado, elaborou dois produtos para vender ao mercado.
O primeiro é voltado para varejistas e consiste em fornecer dados demográficos sobre as pessoas que passam por um determinado local e horário, à escolha do cliente. É possível saber quantas pessoas transitam na área, a proporção de homens e mulheres, a distribuição por idade etc.

Big data: há potencial de uso do big data das teles por órgãos governamentais
 em seu planejamento de estratégico de gestão e de alocação de investimentos

Isso é feito graças ao cruzamento entre os dados cadastrais da operadora e a localização do usuário por triangulação de estações radiobase (ERBs). Dez grandes grupos varejistas que atuam no país vão participar de um teste-piloto do produto.

Cada um levará à operadora um problema específico em seu negócio e a solução será buscada a partir de informações coletadas pelo sistema de análise de big data.
Nessa fase de testes, a relação é de colaboração entre as empresas. Mas no futuro a perspectiva é de que o big data se torne uma fonte importante de receita adicional para essa operadora. Cabe ressaltar que os dados são tratados de forma coletiva e anônima: não há identificação direta dos assinantes, por razões óbvias de privacidade.

O segundo produto de big data elaborado pela Accenture com essa tele é voltado para a indústria financeira, com o objetivo de reduzir as fraudes com cartões de crédito.
A ideia é cruzar a informação da localização do assinante de telefonia com o local onde a compra está sendo feita. Se o endereço não coincidir, pode ser um indício de fraude.

A solução já foi apresentada a algumas empresas do setor financeiro, que demonstraram interesse. Mas não há qualquer teste-piloto agendado por enquanto.

Há ainda o potencial de uso do big data das teles por órgãos governamentais em seu planejamento de estratégico de gestão e de alocação de investimentos. Dois exemplos são o uso em segurança pública, cruzando dados de fluxo de pessoas com o mapa da criminalidade, e o outro seria o uso no planejamento de expansão de infraestrutura.

"As teles têm um ativo muito valioso em suas mãos, que é o conhecimento da localização dos assinantes e a interação entre as pessoas", comenta Daniel Lázaro, líder de analytics da Accenture. "Há muito dinheiro nesse negócio, mas requer mobilização interna. O maior custo é de integração de sistemas. Nos cenários que projetamos, o retorno vem em menos de 12 meses", afirma Lázaro.
A operadora em questão conseguiu implementar a plataforma de big data desenvolvida pela Accenture em cem dias. Mas isso só foi possível graças ao empenho direto do presidente da operadora, o que gerou mobilização de todas as áreas envolvidas.

Gestão, modelo de negócios e competição

A tendência é de que as teles criem no futuro unidades de negócios voltadas para big data. É preciso também treinar os vendedores, pois se trata de um produto completamente diferente daquilo que estão acostumados. O modelo de negócios também se encontra em desenvolvimento.
É possível que no caso de grandes clientes corporativos se adote uma modelo de assinatura para o acesso à plataforma. Em outros casos ou em projetos específicos, pode-se vender um uso pontual.

Como o mercado brasileiro de telefonia celular é bastante equilibrado, com quatro operadoras dividindo a participação em fatias relativamente iguais, qualquer uma delas pode prover uma base que tenha validade estatística para projetos de identificação de perfis demográficos em fluxo de pessoas.
Porém, algumas teles podem ser particularmente mais fortes em determinadas regiões ou em determinados segmentos de clientes. Assim, o executivo da Accenture acredita que no futuro as teles vão trabalhar essa diferenciação: dependendo de quem requisita a pesquisa e de seu público-alvo, talvez seja melhor trabalhar com uma ou outra operadora.

Fonte : EXAME