MAIS DE 70% DAS OPORTUNIDADES ESTÃO NA CIÊNCIA DOS DADOS, DIZ PESQUISA

Levantamento aponta que otimização de marketing digital e análise de relacionamento nas redes sociais também são benefícios da tecnologia.

A melhor oportunidade para a aplicação de análise das informações é na ciência de dados. É o que acreditam 70% dos participantes de uma pesquisa realizada pela Teradata, especializada em soluções focadas em análise de Big Data e data warehousing, com 1,3 mil pessoas nas cidades de San Francisco, Boston e Chicago, nos Estados Unidos.

A otimização de marketing digital e análise de relacionamento nas redes sociais também foram consideradas oportunidades pelos entrevistados. As oportunidades menos valiosas, de acordo com os ouvidos pela estudo, estão na detecção de fraudes e prevenção.

O levantamento indica que o mercado está em busca de maneiras de lidar com as grandes quantidades de dados, ou Big Data, para obter uma percepção mais profunda dos negócios. 

Em San Francisco e Boston, 60% dos entrevistados disseram que o setor de TI está conduzindo conversas sobre a análise de Big Data. Em Boston, mais de 70% dos participantes disseram que a equipe de tecnologia foi a primeira a falar sobre a importância da tecnologia.

No total, cerca de 60% dos participantes relataram que o maior desafio com a análise é a complexidade dos dados. Já os enormes volumes de dados gerados é o segundo maior desafio apontado pelos entrevistados.

EMPRESAS GASTAM MAIS TEMPO PARA ORGANIZAR DADOS DO QUE ANALISÁ-LOS PARA NEGÓCIOS

Estudo indica que apenas 10% do tempo é dedicado para utilização desses dados em prol dos negócios. Muitos esforços ainda são destinados para estruturar dados em formas possível de serem analisados

As empresas estão presas em um mundo obscuro lotado de dados e devem continuar por lá por mais alguns anos. É o que sugere o professor de marketing da Baylor University’s Hankamer School of Business, Jeff Tanner, responsável por um estudo que traz um diagnóstico sobre esse cenário.

O foco do especialista é ajudar extrair maior valor de vendas a partir de dados transacionais de consumidores, algo que ele avalia que tem se tornado cada vez mais comum à medida que novas fontes de dados emergem, como social media. As companhias estão em busca de dados que podem ser utilizados para criar retratos individuais mais completos de seus cliente para a customização de ações de marketing.

O estudo, contudo, indica que a maioria ainda está lutando para estruturar seus dados em formas possíveis de serem analisados. Uma pesquisa feita com varejistas e empresas de bens de consumo embalados nos Estados Unidos mostra que as companhias gastam cerca de 70% a 90% de seu tempo organizando dados para que sejam analisados. Isso significa que cerca de 10% do tempo é dedicado, de fato, à utilização desses dados para ajudar os negócios.

As empresas ainda não são capazes de enxergar o que está contido em seus dados. Segundo o pesquisador, o caminho é aprender a criar mensagens mais assertivas que condizem com o perfil de compra de seus clientes e seus interesses. O desafio a ser superado, de acordo com ele, irá conduzir ao que ele chama de “quebra de informação”, em que as companhias irão terceirizar seus dados para outras analisarem. Ele acredita que a comercialização de dados de consumidores se tornará menos comum. “Estamos caminhando para o limite de capacidade em análise, armazenamento e preparação”, afirma Tanner.

Então o que vale a pena em relação aos dados? A resposta indica para o que pode levar sua empresa mais próximo de uma transação valiosa.  Note que isso não significa o quão mais próximo é possível chegar do consumidor. Dados baseados em localização por si só não têm valor. “Sempre ouço dos fornecedores que isso vai permitir dar descontos e blá blá blá. Mas se eu souber que você está numa rua próxima à minha loja e lhe enviar uma notificação com um desconto de um dólar em um produto, isso é um desconto estúpido”, diz.

Para Tanner, o que as empresas precisam é recolher melhores informações de seus dados. Assim, é preciso saber se esse consumidor que está nessa rua costuma frequentar a minha loja e, em caso afirmativo, o que essa pessoa tem hábito de comprar e quando? Além disso, esses dados devem ser aplicados nas vendas desses produtos para promover uma cadeia de suprimento mais eficiente.

Fonte: Information Week

PRIMEIROS PASSOS ESTRATÉGICOS ANTES DE ADOTAR O BIG DATA

A tendência Big Data está se tornando mais prevalente entre as organizações a medida que o volume de dados aumenta, devido à mídia social, mobilidade e computação em nuvem. Como essa abundância de dados estruturados e não estruturados cresce, as empresas estão lutando para gerenciar com sucesso e dar sentido a ela. 

Especificamente, as empresas estão aplicando big data analytics para determinar as tendências de negócios e insights do resultado de dados criados. Analisando o Big Data pode resultar em crescimento de negócios, redução de custos, aumento de receita e melhor marketing para as organizações. Mas este trabalho vem com desafios bem complicados. 

Neste post, vamos ver como iniciativas Big Data podem fornecer uma vantagem competitiva. Vamos examinar as considerações de grandes infra-estruturas de dados, segurança de Big Data, como os impactos de Big Data no Master Data Management (MDM), a transição do gerenciamento e análise de Big Data e os desafios em apoiar grandes análise de dados nas empresas de pequeno e médio porte, ambientes em empresas de pequeno e médio porte.

Big Data fornece uma vantagem competitiva 

Segundo alguns analistas, as empresas que não se aproveitarem das oportunidades de negócios do Big Data vão ficar para trás em relação a concorrência. Empresas que adotarem  big data analytics poderão tomar decisões mais concretas e ver ganhos financeiros, dizem analistas. No melhor cenário, as empresas irão analisar as informações coletadas a partir de dispositivos móveis, sistemas de armazenamento e ferramentas de gestão. A ideia é identificar padrões de negócios recorrentes para capitalizar os sucessos e evitar falhas.

No entanto, a adoção do big data analytics coloca alguns desafios, tais como a dificuldade de utilizar tecnologias de Big Data, como por exemplo o Software Apache Hadoop Distributed File System e MapReduce. Alguns analistas, por outro lado, acreditam que a forma tradicional de pensar sobre o negócio através de tecnologias de data warehouse e BI  não fornecem às empresas as informações necessárias para fazer o melhor uso de dados.

Nesse meio tempo, várias empresas estão desenvolvendo ferramentas para reduzir os obstáculos do Big Data. Com essas novas ferramentas e treinamento adequado, as empresas irão encontrar tecnologias de Big Data mais acessíveis e serem capaz de implantar, administrar, gerenciar e proteger-los mais facilmente.

Considerações de infra-estrutura para iniciar no Big Data

Parte de abraçar a grande tendência dos dados, primeiro é preciso saber o que considerar na escolha de uma infra-estrutura de Big Data. O maior desafio que os administradores irão ter que enfrentar é como farão para armazenar os dados estruturados e não estruturados produzidos pelas empresas de uma maneira que fique fácil para analisar. Mas empresas de TI também devem considerar os desafios que surgem na gestão de Redes na Análise de Big Data. 

A fim de superar os desafios apresentados pelo Big Data, algumas características de uma grande infra-estrutura de armazenamento de dados a serem considerados incluem a capacidade, latência, o acesso a arquivos, segurança e custo.

Iniciativas de Big Data exigem um Frameworks seguros

Enquanto a análise e Gestão de Big Data tem seus benefícios, é importante reconhecer os problemas de segurança que podem representar. Grandes volumes de Dados podem conter ameaças de segurança ou dados tóxicos como números de CPF, RG, Passaportes, etc.. e dados de propriedade intelectual, que pode ser prejudicial a uma organização, se forem expostos. 

Ambientes de Big Data que não são seguros o suficientemente e isto pode fazer com que as informações fiquem vulneráveis a um ataque. Para evitar ataques e vazamentos, as empresas devem tomar medidas adequadas para garantir um ambiente de Big Data e criar um FrameWork confiável. Para criar FrameWork, as organizações devem dar três passos principais: definir o nível de classificação de dados com base em como ele pode ser tóxico, olhando para análise e soluções de visibilidade para cruzar com o Big Data com segurança e usando ferramentas como o controle de acesso para defender os dados, e  por fim, a eliminação dos dados quando não é for mais necessário.

A gestão do Big Data tende a impactar o fluxo de trabalho nos negócios 

Uma vez que as empresas implementem uma infra-estrutura de Big Data, eles estão propensos a ver um impacto sobre o fluxo de trabalho nos negócios, dominar literalmente o gerenciamento de dados de programas (MDM).

Programas MDM gerenciam as conexões entre os dados internos de uma organização e o Big Data que flui externamente. Pelo simples fatodo Big Data vir de várias fontes, tais como mídias sociais e computação em nuvem, é importante avaliar a melhor maneira de gerenciar todos os dados que vem da mídias sociais, isso pode ser através de uma lligação dos arquivos mestres internos de clientes para perfis de redes sociais externos . Quanto à computação em nuvem, as empresas poderiam usar os recursos de MDM baseados em nuvem ou ambientes híbridos formados por ambos em nuvem e aplicações no local.

Um dos maiores desafios que as organizações estão enfrentando com MDM está provando o business case. As empresas devem mostrar que o investimento nesses programas fornece uma visão inventário e, portanto, reduzir os custos. Se feito com sucesso, as organizações podem utilizar práticas de MDM para assumir o Big Data e melhorar suas estratégias de negócios.

Mudando de grandes gerenciamentos de dados para grandes análises de dados 

Como a tendência de Big Data cresce, a idéia de "big data" fez a transição de definir a quantidade, velocidade e tipo de dados que as empresas devem conseguir determinar e o que fazer com esses dados para fins comerciais. 

Esta mudança de grande gerenciamento de dados para grandes análises de dados obriga as organizações a olhar para além de apenas entender como controlar grandes dados e mais profundo em casos de uso de analytics. O importante para as organizações não se concentrar inteiramente no volume de dados para a gestão, mas sim para olhar como esses dados podem ajudar a melhorar os processos de negócios e agregar valor aos negócios.

Empresas pequenas e de médio porte utilizam big data analytics com a ajuda de provedores de cloud computing 

Big data pode parecer simples para as grandes empresas, mas as empresas de pequeno e médio porte estão tomando as medidas necessárias para utilizar big data analytics também. Estas pequenas e médias empresas podem achar a grande ajuda que necessitam de provedores de nuvem. 

Um número de provedores de nuvem identificaram tendências em big data analytics para pequenas e médias empresas, e as empresas menores devem procurar provedores que já vem fazendo este trabalho.

Superando desafios do Big Data na nuvem 

Muitos provedores de nuvem ainda não encontraram oportunidades em apoiar o big data analytics na nuvem, mas isto também traz alguns desafios que cercam demandas colocadas sobre redes, armazenamento e servidores. Nuvem não oferecem flexibilidade para triturar grandes quantidades de dados não estruturados, mas essa flexibilidade também pode ser o problema para arquiteturas de nuvem. 

A fim de superar a capacidade, desempenho e agilidade desafios, os provedores de nuvem devem mudar suas arquiteturas para acomodar a demanda. Para o armazenamento, capacidade de dados é fundamental para garantir o desempenho. Alguns provedores de nuvem também estão adotando modelos de arquitetura que permitem a um sistema mais distribuído e com melhor balanceamento de carga.

UNIVERSIDADES DEVEM INCLUIR SEGURANÇA DE BIG DATA E CLOUD EM SEUS CURRÍCULOS

Quando se trata de integrar as tendências da tecnologia da informação nos currículos de muitas universidades e faculdades, o sistema educacional tem ficado para trás na curva de aprendizado. Isto é verdade para a educação de Big Data, e infelizmente, a segurança de TI é necessária para proteger informações não estruturadas.

Os conceitos relacionados com a manipulação de grandes quantidades de dados são brevemente abordadas em cursos que se concentram em bancos de dados ou algoritmos. Mas quando big data é abordada em uma classe de algoritmos, é principalmente como uma justificativa para o ensino de diferentes algoritmos de classificação, essencialmente, ordenando listas em projetos de "big data".

Se as universidades oferecem aulas sobre big data, muitas vezes é como de pós-graduação ou cursos de extensão. Apesar de alguns serem de engenharia informática ou ciências da computação que incidem especificamente sobre big data, vemos o conceito aparecer em outros cursos; bio-informática, por exemplo, onde o processamento de big data é necessário para concluir uma tarefa especifica.

Segurança opcional 

Dado o vazio na educação de Big Data, ele deve vir como nenhuma surpresa que a segurança de big data não é coberta, na maioria dos currículos. Mesmo a nova proposta da Associação de Segurança Nacional e do Departamento de Segurança Interna com áreas de foco para os Centros Nacionais de Excelência Acadêmica que lista uma grande de segurança de dados como uma unidade de conhecimento opcional em três áreas de conteúdo.

Segurança de big data é importante, mas é difícil de ensinar por muitas razões de terminologia, segurança atual e sistemas de monitoramento, de infra-estrutura física e isso é só para começar. Em primeiro lugar, é difícil classificar o que se quer dizer com o termo "big data". Implica conhecimento incompleto do que pontos de dados podem estar no conjunto de armazenamento e tentar garantir aquilo que é desconhecido é difícil. Pense em prevenção de perda de dados, é difícil, se não impossível, para dizer se os dados sensíveis está deixando a instalação quando os dados não são enumerados.

Nós não estamos ensinando uma grande segurança de dados. Mas, em nossa defesa, como podemos garantir algo que é difícil de classificar? Além disso, como podemos ensinar outros a protegê-los? A nova classificação de big data apresenta um problema básico que precisa de resolução antes de fornecer soluções.

Novos métodos de segurança 

Será que as novas classificações de Big Data significam que novos métodos de segurança são garantidos ou podemos utilizar métodos que atualmente são implantados, só que em escala maior? No caso de Big Data, argumentamos que o tamanho e a complexidade exige mais do que apenas a escala de métodos de segurança de dados atuais.

Se pudermos ir além da terminologia e falta de conhecimento, é preciso repensar a implementação de sistemas de segurança e monitoramento no caso de Big Data. Em sistemas de segurança e monitoramento atuais, escrever e analisar arquivos de log é a principal técnica utilizada para capturar eventos e indicar quando brechas de segurança são tentadas ou bem sucedidas. No mundo de hoje, ouvimos lamentações de como grandes arquivos de logs crescem e como é difícil de separar os dados úteis a partir do ruído(lixo), mesmo com a ajuda de um produto especifico de algum fornecedor para facilitar esta tarefa. No mundo do big data, a complexidade dos sistemas de segurança e monitoramento só crescem exponencialmente.

Embora, muitos fatores compliquem a segurança do Big Data, uma última questão que queremos ressaltar é que o Big Data, muitas vezes estão na nuvem. Portanto, as discussões sobre métodos de segurança para Big Data incluem segurança em nuvem. Nenhum destes temas está maduro e será uma ação necessária das organizações tomar as medidas de segurança, será necessário considerar que tais medidas irão trabalhar com dados em nuvem.

A partir da perspectiva educacional, acreditamos que o ensino de segurança em Big Data começa com os fundamentos de segurança de dados que são ensinadas em todos os programas de segurança. Não há nenhuma base mais sólida para as grandes discussões de segurança de dados do que uma compreensão profunda e ampla dos conceitos de segurança, no entanto, as complexidades adicionais que big data contribui para o problema da necessidade de segurança devem ser incluídas no currículo.

Enquanto acreditamos que a melhor maneira para os alunos aprenderem é através de experimentos de laboratório ou simulações, o desenvolvimento de grandes exercícios de segurança de dados pode revelar-se mais difícil do que exercícios de segurança tradicionais. Se defendemos que uma definição de Big Data pode ser desenvolvida e universalmente aceita, ainda vemos obstáculos a superar. Atualmente, os alunos trabalham com detecção de intrusão e prevenção de perda de dados, mas não em um ambiente de Big Data. E podemos constatar, eles realmente não estão preparados para lidar com a enorme quantidade de dados que chegam a partir de dispositivos de segurança, monitoramento de rede e monitores de perda de dados. Experimentos de laboratório precisam ser cuidadosamente e trabalhados para não sobrecarregar os alunos, mas também proporcionar a aparência de big data.

Sem dados significativos 

Infelizmente, o acesso aos dados reais e significativos é difícil no ensino superior. Não se pode ter acesso a Big Datas reais, porque, em muitos casos, é privado. Precisamos desenvolver um exemplo de conjuntos de Big Data em que os tipos de dados correspondem a diferentes setores de dados. Este é um lugar perfeito para a Faculdade desenvolver com a parceria de indústrias verticais ou grupos comerciais da indústria, fontes de dados. E, os educadores precisam ser inovadores na combinação de nuvem e grandes conceitos de segurança de dados e incentivar os alunos a pensar sobre estes temas.

Então, o que podemos realisticamente esperar realizar na área da educação em segurança de Big Data? Esperamos que os educadores possam ajudar os alunos a aprender os fundamentos necessários para se adaptar às ameaças sempre em mudança e tecnologias. Enquanto hoje os temas atuais são Big Data e segurança na nuvem, os tópicos de amanhã são desconhecidos. Os educadores precisam incluir os temas de segurança mais recentes e questões como Big Data e segurança na nuvem para os alunos. No entanto, também devem se esforçar para educar os alunos para que eles possam se adaptar às mudanças, uma vez que deixem as salas de aula.

O PROBLEMA DA CIÊNCIA DOS DADOS

Muitas organizações se afundam em dividas com os investimentos de TI em vez de tirar um tempo para analisar seu Big Data. O primeiro passo é ver se você pode reunir os dados em que reside o problema que às vezes isso pode ser uma enorme quantidade de dados." Estas peças de medição podem incluir, por exemplo, todos os logs de rede em uma variedade de sistemas; dados sobre as aplicações dos empregados comportamento de quando eles estão entrando no prédio, o que eles estão acessando bancos de dados e o que eles estão introduzindo no meio ambiente?

As organizações precisam se concentrar em padrões de comportamento através da coleta de dados das máquinas, aplicações e pegadas digitais das pessoas que mostram como eles se comportam nas suas tarefas diariamente. "Você tem que ser capaz de olhar para uma ampla e não-estruturada gama de dados a partir de um período de seis meses, pelo menos, para detectar os tipos de mudanças de comportamento". Isso significa terabytes ou mesmo petabytes de dados a ser capaz de observar padrões ou anomalias.

O segundo obstáculo, especialmente se for de dados não estruturados, é ter as pessoas, sejam elas internas ou externas, que são realmente qualificados para fazer a análise estatística e as análises que lhe permite obter a resposta "reais", essencialmente, aqueles sinais que são indicativos de um evento particular. Hipoteticamente, isso significa que alguém que pudesse olhar para todos os dados e determinar: se alguém está acessando esse tipo de informação a esta hora do dia através de um determinado site, vamos acompanhar isso como algum tipo de intenção maliciosa. "Você precisa saber o que as pessoas estão acessando"

Em terceiro lugar, você precisa de alguma maneira de apresentar essa informação para a diretoria, seja ele em forma de um relatório físico ou de alguma outra forma: 

Muitas empresas têm problemas em duas áreas: "O que estamos descobrindo é que a maioria das organizações não possuem habilidades para coletar os dados, especialmente os dados não estruturados, em grande parte porque ele faz abrangem várias línguas". A segunda questão envolve encontrar pessoas que realmente possam fazer as análises. Há uma quantidade justa de competição e as empresas estão lutando para encontrar profissionais com um grau avançado em análises no mundo inteiro.

Para colocar o big data analytics em uso, as organizações têm de usar observações coletivas, experiência e análise lógica para identificar padrões nos dados. "A análise preditiva consiste em você aplicar a análise estatística e modelagem na sua observação" e depois ver se algo que você vê no presente ou do passado vai ser tendência no futuro com base nessas observações e com base em um modelo estatístico.O conhecimento de como será feita a analise  e o tipo de modelo estatístico que você deseja executar é sua, e ninguém mais tem que decidir isso".

Os fãs do filme "Minority Report", pode aplaudir o modelo de policiamento preditivo que está surgindo em algumas das principais áreas metropolitanas, como Los Angeles. Ele combina a análise estatística avançada baseada em dados de crimes anteriores, visualização, aprendizado da máquina e inteligência artificial para prever quando e onde eventos ocorrerão o que possibilita ações pró-ativas para impedi-los e poupar recursos. Grande parte da pesquisa sobre "PredPol" está sendo feito na Universidade da Califórnia (UCLA).

PredPol Traz Big Data para a aplicação da lei, com US $ 1,3 milhões

No entanto, a maioria das organizações e indústrias estão sozinhas quando se trata de modelagem estatística e análise de Big Data. "Não há nada 'enlatado', pronto que você pode comprar e que irá magicamente analisar sua segurança do Big Data". "Todas as implementações de análise que estão em  uso são uma plataforma "Feito em Casa". Há vendedores que tentarão vender  uma implementação personalizado do Hadoop, mas não há vendedores que irão construir sua análise para você.

Kate Crawford

A propensão para falsos positivos e más interpretações apresenta seus próprios riscos. Kate Crawford, um dos principais pesquisadores da Microsoft Research, alertou sobre preconceitos escondidos com relação a  big data analytics  e ofereceu vários exemplos. Ela chama o problema de "fundamentalismo de dados", ou "a noção de que a correlação sempre indica causalidade e que os grandes conjuntos de dados e análise preditiva sempre refletem a verdade objetiva".

Além da implementação da tecnologia, outra questão que muitas empresas enfrentam é as que possuem as análises que podem vir a uma combinação de talentos altamente qualificados. "Alguns esforços bem-sucedidos tinham a combinação de propriedades do sistema feita por equipes de segurança e de fraude", "A equipe de segurança teria que investir em pessoas com incomum, e muitas vezes caro, de habilidades, tais como estatísticas. Claro, eles podem puxar um estatístico de outro projeto da empresa, que seria muito útil também. No entanto, este especialista em estatística tem de ser acompanhado por alguém que conheça o assunto sobre a segurança ".

As escolas de negócios estão começando a introduzir mais cursos de Big Data Analytics, liderados em parte por programas de empresas como a Cloudera.

Cloudera Desktop

Mesmo assim, não há realmente uma maneira de atender a demanda por talentos altamente qualificados nos próximos anos."O impulso nos últimos dois anos tem sido em torno de infraestrutura e outros recursos que lhe permitem organizar os dados e um monte de empresas estão começando a aceitar que o problema é que a infra-estrutura não tem realmente capacidade analítica.

Se você realmente quer fazer isso em uma escala maior, que é o que todo mundo tem que fazer, você tem que ter ferramentas , então você tem que descobrir, como posso colocar esta ferramenta em um ambiente a ser usado para que um conjunto de cientistas de dados não precise estar com os usuários da empresa para resolver esse problema a cada momento. É realmente essa mudança que vai desbloquear um monte de recursos ". Agora, as empresas terão que tentar fazê-lo por si só? Sim, mas não esqueçam que o numero de talentos não cresce rápido o suficiente, e isso é verdade nos governos também.

BIG DATA ANALYTICS - NOVOS PADRÕES EMERGEM PARA A SEGURANÇA

Os bombas detonadas durante a maratona de Boston oferecem um lembrete austero das falhas de Análise do Big Data e de Segurança, notoriamente as agências de inteligência foram incapazes de ligar os pontos antes e depois dos ataques 15 de abril.

A falta de compartilhamento de informações entre as organizações e unidades de negócios, ou a consciência de que um determinado conjunto de dados ainda existe, é um problema comum. Análises de Big Data podem ajudar a resolver este dilema, de acordo com seus proponentes, e fornecer dados de inteligência que detecta padrões suspeitos e ameaças potenciais, expandindo a definição de dados de segurança para todas as partes do negócio.

Segurança orientada a inteligência alimentada por análises de Big Data vai atrapalhar vários segmentos de produtos nos próximos dois anos, de acordo com executivos da RSA, a divisão de segurança da EMC. "Com a difusão de Big Data cobrindo tudo o que fazemos", disse Arthur Coviello, Jr., vice-presidente da EMC e presidente executivo da divisão de segurança RSA , durante sua palestra RSA, em fevereiro, "a nossa superfície de ataque está prestes a ser alterada e expandir , e os nossos riscos ampliados de forma que não poderíamos ter imaginado. "

Arthur Coviello, Jr., vice-presidente da EMC e
Presidente Executivo da Divisão de Segurança RSA

Como as organizações e funcionários cada vez mais operando em ambientes móveis, web e mídia social, aproveitando-se de informações identificadas por análises ou padrões através de uma ampla variedade de conjuntos de dados, incluindo texto não estruturado e binário de áudio de dados, imagens e vídeo podem oferecer informações valiosas sobre negócios riscos muito além de TI.

Mas, mesmo com o uso de modelagem estatística avançada e análise preditiva, as ameaças à segurança de origens desconhecidas ainda podem passar despercebidas. Será que o Big Data  e análises de alto desempenho realmente podem fazer segurança melhor? Talvez, mas hoje o uso significativo de tecnologias de Big Data em grandes volumes de dados de segurança é rara e extremamente desafiador, de acordo com Anton Chuvakin, diretor de segurança e gestão de risco, o Gartner, brincou com a pesquisa: "As organizações que usam análise preditiva tradicionais para a segurança ? Você quer dizer "os dois? '"

O Gartner define "big data", baseado nos 3Vs (Volume, Variedade e Velocidade). 

Anton Chuvakin

"As organizações que realmente investiram tempo (muitas vezes anos) e recursos (muitas vezes milhões de dólares) na construção de sua própria plataforma para big data analytics têm encontrado valor", disse Chuvakin. "Normalmente, esse valor se manifesta através de uma melhor detecção de fraudes, detecção de incidentes de segurança mais ampla e profunda tornando a investigação de incidentes mais eficaz."

Uma dessas empresas é a Visa, a gigante  em processamento de cartão de crédito. A empresa fez um respingo no início deste ano, quando se divulgou no The Wall Street Journal que ele estava usando um novo mecanismo de análise e 16 modelos diferentes, que pode ser atualizado em menos de uma hora, para detectar a fraude de cartão de crédito. Steve Rosenbush do The Journal blogged sobre as melhorias por trás do mecanismo de análise de alto desempenho, que de acordo com a Visa, ela monitora e acompanha até 500 aspectos de uma transação, em comparação com a tecnologia anterior, que só poderia lidar com 40. As capacidades de análises poderosas são possíveis em parte pela adoção da tecnologia de banco de dados não-relacional em 2010 e pelo framework open source software Apache Hadoop, que é projetado para o armazenamento de baixo custo e cálculo de dados distribuídos através de clusters de servidores de commodities da Visa.

A CORRIDA PARA GRANDES ANÁLISES 

Apesar de toda a polêmica sobre o Hadoop, que utiliza o modelo de programação MapReduce (derivado da tecnologia do Google) para "mapear" e "reduzir" de dados, juntamente com um sistema de arquivos distribuídos (HDFS) com built-in de automação para falhas e redundância,o uso de Hadoop é rara em grandes e médias empresas. As ferramentas para acessar o armazenamento do Hadoop e capacidades computacionais são ainda imperceptíveis, sem  interfaces, com ferramentas complexas para os cientistas de dados ou acesso programático para programadores qualificados com conhecimento de MapR Hive para consultas SQL-like ou Pig para alto nível de fluxo de dados.

Isso pode mudar em breve, no entanto, como os fornecedores de tecnologia de todas as empresas de infra-estrutura de todos os lados e grandes empresas de software prestadores de serviço na tentativa de fornecer grandes ferramentas de análise de dados (Big Data Analytics Tools)para usuários corporativos. A Cloudera, oferece uma distribuição para Hadoop (CDH) e a SAS anunciou uma parceria estratégica para integrar SAS High Performance Analytics e SAS Analytics Visual entre outras ferramentas no final de abril. Infobright, Greenplum da EMC e MapR estão se movendo para o espaço empresarial com análises e ferramentas de visualização que permitem aos analistas corporativos trabalhar com grandes conjuntos de dados e desenvolvimento de processos analíticos, em alguns casos usando sandboxing e virtualização.

"Esse tipo de análise vendo sendo necessária ha muito tempo e apenas agora as tecnologias que podem realmente realizar esse tipo de análise em grandes escalas será disponibilizada ", disse Mark Seward, diretor sênior de segurança e conformidade em Splunk. Informações de segurança das empresas e gerenciamento de eventos de tecnologia (SIEM) já é utilizado por cerca de 2.000 empresas para analisar os dados da máquina, o que inclui todos os dados de sistemas, a "Internet das coisas" e os dispositivos conectados.

Qualquer texto ACSII podem ser indexados pelo Splunk, que por sua vez pode usar até 150 comandos sobre os dados de retorno definidos para realizar a análise estatística e disponibilizar visualizações. De acordo com Seward, o Splunk pode ser escalado para petabytes de dados. Ele não lida nativamente com dados binários mas o Hadoop e outros conversores estão disponíveis. Para usar o Splunk, os profissionais de segurança de TI essencialmente precisam entender e conhecer comandos shell script Unix, SQL e ter acesso à documentação sobre o tipo de campos que têm nos dados.

O que é o Splunk?

Splunk é uma ferramenta de pesquisa e analise de logs de TI. É um software que permite que você indexe, pesquise, alerte e informe em tempo real e permite que você visualize históricos de dados de TI – dando uma maior visualização em toda a sua infra-estrutura de TI de uma localidade em tempo real. Reduza o tempo para solucionar problemas de TI e incidentes de segurança para minutos ou segundos ao invés de horas ou dias. Monitore toda sua infra-estrutura de TI para evitar degradação do serviço e tempo de inatividade. Relatórios sobre todos os controles de sua conformidade a um custo menor e em uma fração do tempo. O download do Splunk gratuito.

Splunk indexa qualquer tipo de dado de TI de qualquer fonte em tempo real. Aponte seus servidores syslog ou dispositivos de rede para o Splunk, configure sondagens de WMI, monitore arquivos de log em tempo real, permitir a monitoração das alterações em seu sistema de arquivos ou o registro no Windows, ou até mesmo agendar um script para pegar as métricas do sistema. Splunk indexa todos os seus dados de TI sem precisar de nenhum analisador especifico ou adaptadores para compra, escrever ou manter. Tanto os dados primários e o rico índice são armazenados em um eficiente, compacto, armazenamento de dados baseado em arquivos com assinatura de dados opcionais e auditoria da integridade de dados.

"Com o advento do Hadoop e tecnologias de indexação como Splunk, agora as tecnologias estão disponíveis para dar uma olhada com mais detalhes em torno de dados gerados por máquina e os dados gerados por usuários para entender o que está acontecendo dentro de uma organização, ou o que está acontecendo dentro de uma linha de produção, por exemplo ", disse Seward. Quando você pensa sobre o risco em toda a organização, você não está apenas pensando em segurança, no sentido tradicional, mas você também está pensando sobre o que as pessoas fazem no dia-a-dia em todos os dados ou o máximo que puder obter. o que seria um risco para o seu negócio particular. "Eu talvez precise olhar para os dados de aquecimento e ventilação para entender se alguém entrou na fábrica e alterou a temperatura de alguns graus, o que poderia colocar em risco toda a produção de um produto", disse ele.

"BIG DATA X PÉSSIMAS ANÁLISES", O DESAFIO A SER VENCIDO

Big data não é sobre os dados, é sobre as análises, segundo o professor da Universidade de Harvard Gary King - e existem algumas análises muito ruins lá fora. Um de seus exemplos recentes diz respeito a um grande projeto de dados que começou a usar feeds do Twitter e outras mídias sociais para prever a taxa de desemprego nos EUA. Os pesquisadores elaboraram uma categoria de muitas palavras que pertenceram ao desemprego, incluindo: emprego, desemprego e classificados. Eles capturaram tweets e outras mídias sociais que continham estas palavras, em seguida, olharam para as correlações entre o número total de palavras por mês nesta categoria e a taxa de desemprego mensal. Isto é conhecido como análise de sentimentos por contagem de palavras, e é uma abordagem de análise comuns, disse King.

O dinheiro foi levantado e trabalho se arrastou por um longo tempo e de repente houve um tremendo aumento no número de tweets que continham o tipo de palavras que caíssem nesta categoria. Talvez os pesquisadores haviam deixado passar alguma coisa. "O que eles não tinham notado foi que Steve Jobs havia morrido", disse King,professor da Universidade Albert J Weatherhead III e diretor do Instituto de Ciências Sociais Quantitativa em Harvard. Claro, tweets com "Jobs" postados por uma razão completamente diferente inundaram a rede.

King, cuja pesquisa se ​​concentra no desenvolvimento e aplicação de métodos empíricos para pesquisa em ciências sociais, disse que esses erros acontecem "o tempo todo", em análise de sentimentos pela contagem de palavras e outros programas de análise "off the shelf" . Isso porque essas abordagens tendem a confundir os seres humanos com os sistemas que respondem de maneiras completamente previsíveis. Isso é conhecido  como péssimo em analytics. "Nós somos muito bons em serem humanos, mas muito ingênuos tradando-se de computadores."

O orador principal na recente Text and Social Analytics Summit 2013 em Cambridge, Massachusetts, King fez questão que,sem dúvida, muitas empresas estão descobrindo como eles devem extrair valor a partir do pronto de origem dos dados que coletam e que são gerarados minuto a minuto. (Curiosidade: O volume de e-mail produzidos a cada cinco minutos é equivalente a todos os dados digitais na Biblioteca do Congresso.) O valor real em Big Data está na qualidade das análises, que muitas vezes exige cálculos matemáticos personalizados para o propósito de seu negócio em particular, não algo genérico como um programa off-the-shelf.

"Temos tentado comoditizar os analytics e há softwares lá fora que fazem um monte destas tarefas", disse King. Mas o software comercial que automatiza a "última milha", o trecho que separa um projeto de análise de Big Data vencedor de um coadjuvante, ele acredita que é raro, se é que existe algum.

CONTAGEM DE PALAVRAS CONTRA LEITURA ASSISTIDA POR COMPUTADOR

Uma característica comum de análise ruins envolve a formação de grumos de muitas classificações individuais para responder a perguntas sobre o zeitgeist. O projeto de análise Twitter descrito acima é um exemplo. Análise de sentimentos por uma contagem de palavras categóricas funciona por pouco tempo", mas se você fizer isso por mais tempo, isso será o suficiente para ele falhar catastroficamente", disse King.

Uma maneira de evitar erros de interpretação é de ler os posts - King trabalha com leitura assistida por computador para garantir que o post é realmente sobre o assunto. Isso requer semântica ao invés de contagem de palavras simples e é muito mais difícil de fazer.

Análises Ruins não se limitam à enormemente e difícil tarefa de analisar os não estruturados feeds de mídia social. Outro projeto de Big Data que deu errado descrito por King tentou descobrir as causas de morte em partes do mundo onde não há emissão da certidão de óbito. Uma maneira de coletar esses dados é ter pesquisadores indo de casa em casa fazendo o que é chamado de "autópsia verbal". Quais eram os sintomas do falecido exibidos antes de morrer,sangramento do nariz, dores de estômago?

Isso funciona muito bem, disse ele, até que você tente ligar o relatório verbal a um diagnóstico e o que você vai encontrar não necessariamente terá a mesma causa da morte de um médico para outro. O envio de um médico para a Tanzânia para fazer a autópsia verbal parece ter ajudado, mas isso pode ser um beco sem saída também. Um médico treinado em Boston, por exemplo, sem muita experiência em doenças tropicais, talvez não pense imediatamente em malária quando houver corrimento nasal e por sua vez reportará a causa da morte erroneamente. E enviar o melhor médico na Tanzânia em campo para fazer "este pequeno estudo", disse King, pode realmente acabar matando as pessoas, privando-os de um bem escasso, ou seja, um médico. O problema fundamental é que as análises estão focadas em classificações individuais quando o real objetivo da análise é a forma como toda a população foi distribuída.

"Na saúde pública, eles não se preocupam com você, eles se preocupam com "de que todo mundo morreu", disse King. A abordagem é ineficaz em muitos campos. "Uma vez que percebemos do que precisávamos para chegar a um método diferente para estimar a porcentagem na categoria que não tinha nada a ver com a classificação de um indivíduo."

Tratando-se do Brasil, este tipo de trabalho seria ainda mais complexo, levando-se em consideração o péssimo atendimento dos Serviços Públicos de Saúde onde médicos sequer dispõem de equipamentos para efetuar diagnósticos. Os médicos brasileiros além de enfrentar problemas de infraestrutura, ainda tem que lidar com as péssimas condições de trabalho as quais tem que se submeter para atender a população, e muito ao contrário do que você está imaginando, não estamos falando de povoados na Selva Amazônica ou cidades e povoados no Sertão Nordestino, também estão incluídos bairros das principais capitais do país.

Apesar de alguns hospitais públicos já contarem com os recursos da informatização, ainda é precário a qualidade dos dados informados, quando são informados, pois não há uma forma de se certificar que aqueles dados são confiáveis devido a forma de como são registrados e sem falar dos vários casos de desvio de verbas e corrupção na área da saúde. Portanto, qualquer tipo de trabalho a ser desenvolvido envolvendo a Análise de Big Data com dados obtidos a partir destes sistemas estaria fadado ao fracasso se não houvesse todo um trabalho de seleção e validação dos dados.

FERRAMENTAS DE ANÁLISE "IN-MEMORY" PODEM IMPULSIONAR O BIG DATA

Até agora, muitas empresas decidiram que big data não é apenas um chavão, mas um novo fato da vida empresarial - que exige ter estratégias em prática para o gerenciamento de grandes volumes de dados estruturados e não estruturados. E com a realidade de big data vem o desafio de analisá-lo de uma forma que traz o valor de negócio real. Negócios e de TI líderes que começaram por abordar grandes questões de gerenciamento de dados estão agora olhando para usar grandes análise de dados para identificar tendências, detectar padrões e recolher outros dados valiosos do mar de informações disponíveis para eles.

Pode ser tentador para sair comprando grandes promessas em termos de Softwares de Análise de dados, pensando que terá todas as resposta para as necessidades de negócios da sua empresa. Mas as grandes tecnologias de análise de dados por si só não são suficientes para lidar com a tarefa. Processos e pessoas analíticas bem planejadas com o talento e as habilidades necessárias para alavancar as tecnologias são essenciais para levar a cabo uma iniciativa eficaz de grandes análises de dados. Comprar ferramentas adicionais para ir além das aplicações de inteligência de negócios e análise existentes de uma organização pode até não ser necessário, dependendo objetivos de negócios de um determinado projeto.

No esforço contínuo por empresas para burlar o valor do negócio tangível de aglomerações de big data, as ferramentas de analise in-memory oferecem um caminho possível para desvendar insights que podem desencadear melhorias operacionais e apontar o caminho para novas oportunidades de receita.

Ao contrário do software de BI que executa consultas em relação aos dados armazenados em discos rígidos do servidor, a tecnologia in-memory consulta informações carregadas na memória RAM, o que pode acelerar significativamente o desempenho analítico, reduzindo ou até mesmo eliminando probelas de I/O em disco responsável pelo estrangulamento do business intelligence convencional. Consultores e usuários experientes dizem que o aumento da velocidade resultante é particularmente atraente para grandes aplicações de análise de dados que envolvem complexos cenários hipotéticos e grandes quantidades de informação a partir de uma variedade de fontes de dados.

"O maior benefício para a análise in-memory é a velocidade de análise e exploração", disse Cindi Howson, fundadora do BI Scorecard, uma empresa de pesquisa e consultoria em Sparta, NJ, que publica avaliações técnicas de ferramentas de BI e Analytics. A latência de dados que muitas vezes descamba para consulta BI tradicional "interrompe todo o processo de pensamento" para usuários de negócios, disse Howson. Ela citou flexibilidade analítica como outra análise em memória como um plus: "Com as ferramentas na memória, os usuários podem fazer perguntas de negócios que nunca poderia fazer antes, porque a tecnologia era muito lenta." 

Esse é o caso da Cheezburger Inc. O operador de sites de humor com sede em Seattle r, que atraem um total de 500 milhões de page views por mês é obter bons resultados com uma iniciativa nas análises de Big Data In-Memory, de acordo com Loren Bast, que foi diretor de BI do Cheezburger até deixar a empresa em abril.

Mergulho profundo em muitos dados

Inicialmente, a Cheezburger tropeçou na tentativa de acompanhar e analisar os dados sobre o seu tráfego on-line em um esforço para discernir padrões de comportamento do usuário. "Nós mergulhamos fundo na piscina do big data, e nós estávamos certos de fazê-lo grande, simplesmente não fazendo a coisa certa," afirmou Bast , enquanto ele ainda estava na empresa. Apenas 10% dos dados capturados acabou sendo relevantes para o programa de análise e limpos o suficiente para serem dignos de confiança, acrescentou.

A equipes de BI se reagruparam, voltando-se para o QlikView, software in-memory analytics da Qlik Technologies Inc. 's, para uso contra os conjuntos de dados específicos armazenados no Hadoop e outros repositórios. Bast disse que o sistema in-memory deu aos usuários de negócios da Cheezburger muito mais flexibilidade para a criação de consultas em tempo real e juntando informações de diferentes fontes de dados para obter respostas às suas perguntas de negócios.

"Sem in-memory, era realmente tedioso para construir relatórios, especialmente dinâmica, relatórios personalizados", disse ele. "Agora podemos resolver com uma comunicação precisa e muito mais rápido do que costumava fazer." Isso permite que aos usuários "fugir do trabalho pesado" e passar mais tempo agindo sobre os dados de tráfego do que analisá-los, Bast acrescentou.

Ferramentas de análise em memoria (In-memory analytics tools) podem tornar mais fácil para as organizações a capitalizar em volumes crescentes de Big Data, mas isso não significa que a combinação virá sem desafios. O custo relativamente elevado de memória RAM em comparação com armazenamento em disco tem sido uma barreira para a sua adoção, assim como os problemas de escalabilidade relacionados com as restrições de memória de servidores. Essas preocupações têm sido um pouco aliviada pela queda dos preços de memória e à crescente disponibilidade de sistemas de 64 bits que suportam capacidades significativas de expansão de memória.

A boa governança necessária em in-memory analytics

Além disso, a governança de dados é uma questão que as organizações terão que enfrentar à medida que mais e mais usuários de negócios tenham acesso aos aplicativos na memória, disse Tapan Patel, gerente de marketing de produto global para análise preditiva e data mining em fornecedor de software SAS Institute Inc. "você tem que evitar um cenário onde vários silos de dados aparecem ", disse ele. "Maior integração de ferramentas de análise em memória com a camada de dados tradicional será fundamental para evitar a replicação de dados."

Conectividade perfeita com Hadoop - a tecnologia de código aberto que tornou-se quase sinônimo de big data devido à sua capacidade de forma rentável para armazenar grandes quantidades de dados estruturados e não estruturados e que é um dos pontos críticos para a integração que permite a análise de Big Data em memória. "In-memory analytics e Hadoop são tecnologias muito complementares e na maioria dos casos ambos têm um lugar em ambientes de Big Data", disse John Appleby, diretor da consultoria em implementações de SAP AG´s HANA appliance de computação in-memory na Bluefin Solutions, uma empresa de consultoria e integradora de sistemas com sede em Londres.

Mas as ligações entre sistemas Hadoop e ferramentas de análise em memória são ainda relativamente imaturas, de acordo com Appleby. Ele disse que a flexibilidade do Hadoop para lidar com dados não estruturados de uma forma sem esquema encontra-se em contraste direto com a necessidade do software na memória ter algum nível de estrutura para análise de dados. "Os tipos de modelos de dados criadas nos dois mundos não têm a mesma aparência", disse Appleby. "Você tem duas fundações diferentes em que você precisa de um único ponto de vista, e ninguém tem a resposta ainda. Este é um problema que as organizações estão apenas começando a lidar."

Mas isso não está parando a Cheezburger. Bast disse que a empresa está usando o QlikView em conjunto com Hadoop para determinar quais dados olhar e em seguida analisar as informações em um esforço para melhorar o planejamento de conteúdo e detectar anomalias que podem apontar para problemas técnicos ou promocionais, por exemplo, um pedaço de conteúdo que tem um grande número de comentários, mas não recebo muito tráfego. O resultado, acrescentou, é recebido em menos tempo de espera para consultas para executar seu curso: "Nossas decisões são tomadas muito mais rápido."

NICE introduz o novo Customer Engagement Analytics, a primeira plataforma da indústria que combina Interaction Analytics e Transaction Analytics

A plataforma Big Data da NICE oferece insightssobre todas as etapas da jornada multicanal do cliente, que podem serutilizados pelas organizações para implementar diversas iniciativas de negócios

NICE Systems (NASDAQ: NICE) anunciou a introdução da sua nova plataforma Customer Engagement Analytics , a primeira do mercado que combina a análise de interações e de transações. A plataforma permite que as organizações capturem e analisem os dados Big Data gerados pelo envolvimento do cliente através de múltiplos canais, e mapeiem todas as etapas da jornada do cliente. Isto aproxima as organizações de seus clientes, habilitando-as a compreender melhor as preferências e os comportamentos destes. 

“A complexidade do relacionamento entre clientes e empresa continua a aumentar devido à quantidade interminável de dados gerados no envolvimento do cliente. Mas, por trás de todos estes dados, há um amplo conjunto de informações, a partir do qual é possível extrair um valor comercial inestimável”, disse Keith Dawson, Analista Chefe da Ovum. “O desafio de descobrir este valor tem dois objetivos. Em primeiro lugar, todos esses dados devem ser capturados, relacionados e analisados através dos pontos de contato. Então, utilizando os insights gerados a partir desta análise, a organização deve tornar essas informações aplicáveis.” 

  

A plataforma Customer Engagement Analytics da NICE oferece um panorama completo da jornada do cliente, tanto em âmbito individual, por diversos grupos e segmentos, quanto em âmbito global da base de clientes. Isto ajuda as organizações a fornecer uma excelente experiência ao cliente, ao mesmo tempo aprimorando seus procedimentos de negócios e sua eficiência. A oferta conta com as seguintes tecnologias avançadas: 

  

•    Coleta de dados Big Data por meio de múltiplos canais – O sistema coleta dados de interações e operações dos clientes por meio de múltiplas fontes de dados, tais como sites, e-mails, telefones, redes sociais e bate-papos, e a partir de diferentes sistemas, tais como CRM e sistema de faturamento. Ele também realiza um processamento prévio dos dados brutos para permitir análises mais eficientes. 

  

•    Análise de dados Big Data – O mecanismo de análise da NICE é capaz de interpretar quantidades massivas de dados, tanto estruturados quanto não estruturados, permitindo que as organizações realizem o mapeamento e a visualização da jornada do cliente, bem como o sequenciamento de contatos repetidos e a identificação de tendências. 

•    Operacionalização de dados Big Data – Os insights extraídos a partir da análise de dados servem como catalisadores de mudanças dentro de uma organização, tais como mudanças na política de negócios e processos de toda a empresa, bem como ações mais específicas, tais como o treinamento e a orientação de um agente. 

  

A primeira solução a ser lançada na plataforma Customer Engagement Analytics é a Call Volume Reduction (Redução do volume de chamadas), sendo que há previsão de lançamento de outras soluções - tais como soluções de otimização de vendas e de análise da voz do cliente - em um futuro próximo.   

  

Por exemplo, no caso da redução do volume de chamadas, uma operadora de telecomunicações pode descobrir que um grande percentual dos clientes que compraram um novo smartphone em determinada filial de varejo ligou para o serviço de atendimento ao cliente em até 72 horas após a compra para ativar uma conta de e-mail correspondente. Com base nesta informação, a operadora de telecomunicações pode orientar, em tempo real, os funcionários daquela filial específica que lidam com clientes a seguirem a política e oferecerem ajuda para a configuração do e-mail já durante a interação de compra. A operadora de telecomunicações também pode fornecer treinamentos direcionados para determinados agentes que precisem preencher lacunas de conhecimentos. Reconhecendo esta tendência e implementando proativamente uma solução, a operadora de telecomunicações será capaz de reduzir significativamente o volume de chamadas, minimizar os esforços dos clientes e aumentar a satisfação. 

“Toda jornada de cliente gera um amplo conjunto de informações sobre o indivíduo e sobre a organização envolvida que pode ser aproveitado para alcançar melhores resultados”, disse Yochai Rozenblat, presidente do Grupo de Interação com o Cliente da NICE (NICE Customer Interactions Group). “Nossa plataforma de análise Big Data fornece às organizações as ferramentas e tecnologias necessárias para ajudá-las a aprimorar seu desempenho de negócio. Ao fornecer insights a partir do amplo volume de dados coletados em todas as interações e operações do cliente, nossa plataforma oferece às organizações a capacidade de compreender melhor os clientes e suas necessidades, e de operacionalizar estes insights para proporcionar uma excelente experiência ao cliente”. 

FREE EBOOK - GUIA DO EXECUTIVO PARA ESTRATÉGIAS E MELHORES PRÁTICAS PARA BIG DATA

Big data tem sido uma das tendências mais badaladas e aguardados tecnologia dos últimos anos. Agora, como previsto, Big Data está começando a ganhar força, estendendo oportunidades promissoras para as empresas que buscam seus benefícios. Mas as tecnologias de Big Data são um longo caminho desde a adopção generalizada.

De acordo com uma pesquisa jun 2013 Gartner, 64% das organizações investiram ou estão planejando investir em Big Data a partir deste ano. No entanto, menos de 8%  dos entrevistados disseram que na verdade começou uma implantação. A pesquisa sugere que muitos líderes e interessados ​​ainda estão em processo de coleta de informações, decidindo quais os problemas de negócios o Big Data pode resolver, e experimentar com projetos pilotos.

Para ajudá-lo a construir a sua estratégia para a implementação de grandes dados de uma forma que oferece valor real para sua organização, a ZDNet e a TechRepublic montou esta coleção de artigos, conselhos e idéias daqueles que têm se confrontado com os desafios de transformar grandes promessas de dados em realidade.

Resumo: O investimento em big data está em ascensão, mas o valor do negócio permanece indefinido para muitas organizações. Este ebook vai ajudá-lo a mover-se para além do hype para formular uma estratégia sólida para sua empresa.

O ebook está disponível como um PDF para download gratuito para membros registrados ZDNet e TechRepublic. Se você não é um membro, você pode clique aqui para se cadastrar. Leva apenas um momento.

BANCOS SE UNEM A VAREJISTAS PARA ANALISAR HÁBITOS DE COMPRAS DOS CLIENTES ATRAVÉS DO BIG DATA

Os bancos estão se unindo com os varejistas para se aproximar dos clientes, analisando todos os dados coletados dos clientes, disse Andrew Jennings, Analista Chefe e Especialista em Fraudes da FICO.

A empresa fornece análises preditivas para as instituições financeiras, tais como Metro Bank e varejistas, como Wal-Mart, para ajudá-los a evitar fraudes e avaliar melhor os riscos.

Jennings afirma que as instituições financeiras estão começando a se comportar mais como varejistas.

"Em um mercado maduro, como os EUA, Reino Unido ou Canadá, onde o crédito é uma indústria madura e as pessoas têm uma carteira cheia de cartões de crédito, é muita ingenuidade para um banco acreditar que o caminho para aumentar as receitas é simplesmente emitindo mais cartões de crédito.

"A questão de um banco não é aumentar a quantidade de cartões de crédito, mas se perguntar: 'Como é que vamos chegar ao usuário utilizar o nosso cartão?'. Isto é análogo a um varejista que pergunta:" Como faço para que o meu cliente venha a minha loja para comprar aquela TV? '", disse ele.

Jennings disse que os bancos e os varejistas tiveram até agora apenas uma "relação simbiótica" e que os bancos estavam ansiosos para explorar o uso de analytics para outros fins além de rastrear fraudes propósitais.

"Os bancos solicitaram a FICO: 'Como você pode processar os dados para nos ajudar a construir fidelidade com o cliente? De modo que, se um cliente comprar um item, podemos fazer alguma coisa para fazer com que essa compra aconteça utilizando nosso cartão de crédito, em vez do cartão de crédito de um concorrente ", disse ele.

Em outras palavras, disse Jennings, um banco não pode fazer um cliente gastar £ 1000 que eles não estavam planejando passar. No entanto, se o cliente está planejando comprar uma TV nova de £ 1.000, por exemplo, então pode haver maneiras de incentivar o cliente a usar o cartão de crédito do banco ou para tomar um empréstimo.

De acordo com Jennings, o tipo de dados à disposição dos bancos tem muito mais profundidade do que os dados dos varejistas, mas os bancos ainda não estão vocacionadas para explorá-lo.

"Os dados disponíveis para os bancos são mais amplos do que um varejista teria, por isso podem ir muito mais a fundo e construir perfis significativos de clientes. Eles podem então perguntar:" Há seis meses, essa pessoa foi fazer compras no John Lewis e agora eles estão comprando no Primark. O que isso me diz? "

"Os bancos não são muito bons nisso, mas o ambiente competitivo os leva a ser bom no que fazem. Isso é o que estamos vendo hoje", disse ele.

Jennings acrescentou que os bancos irão garantir um acordo com os comerciantes credenciados a aceitar o cartão.

"O banco pode criar incentivos para os clientes para quem emite cartões para ir a uma loja use um determinado varejista. O Varejista irá falar, 'Se eu posso atrair mais tráfego para você, eu posso ter os meus próprios cartões'.

"Para alguém que foi analisado e encontraram informações sobre um grande numero de compras no DIY, o incentivo para o titular do cartão pode ser que se eles gastar mais do que £ 200 na B & Q no mês que vem, em seguida, um crédito de £ 20 será exibido em seu próxima fatura de cartão de crédito, por exemplo ", acrescentou.

Se observarmos hoje, no Brasil está ocorrendo a mesma união de bancos e varejistas. Devido a vários incentivos do Governo Brasileiro, vários cidadãos que não tinham acesso a cartões de crédito, hoje possuem vários e isto levou aos bancos e operadoras de cartões a fazerem acordos com as principais lojas e supermercados onde todos possuem Cartões de Crédito próprios. Com o crescimento substancial do poder de compra dos brasileiros, os principais varejistas estimulam os clientes portadores dos seus cartões a comprarem em suas lojas, porém falando de analises de Big Data, ainda estamos apenas no começo, por mais que estejam alardeando nas mídias.

BIG DATA, O FIM DE UMA TEORIA

Em 2008, o físico e editor da revista Wired, Chris Anderson, escreveu que a era Big Data representaria o fim da teoria, já que não era preciso especular sobre o melhor modelo, pois bastaria aplicar um algoritmo sobre os dados empíricos. Os críticos do Big Data não discordam disso, mas dizem que o uso dessa estatística turbinada pode levar a conclusões erradas.

Soma-se a isso o fato de as ferramentas de Big Data ainda não serem suficientemente boas. Karin Breitman, da PUC, observou que há carência de recursos semânticos eficazes, que compreendam o contexto e a mensagem dos dados na medida das necessidades.

Apesar dos desafios, a expectativa sobre o Big Data é enorme. A revista Economist escreveu que ele pode transformar os modelos de negócio de empresas centenárias. A RollsRoyce, sugeriu a publicação, pode deixar de vender turbinas para alugá-las cobrando de acordo com o uso. Sensores e o histórico do cliente dariam o preço.

A medicina também pode dar um salto. Com soluções de Big Data, decifrar o genoma humano dura apenas semanas, em vez da década que custava no passado. A colocação de sensores no corpo, que já está em curso em centros de pesquisa e algumas start-ups, vai presentear o mundo com uma variedade totalmente nova de dados que pode ser explorada com Big data para identificar problemas de saúde.

Patrícia Florissi, da EMC, diz que ainda é incipiente o uso da presciência da tecnologia. Por exemplo: como são capazes de entender imagens, softwares de Big Data poderiam monitorar as câmeras de uma cidade e acionar a polícia antes de um crime acontecer com base em padrões que antecedem assaltos e assassinatos. Sairíamos de “Moneyball” para cair em “Minority Report” – com os prós e contras disso.

PRIVACIDADE E ESCASSEZ DE MÃO DE OBRA QUALIFICADA SERÃO OS PRINCIPAIS OBSTÁCULOS PARA O BIG DATA NO BRASIL

O desenvolvimento do Big Data no Brasil terá vários desafios em um futuro bem próximo. O maior deles, como não poderia deixar de ser quando o assunto é dados, é a preocupação quanto à privacidade. Se a recomendação de links patrocinados pelo Google já parece invasiva à maioria das pessoas, o mundo e a legislação atuais não estão preparados para as possibilidades que o Big Data oferece de agregar e tirar conclusões de dados até então esparsos.

Gustavo Tamaki, gerente de vendas da Greenplum Brasil, da EMC, pondera que os usos mais invasivos do Big Data ainda não são uma realidade. Mas admite os riscos:

– Acho que toda tecnologia que surge também tem o seu lado ruim.

Para Karin Breitman, da PUC-Rio, os cientistas não devem autocensurar as pesquisas por causa da polêmica:

– Essa é uma questão ética. Cabe à sociedade impor limites à aplicação da ciência e da tecnologia, mas os pesquisadores precisam trabalhar no limite, na ponta.

Outro problema a ser enfrentado será a escassez de profissionais que reúnem habilidades em matemática, estatística e ciência da computação. O Big Data levou as empresas a uma disputa frenética por esse perfil e tornou a IBM a maior empregadora de matemáticos PhDs no mundo. O instituto McKinsey Global prevê que faltarão entre 140 mil e 190 mil desses profissional em 2018.

– Já há carência desse profissional no Brasil hoje. Se houver uma explosão do Big Data, certamente teremos problemas – advertiu Alexandre Kazuki, da HP, que prevê para 2013 a massificação da tecnologia por aqui.

Este problema também será enfrentado por todas as empresas que desejem entrar no mundo do Big Data, pois o desafio não se resume só a encontrar profissionais qualificados, mas também como identifica-los no mercado. O primeiro passo é saber o que procura e a partir desta informação, os RHs e empresas de recrutamento também precisam se preparar e qualificar para a tarefa de procura e contratação de mão de obra. 

O BRASIL SÓ CONHECE O PRÉ-SAL DEVIDO AO BIG DATA

Todas as empresas já enfrentam o problema dos dados de alguma forma, mas a tecnologia ainda é aplicada por aqui de forma pouco madura, muito restrita aos dados estruturados, tradicionais – observou Maurício Prado, gerente geral de servidores da Microsoft Brasil. – Mas a expectativa de crescimento é enorme. Temos um dos principais mercados de internet no mundo, sobretudo de redes sociais, o que é um fator crucial para a adesão do conceito de Big Data.

– A gente só sabe que o pré-sal existe por causa da Big Data e da economia da nuvem – resumiu Patrícia Florissi, executiva de tecnologia da EMC para a região das Américas.

Isso porque, explica ela, a tecnologia agiliza o processamento de dados sísmicos captados pelas sondas que procuram petróleo no fundo do mar. Como são milhões as variáveis, o trabalho exige intermináveis simulações de imagens, e só o Big Data é capaz de dar conta do trabalho em um tempo razoável.

Visando esse mercado, a gigante EMC está construindo no Parque Tecnológico do Fundão um centro de pesquisas totalmente dedicado ao uso de Big Data para a indústria do petróleo. Ele ficará pronto em no máximo dois anos e empregará 35 pesquisadores, sendo apenas um deles estrangeiro, conta a executiva. O centro vai realizar trabalhos que estejam alinhados com as áreas de atuação da própria EMC, da Petrobras e da UFRJ. Segundo Patrícia, a companhia de Massachusetts vai investir R$ 100 milhões no país nos próximos quatro anos.

Há também iniciativas brasileiras de Big Data na seara dos dados governamentais, aceleradas pela proximidade da Lei de Acesso à Informação, que entra em vigor em maio. Uma parceria do Ministério do Planejamento, do Serviço Federal de Processamento de Dados (Serpro) e da PUC-Rio disponibilizou na internet dados abertos dos dois mandados do governo Lula.

ESTAMOS NA ERA DA EVOLUÇÃO DO "I"

Nos últimos 50 anos, toda a evolução do mercado de TI se deu, praticamente, apenas no “T” da sigla, na tecnologia. Com o Big Data, é chegada a hora de o “I”, de inteligência, guiar o avanços – afirmou Alexandre Kazuki, diretor de marketing da divisão da HP Brasil que cuida de Big Data.

O Big Data está dando os primeiros passos no mundo, mas a tecnologia apenas engatinha no Brasil, na avaliação de Kátia Vaskys, diretora de Bussiness Analytics da IBM. Como prova disso ela cita a forma como a maioria das empresas brasileiras monitora suas marcas nas redes sociais. Lá fora, essa é uma das tarefas mais caras ao Big Data, e gigantes como Walmart estão na dianteira.

Aqui costuma-se contratar um time de estagiários para isso. Isso é basear a estratégia de marketing na intuição, mas não há intuição que resista a tanta informação! Há uma ferramenta tecnológica para fazer isso com muito mais precisão e em tempo real – comentou Kátia.

A aplicação por aqui está restrita, por enquanto, a alguns setores: varejo, financeiro (sobretudo na análise de risco), telecomunicações, petrolífero e, segundo Kazuki, começa a chegar às áreas de mídia e entretenimento.

Os clientes da Renner, por exemplo, não imaginam que a presença daquela camiseta na arara da loja é obra de tecnologia de ponta. Em parceria com a Oracle, a varejista usa Big Data para identificar as necessidades imediatas dos consumidores. A Renner consegue monitorar em tempo real o fluxo de mercadorias da loja ao cruzar os dados de localização GPS dos caminhões dos seus fornecedores com os níveis dos seus estoques. A rede também acompanha a aceitação dos seus produtos de forma instantânea nas redes sociais. Assim é possível saber se a roupa do comercial que acabou de ser veiculado na TV agradou ou não.

Mas a empresa quer algo mais desses dados. Em breve será possível deduzir as estratégias dos concorrentes simplesmente analisando os preços dos fornecedores. Outra possibilidade é a de trocar a seleção de produtos à venda na loja com base nas informações meteorológicas de um determinado dia. Exemplo: se os dados mostrarem que, nas últimas chuvas, os clientes compraram menos calças e mais acessórios, a rede pode dar mais destaque a eles logo que os primeiros pingos caírem na cidade.

Segundo a consultoria IDC, o mercado global de Big Data crescerá quase 40% ao ano entre 2010 e 2015, saltando de US$ 3,2 bilhões para US$ 16,9 bilhões. O ritmo dessa expansão é cerca de sete vezes maior do que o da indústria de tecnologia da informação como um todo. Mas essa projeção é considerada conservadora por parte do mercado por não incluir os desdobramentos da tecnologia sobre o restante da economia. Para o executivo de operações da EMC, Pat Gelsinger, o Big Data já movimenta US$ 70 bilhões e crescerá algo entre 15% e 20% ao ano daqui pra frente.

A tecnologia envolve tanto dinheiro porque soluciona um problema inadiável para a economia global. Se você se sente atordoado com a enxurrada de posts no seu Twitter, imagine a perda de produtividade em uma empresa incapaz de compreender os dados que a inundam.

A quantidade global de dados digitais deve crescer do atual 1,8 zettabyte para 7,9 zettabytes em 2015, prevê a IDC. Zettabyte é o mesmo que um trilhão de gigabytes. Isso significa que, daqui a três anos, toda a informação do mundo poderia ser armazenada em 493 bilhões de iPads. A Gartner, outra consultoria, sustenta que esse volume de informação vai se expandir nos próximos anos a um ritmo de, no mínimo, 59%.

A centelha que aciona essa explosão é a proliferação de aparelhos e plataformas que geram dados como nunca. São os celulares, GPS, redes sociais, câmeras e sensores dos mais diversos tipos. E grande parte das informações nascidas nessas mídias são classificadas de não-estruturadas: ou seja, não é facilmente computável, sendo geralmente gerada pelo ser humano, não por uma máquina. A Gartner diz que mais de 85% das informações armazenadas pelas companhias do mundo sejam desse tipo, que, até pouco tempo, só podia ser compreendido por pessoas. Com o Big Data, as máquinas aprendem a lê-lo.

POR QUE OS SUPERMERCADOS SÃO AS GRANDES ESTRELAS DO BIG DATA?

Softwares podem gerar análises de dados brutos mas ele não podem fornecer uma visão que leva as pessoas. Veja como traduzir big data em um forte engajamento.

Na era do Big Data, estabelecer relacionamentos com os clientes deveria ser mais fácil do que nunca, certo? Temos a informação e a tecnologia para captura, análise e divulgação de comunicação com o cliente  que tem feito grandes avanços, impulsionado pela adoção de softwares de marketing e sistemas de CRM e alimentada pelo crescimento das mídias sociais, a proliferação de smartphones e do desenvolvimento de atividades on-line que geram ondas de dados de clientes.

O problema é que a ligação de dados com a tecnologia não é uma operação simples. Algumas razões para isso e algumas maneiras de fazer melhor são um dos focos de uma pesquisa realizada em 2013. A pesquisa, que mede o quão bem 16 indústrias de ISPs para montadoras se conectam com seus clientes, consultando mais de 1.000 consumidores no Reino Unido, contrastava resultados atuais com o índice de 2010 para encontrar os vencedores e perdedores neste bravo novo digital mundialmente alimentado.

Na pesquisa, os consumidores deveriam avaliar as empresas que lidam com base em quão bem as comunicações destes negócios demonstram conhecimento do cliente e compreensão. Os entrevistados foram solicitados a classificar seus supermercados, bancos, operadoras de celular e outras empresas com pontuações que representam níveis de familiaridade que variam de "me conhece como um amigo próximo" para "tratar-me como um estranho." Com os resultados da pesquisa vamos calcular pontuação geral e relativas para cada setor.

Houveram algumas descobertas surpreendentes e até mesmo chocantes. Alguns setores que deveriam ter naturalmente recursos de captura de dados sofisticados e tecnologias de comunicação foram classificados muito pobres no quesito "conhecer seus clientes". Setores que incidem sobre os fundamentos do marketing de banco de dados tradicionais (pense interações com os clientes regulares e programas de fidelização fortes), enquanto com sucesso ligando marketing e de TI fazer o melhor trabalho de construir fortes relacionamentos com clientes.

Os supermercados e bancos, que tradicionalmente têm considerável contato com o cliente, estão em primeiro e segundo no índice, respectivamente, com os bancos passando de terceiro lugar em 2010. Empresas em setores mais orientados para a tecnologia, prestadores de serviços de telefonia móvel, provedores de entretenimento, fabricantes de smartphones e ISPs estão colocados logo abaixo dessas indústrias. Estas empresas estão estreitamente alinhadas com as novas tecnologias de marketing que desempenham um grande papel na utilização de dados e canais digitais para atingir de forma mais eficaz os consumidores e enviar-lhes mensagens personalizadas. Então, por que não fazer melhor?

Simples, porque não se trata apenas de tecnologia.

Na parte inferior da lista estão os fabricantes de bebidas para adultos, fabricas de computadores/Tablets, instituições de caridade e empresas de mobiliário comercial/residencial que estão  pairando um pouco acima do final. As razões são que alguns desses setores lutam para manter relacionamentos com clientes de forma instrutivas. Quando um produto é um one-off ou compra infrequente, os fornecedores podem ter um contato limitado do cliente em curso. Montadoras, por exemplo, a necessidade de chegar a formas inovadoras de construção de relações contínuas. Da mesma forma, o único contato direto que certas marcas têm com os seus clientes é por meio de terceiros, tais como supermercados, o que torna difícil construir laços fortes. Instituições de Caridade encaram o ciclo difícil de ter fundos limitados para investir em marketing de banco de dados no atual clima econômico, que por sua vez limita a sua capacidade de obter novos financiamentos.

Não importa o setor, um fator-chave na utilização de dados para construir intimidade com o cliente é uma habilidade para fazer a ponte entre marketing e TI. Há uma crença perigosa de que o software pode fornecer todas as respostas quando se trata de execução de campanhas de marketing informadas por Big Data e que a tarefa de empregar esta informação pode ser simplesmente entregue a TI. Isso está longe da realidade.

O software pode analisar os dados e produzir relatórios. Mas não se pode detectar as tendências, padrões e insights significativos que respiram o sucesso em uma estratégia de marketing. Somente pessoas treinadas podem fazer isso. Nós sempre voltar a um elemento humano para complementar qualquer avanço tecnológico.

Em ambiente de marketing de Big Data, para ter sucesso na construção de vínculos duradouros e lucrativos com os clientes, as empresas precisam o que são agora referidos como "cientistas de dados" - ". Analistas" da old-school de analista de dados. Este é um papel de especialista, seja em casa ou através de um provedor de serviços gerenciados, que combina competências em análise, banco de dados, marketing, interpretação e comunicação. Cientistas de dados não só entendem a tecnologia à sua disposição, mas são treinados em estatísticas, análises e matemática. Além do mais, eles são  fundamentados em desafios e objetivos de marketing da empresa e são capazes de explicar para a equipe de gestão e outros como os dados podem ser usados ​​para promover esses objetivos.

Não é coincidência que os supermercados e bancos, que não têm apenas a tecnologia, mas a experiência de utilizar suas bases de dados de forma eficaz, obtiveram a maior pontuação quando os clientes foram convidados a comentar a forma de como essas empresas sabem deles.

Nos setores mal avaliados, muitas empresas não conseguem acessar os dados do cliente, mesmo quando a tecnologia para isso está disponível, e assim não fazer bom uso das informações a sua disposição. Em muitos casos, isso é porque eles confiam muito em tecnologia. Em um mundo liderado por dados, conectados digitalmente, as empresas que não possuem os conhecimentos necessários para atingir de forma eficiente os clientes nem precisa encontrar as pessoas certas ou terceirizar essa função.

5 passos para a construção de relacionamento com o cliente

1. Primeiro - e mais importante - ligar o cliente com a transação. Isso pode significar a implementação de um programa de fidelidade ou CRM. É a única coisa mais importante que você pode fazer. Sem ele, o seu esforço vai ser diminuído em pelo menos 60%. A Cisco oferece algumas orientações para os varejistas que desejam extrair dados sociais e móveis.
2. Realizar uma análise detalhada para identificar quais os dados são e não importantes. Só então considerar como alterar as suas comunicações e não fazer suposições sem examinar os dados relacionados.
3. Ter uma base de dados com uma visão única do cliente, seja externamente ou internamente. Isso não é feito necessariamente através de um software caro, mas muito cuidado com Softwares Gratuitos, pois você pode acabar comprometendo suas necessidades, se você tentar aumentar o volume de dados. É melhor investir em alguma personalização e lembre-se "Não Existe Almoço de Graça"
4. Encontrar bons analistas que podem transformar dados em recomendações de negócios significativos. Essas pessoas são mais raros do que você pode imaginar, mesmo quando os programas grandes de análise de dados surgiram a partir de Harvard. Procure por Administradores de Bancos de Dados (DBAs) com mais de 25 anos de experiência, Arquitetos de Dados com mais de 20 anos de experiência e com forte vivência em ambientes que lidam com grandes volumes de dados.
5. Teste e faça medições, algumas coisas vão funcionar outras não. Não tenha medo de erros, pois você irá aprender muito com eles, apenas não experimente em clientes ao vivo enquanto não atingir todos os níveis estipulados e desejados.