SAP APRESENTA NOVA SOLUÇÃO DE BIG DATA PARA ANÁLISE DE DADOS DO FUTEBOL

A SAP apresentou nesta quarta-feira (12) sua nova solução de Big Data voltada para o setor esportivo durante a realização do SAP Fórum, em São Paulo. A solução é considerada o terceiro pilar de atuação da empresa na área de esportes, focada na melhora de performance de jogadores em campo.

Já utilizada por equipes europeias, como o time alemão TSG 1899 Hoffenheim, da Bundesliga, a solução consiste em um série de sensores que podem ser anexados aos jogadores e ao gramado. Durante o treino, os sensores podem captar informações como velocidade, batimento cardíaco, posição que mais ocupa no campo, entre outros dados de rendimento.

Solução é demonstrada durante SAP Fórum, em São Paulo (Foto: Divulgação)

"Os chips enviam informações através de antenas que ficam nos refletores dos estádios para a plataforma SAP Hana, que analisa e devolve a informação para o pessoal de gestão do time", afirmou o Head de Inovação do SAP Labs, Daniel Duarte, em entrevista ao Canaltech.

A ideia é que clubes sejam capazes de extrair valor das informações coletadas, que podem ser compiladas na forma de visualizações em 3D em tempo real. 

O executivo reconhece que a soluçao ainda pode demorar um tempo antes de chegar aos campos, dada a resistência da FIFA em autorizar esse tipo de tecnologia nos jogos. Entretanto, times brasileiros já se reuniram com a SAP nesta semana e mostraram interesse na aquisição da solução para seus centros de treinamento. A empresa, no entanto, não revela quais os potenciais clientes.

Dentro do setor de esportes, a SAP opera sobre dois outros pilares, além da solução apresentada hoje. A primeira, gestão de arenas esportivas baseada em um ERP SAP, que envolve áreas como contabilidade, venda de ingressos, administração de alimentação e planos de manutenção. Nesse modelo, a SAP trabalha atualmente com equipes da Liga Nacional de Futebol Americano (NFL) e a liga de basquete NBA. Em novembro do ano passado, a empresa alemã fechou seu primeiro contrato para gestão no Brasil, com o Palmeiras.

O segundo pilar consiste em soluções voltadas para os torcedores presentes na arena, que podem fornecer capacidades de segunda tela, contando com informações em tempo real sobre a partida através de um login que o usuário pode fazer ao entrar no perímetro de rede do estádio.

Em março de 2013, a SAP definiu uma nova estratégia que passou a considerar o setor de esportes e entretenimento como uma nova vertical de negócios da empresa, englobando operações como eventos esportivos, shows e festivais. Atualmente, a SAP opera com outras 24 verticais. A empresa afirma que ainda não fechou números sobre o que o setor representa atualmente para a SAP, mas já demonstra que deve atuar com força nesta vertical nos próximos anos.

"Ela é de importância extrema para a SAP. O compromisso da vertical começou com o CEO da SAP, que tem relacionamento próximo com clubes norte-americanos como o New York Yankees e o San Francisco 49ers, da NFL", conta Duarte. "Agora ele cascateou isso para cada uma das regiões da SAP para trazer isso para os esportes locais".

Fonte Canaltech (Materia)

MAIS DE 70% DAS OPORTUNIDADES ESTÃO NA CIÊNCIA DOS DADOS, DIZ PESQUISA

Levantamento aponta que otimização de marketing digital e análise de relacionamento nas redes sociais também são benefícios da tecnologia.

A melhor oportunidade para a aplicação de análise das informações é na ciência de dados. É o que acreditam 70% dos participantes de uma pesquisa realizada pela Teradata, especializada em soluções focadas em análise de Big Data e data warehousing, com 1,3 mil pessoas nas cidades de San Francisco, Boston e Chicago, nos Estados Unidos.

A otimização de marketing digital e análise de relacionamento nas redes sociais também foram consideradas oportunidades pelos entrevistados. As oportunidades menos valiosas, de acordo com os ouvidos pela estudo, estão na detecção de fraudes e prevenção.

O levantamento indica que o mercado está em busca de maneiras de lidar com as grandes quantidades de dados, ou Big Data, para obter uma percepção mais profunda dos negócios. 

Em San Francisco e Boston, 60% dos entrevistados disseram que o setor de TI está conduzindo conversas sobre a análise de Big Data. Em Boston, mais de 70% dos participantes disseram que a equipe de tecnologia foi a primeira a falar sobre a importância da tecnologia.

No total, cerca de 60% dos participantes relataram que o maior desafio com a análise é a complexidade dos dados. Já os enormes volumes de dados gerados é o segundo maior desafio apontado pelos entrevistados.

EMPRESAS GASTAM MAIS TEMPO PARA ORGANIZAR DADOS DO QUE ANALISÁ-LOS PARA NEGÓCIOS

Estudo indica que apenas 10% do tempo é dedicado para utilização desses dados em prol dos negócios. Muitos esforços ainda são destinados para estruturar dados em formas possível de serem analisados

As empresas estão presas em um mundo obscuro lotado de dados e devem continuar por lá por mais alguns anos. É o que sugere o professor de marketing da Baylor University’s Hankamer School of Business, Jeff Tanner, responsável por um estudo que traz um diagnóstico sobre esse cenário.

O foco do especialista é ajudar extrair maior valor de vendas a partir de dados transacionais de consumidores, algo que ele avalia que tem se tornado cada vez mais comum à medida que novas fontes de dados emergem, como social media. As companhias estão em busca de dados que podem ser utilizados para criar retratos individuais mais completos de seus cliente para a customização de ações de marketing.

O estudo, contudo, indica que a maioria ainda está lutando para estruturar seus dados em formas possíveis de serem analisados. Uma pesquisa feita com varejistas e empresas de bens de consumo embalados nos Estados Unidos mostra que as companhias gastam cerca de 70% a 90% de seu tempo organizando dados para que sejam analisados. Isso significa que cerca de 10% do tempo é dedicado, de fato, à utilização desses dados para ajudar os negócios.

As empresas ainda não são capazes de enxergar o que está contido em seus dados. Segundo o pesquisador, o caminho é aprender a criar mensagens mais assertivas que condizem com o perfil de compra de seus clientes e seus interesses. O desafio a ser superado, de acordo com ele, irá conduzir ao que ele chama de “quebra de informação”, em que as companhias irão terceirizar seus dados para outras analisarem. Ele acredita que a comercialização de dados de consumidores se tornará menos comum. “Estamos caminhando para o limite de capacidade em análise, armazenamento e preparação”, afirma Tanner.

Então o que vale a pena em relação aos dados? A resposta indica para o que pode levar sua empresa mais próximo de uma transação valiosa.  Note que isso não significa o quão mais próximo é possível chegar do consumidor. Dados baseados em localização por si só não têm valor. “Sempre ouço dos fornecedores que isso vai permitir dar descontos e blá blá blá. Mas se eu souber que você está numa rua próxima à minha loja e lhe enviar uma notificação com um desconto de um dólar em um produto, isso é um desconto estúpido”, diz.

Para Tanner, o que as empresas precisam é recolher melhores informações de seus dados. Assim, é preciso saber se esse consumidor que está nessa rua costuma frequentar a minha loja e, em caso afirmativo, o que essa pessoa tem hábito de comprar e quando? Além disso, esses dados devem ser aplicados nas vendas desses produtos para promover uma cadeia de suprimento mais eficiente.

Fonte: Information Week

PRIMEIROS PASSOS ESTRATÉGICOS ANTES DE ADOTAR O BIG DATA

A tendência Big Data está se tornando mais prevalente entre as organizações a medida que o volume de dados aumenta, devido à mídia social, mobilidade e computação em nuvem. Como essa abundância de dados estruturados e não estruturados cresce, as empresas estão lutando para gerenciar com sucesso e dar sentido a ela. 

Especificamente, as empresas estão aplicando big data analytics para determinar as tendências de negócios e insights do resultado de dados criados. Analisando o Big Data pode resultar em crescimento de negócios, redução de custos, aumento de receita e melhor marketing para as organizações. Mas este trabalho vem com desafios bem complicados. 

Neste post, vamos ver como iniciativas Big Data podem fornecer uma vantagem competitiva. Vamos examinar as considerações de grandes infra-estruturas de dados, segurança de Big Data, como os impactos de Big Data no Master Data Management (MDM), a transição do gerenciamento e análise de Big Data e os desafios em apoiar grandes análise de dados nas empresas de pequeno e médio porte, ambientes em empresas de pequeno e médio porte.

Big Data fornece uma vantagem competitiva 

Segundo alguns analistas, as empresas que não se aproveitarem das oportunidades de negócios do Big Data vão ficar para trás em relação a concorrência. Empresas que adotarem  big data analytics poderão tomar decisões mais concretas e ver ganhos financeiros, dizem analistas. No melhor cenário, as empresas irão analisar as informações coletadas a partir de dispositivos móveis, sistemas de armazenamento e ferramentas de gestão. A ideia é identificar padrões de negócios recorrentes para capitalizar os sucessos e evitar falhas.

No entanto, a adoção do big data analytics coloca alguns desafios, tais como a dificuldade de utilizar tecnologias de Big Data, como por exemplo o Software Apache Hadoop Distributed File System e MapReduce. Alguns analistas, por outro lado, acreditam que a forma tradicional de pensar sobre o negócio através de tecnologias de data warehouse e BI  não fornecem às empresas as informações necessárias para fazer o melhor uso de dados.

Nesse meio tempo, várias empresas estão desenvolvendo ferramentas para reduzir os obstáculos do Big Data. Com essas novas ferramentas e treinamento adequado, as empresas irão encontrar tecnologias de Big Data mais acessíveis e serem capaz de implantar, administrar, gerenciar e proteger-los mais facilmente.

Considerações de infra-estrutura para iniciar no Big Data

Parte de abraçar a grande tendência dos dados, primeiro é preciso saber o que considerar na escolha de uma infra-estrutura de Big Data. O maior desafio que os administradores irão ter que enfrentar é como farão para armazenar os dados estruturados e não estruturados produzidos pelas empresas de uma maneira que fique fácil para analisar. Mas empresas de TI também devem considerar os desafios que surgem na gestão de Redes na Análise de Big Data. 

A fim de superar os desafios apresentados pelo Big Data, algumas características de uma grande infra-estrutura de armazenamento de dados a serem considerados incluem a capacidade, latência, o acesso a arquivos, segurança e custo.

Iniciativas de Big Data exigem um Frameworks seguros

Enquanto a análise e Gestão de Big Data tem seus benefícios, é importante reconhecer os problemas de segurança que podem representar. Grandes volumes de Dados podem conter ameaças de segurança ou dados tóxicos como números de CPF, RG, Passaportes, etc.. e dados de propriedade intelectual, que pode ser prejudicial a uma organização, se forem expostos. 

Ambientes de Big Data que não são seguros o suficientemente e isto pode fazer com que as informações fiquem vulneráveis a um ataque. Para evitar ataques e vazamentos, as empresas devem tomar medidas adequadas para garantir um ambiente de Big Data e criar um FrameWork confiável. Para criar FrameWork, as organizações devem dar três passos principais: definir o nível de classificação de dados com base em como ele pode ser tóxico, olhando para análise e soluções de visibilidade para cruzar com o Big Data com segurança e usando ferramentas como o controle de acesso para defender os dados, e  por fim, a eliminação dos dados quando não é for mais necessário.

A gestão do Big Data tende a impactar o fluxo de trabalho nos negócios 

Uma vez que as empresas implementem uma infra-estrutura de Big Data, eles estão propensos a ver um impacto sobre o fluxo de trabalho nos negócios, dominar literalmente o gerenciamento de dados de programas (MDM).

Programas MDM gerenciam as conexões entre os dados internos de uma organização e o Big Data que flui externamente. Pelo simples fatodo Big Data vir de várias fontes, tais como mídias sociais e computação em nuvem, é importante avaliar a melhor maneira de gerenciar todos os dados que vem da mídias sociais, isso pode ser através de uma lligação dos arquivos mestres internos de clientes para perfis de redes sociais externos . Quanto à computação em nuvem, as empresas poderiam usar os recursos de MDM baseados em nuvem ou ambientes híbridos formados por ambos em nuvem e aplicações no local.

Um dos maiores desafios que as organizações estão enfrentando com MDM está provando o business case. As empresas devem mostrar que o investimento nesses programas fornece uma visão inventário e, portanto, reduzir os custos. Se feito com sucesso, as organizações podem utilizar práticas de MDM para assumir o Big Data e melhorar suas estratégias de negócios.

Mudando de grandes gerenciamentos de dados para grandes análises de dados 

Como a tendência de Big Data cresce, a idéia de "big data" fez a transição de definir a quantidade, velocidade e tipo de dados que as empresas devem conseguir determinar e o que fazer com esses dados para fins comerciais. 

Esta mudança de grande gerenciamento de dados para grandes análises de dados obriga as organizações a olhar para além de apenas entender como controlar grandes dados e mais profundo em casos de uso de analytics. O importante para as organizações não se concentrar inteiramente no volume de dados para a gestão, mas sim para olhar como esses dados podem ajudar a melhorar os processos de negócios e agregar valor aos negócios.

Empresas pequenas e de médio porte utilizam big data analytics com a ajuda de provedores de cloud computing 

Big data pode parecer simples para as grandes empresas, mas as empresas de pequeno e médio porte estão tomando as medidas necessárias para utilizar big data analytics também. Estas pequenas e médias empresas podem achar a grande ajuda que necessitam de provedores de nuvem. 

Um número de provedores de nuvem identificaram tendências em big data analytics para pequenas e médias empresas, e as empresas menores devem procurar provedores que já vem fazendo este trabalho.

Superando desafios do Big Data na nuvem 

Muitos provedores de nuvem ainda não encontraram oportunidades em apoiar o big data analytics na nuvem, mas isto também traz alguns desafios que cercam demandas colocadas sobre redes, armazenamento e servidores. Nuvem não oferecem flexibilidade para triturar grandes quantidades de dados não estruturados, mas essa flexibilidade também pode ser o problema para arquiteturas de nuvem. 

A fim de superar a capacidade, desempenho e agilidade desafios, os provedores de nuvem devem mudar suas arquiteturas para acomodar a demanda. Para o armazenamento, capacidade de dados é fundamental para garantir o desempenho. Alguns provedores de nuvem também estão adotando modelos de arquitetura que permitem a um sistema mais distribuído e com melhor balanceamento de carga.

UNIVERSIDADES DEVEM INCLUIR SEGURANÇA DE BIG DATA E CLOUD EM SEUS CURRÍCULOS

Quando se trata de integrar as tendências da tecnologia da informação nos currículos de muitas universidades e faculdades, o sistema educacional tem ficado para trás na curva de aprendizado. Isto é verdade para a educação de Big Data, e infelizmente, a segurança de TI é necessária para proteger informações não estruturadas.

Os conceitos relacionados com a manipulação de grandes quantidades de dados são brevemente abordadas em cursos que se concentram em bancos de dados ou algoritmos. Mas quando big data é abordada em uma classe de algoritmos, é principalmente como uma justificativa para o ensino de diferentes algoritmos de classificação, essencialmente, ordenando listas em projetos de "big data".

Se as universidades oferecem aulas sobre big data, muitas vezes é como de pós-graduação ou cursos de extensão. Apesar de alguns serem de engenharia informática ou ciências da computação que incidem especificamente sobre big data, vemos o conceito aparecer em outros cursos; bio-informática, por exemplo, onde o processamento de big data é necessário para concluir uma tarefa especifica.

Segurança opcional 

Dado o vazio na educação de Big Data, ele deve vir como nenhuma surpresa que a segurança de big data não é coberta, na maioria dos currículos. Mesmo a nova proposta da Associação de Segurança Nacional e do Departamento de Segurança Interna com áreas de foco para os Centros Nacionais de Excelência Acadêmica que lista uma grande de segurança de dados como uma unidade de conhecimento opcional em três áreas de conteúdo.

Segurança de big data é importante, mas é difícil de ensinar por muitas razões de terminologia, segurança atual e sistemas de monitoramento, de infra-estrutura física e isso é só para começar. Em primeiro lugar, é difícil classificar o que se quer dizer com o termo "big data". Implica conhecimento incompleto do que pontos de dados podem estar no conjunto de armazenamento e tentar garantir aquilo que é desconhecido é difícil. Pense em prevenção de perda de dados, é difícil, se não impossível, para dizer se os dados sensíveis está deixando a instalação quando os dados não são enumerados.

Nós não estamos ensinando uma grande segurança de dados. Mas, em nossa defesa, como podemos garantir algo que é difícil de classificar? Além disso, como podemos ensinar outros a protegê-los? A nova classificação de big data apresenta um problema básico que precisa de resolução antes de fornecer soluções.

Novos métodos de segurança 

Será que as novas classificações de Big Data significam que novos métodos de segurança são garantidos ou podemos utilizar métodos que atualmente são implantados, só que em escala maior? No caso de Big Data, argumentamos que o tamanho e a complexidade exige mais do que apenas a escala de métodos de segurança de dados atuais.

Se pudermos ir além da terminologia e falta de conhecimento, é preciso repensar a implementação de sistemas de segurança e monitoramento no caso de Big Data. Em sistemas de segurança e monitoramento atuais, escrever e analisar arquivos de log é a principal técnica utilizada para capturar eventos e indicar quando brechas de segurança são tentadas ou bem sucedidas. No mundo de hoje, ouvimos lamentações de como grandes arquivos de logs crescem e como é difícil de separar os dados úteis a partir do ruído(lixo), mesmo com a ajuda de um produto especifico de algum fornecedor para facilitar esta tarefa. No mundo do big data, a complexidade dos sistemas de segurança e monitoramento só crescem exponencialmente.

Embora, muitos fatores compliquem a segurança do Big Data, uma última questão que queremos ressaltar é que o Big Data, muitas vezes estão na nuvem. Portanto, as discussões sobre métodos de segurança para Big Data incluem segurança em nuvem. Nenhum destes temas está maduro e será uma ação necessária das organizações tomar as medidas de segurança, será necessário considerar que tais medidas irão trabalhar com dados em nuvem.

A partir da perspectiva educacional, acreditamos que o ensino de segurança em Big Data começa com os fundamentos de segurança de dados que são ensinadas em todos os programas de segurança. Não há nenhuma base mais sólida para as grandes discussões de segurança de dados do que uma compreensão profunda e ampla dos conceitos de segurança, no entanto, as complexidades adicionais que big data contribui para o problema da necessidade de segurança devem ser incluídas no currículo.

Enquanto acreditamos que a melhor maneira para os alunos aprenderem é através de experimentos de laboratório ou simulações, o desenvolvimento de grandes exercícios de segurança de dados pode revelar-se mais difícil do que exercícios de segurança tradicionais. Se defendemos que uma definição de Big Data pode ser desenvolvida e universalmente aceita, ainda vemos obstáculos a superar. Atualmente, os alunos trabalham com detecção de intrusão e prevenção de perda de dados, mas não em um ambiente de Big Data. E podemos constatar, eles realmente não estão preparados para lidar com a enorme quantidade de dados que chegam a partir de dispositivos de segurança, monitoramento de rede e monitores de perda de dados. Experimentos de laboratório precisam ser cuidadosamente e trabalhados para não sobrecarregar os alunos, mas também proporcionar a aparência de big data.

Sem dados significativos 

Infelizmente, o acesso aos dados reais e significativos é difícil no ensino superior. Não se pode ter acesso a Big Datas reais, porque, em muitos casos, é privado. Precisamos desenvolver um exemplo de conjuntos de Big Data em que os tipos de dados correspondem a diferentes setores de dados. Este é um lugar perfeito para a Faculdade desenvolver com a parceria de indústrias verticais ou grupos comerciais da indústria, fontes de dados. E, os educadores precisam ser inovadores na combinação de nuvem e grandes conceitos de segurança de dados e incentivar os alunos a pensar sobre estes temas.

Então, o que podemos realisticamente esperar realizar na área da educação em segurança de Big Data? Esperamos que os educadores possam ajudar os alunos a aprender os fundamentos necessários para se adaptar às ameaças sempre em mudança e tecnologias. Enquanto hoje os temas atuais são Big Data e segurança na nuvem, os tópicos de amanhã são desconhecidos. Os educadores precisam incluir os temas de segurança mais recentes e questões como Big Data e segurança na nuvem para os alunos. No entanto, também devem se esforçar para educar os alunos para que eles possam se adaptar às mudanças, uma vez que deixem as salas de aula.

O PROBLEMA DA CIÊNCIA DOS DADOS

Muitas organizações se afundam em dividas com os investimentos de TI em vez de tirar um tempo para analisar seu Big Data. O primeiro passo é ver se você pode reunir os dados em que reside o problema que às vezes isso pode ser uma enorme quantidade de dados." Estas peças de medição podem incluir, por exemplo, todos os logs de rede em uma variedade de sistemas; dados sobre as aplicações dos empregados comportamento de quando eles estão entrando no prédio, o que eles estão acessando bancos de dados e o que eles estão introduzindo no meio ambiente?

As organizações precisam se concentrar em padrões de comportamento através da coleta de dados das máquinas, aplicações e pegadas digitais das pessoas que mostram como eles se comportam nas suas tarefas diariamente. "Você tem que ser capaz de olhar para uma ampla e não-estruturada gama de dados a partir de um período de seis meses, pelo menos, para detectar os tipos de mudanças de comportamento". Isso significa terabytes ou mesmo petabytes de dados a ser capaz de observar padrões ou anomalias.

O segundo obstáculo, especialmente se for de dados não estruturados, é ter as pessoas, sejam elas internas ou externas, que são realmente qualificados para fazer a análise estatística e as análises que lhe permite obter a resposta "reais", essencialmente, aqueles sinais que são indicativos de um evento particular. Hipoteticamente, isso significa que alguém que pudesse olhar para todos os dados e determinar: se alguém está acessando esse tipo de informação a esta hora do dia através de um determinado site, vamos acompanhar isso como algum tipo de intenção maliciosa. "Você precisa saber o que as pessoas estão acessando"

Em terceiro lugar, você precisa de alguma maneira de apresentar essa informação para a diretoria, seja ele em forma de um relatório físico ou de alguma outra forma: 

Muitas empresas têm problemas em duas áreas: "O que estamos descobrindo é que a maioria das organizações não possuem habilidades para coletar os dados, especialmente os dados não estruturados, em grande parte porque ele faz abrangem várias línguas". A segunda questão envolve encontrar pessoas que realmente possam fazer as análises. Há uma quantidade justa de competição e as empresas estão lutando para encontrar profissionais com um grau avançado em análises no mundo inteiro.

Para colocar o big data analytics em uso, as organizações têm de usar observações coletivas, experiência e análise lógica para identificar padrões nos dados. "A análise preditiva consiste em você aplicar a análise estatística e modelagem na sua observação" e depois ver se algo que você vê no presente ou do passado vai ser tendência no futuro com base nessas observações e com base em um modelo estatístico.O conhecimento de como será feita a analise  e o tipo de modelo estatístico que você deseja executar é sua, e ninguém mais tem que decidir isso".

Os fãs do filme "Minority Report", pode aplaudir o modelo de policiamento preditivo que está surgindo em algumas das principais áreas metropolitanas, como Los Angeles. Ele combina a análise estatística avançada baseada em dados de crimes anteriores, visualização, aprendizado da máquina e inteligência artificial para prever quando e onde eventos ocorrerão o que possibilita ações pró-ativas para impedi-los e poupar recursos. Grande parte da pesquisa sobre "PredPol" está sendo feito na Universidade da Califórnia (UCLA).

PredPol Traz Big Data para a aplicação da lei, com US $ 1,3 milhões

No entanto, a maioria das organizações e indústrias estão sozinhas quando se trata de modelagem estatística e análise de Big Data. "Não há nada 'enlatado', pronto que você pode comprar e que irá magicamente analisar sua segurança do Big Data". "Todas as implementações de análise que estão em  uso são uma plataforma "Feito em Casa". Há vendedores que tentarão vender  uma implementação personalizado do Hadoop, mas não há vendedores que irão construir sua análise para você.

Kate Crawford

A propensão para falsos positivos e más interpretações apresenta seus próprios riscos. Kate Crawford, um dos principais pesquisadores da Microsoft Research, alertou sobre preconceitos escondidos com relação a  big data analytics  e ofereceu vários exemplos. Ela chama o problema de "fundamentalismo de dados", ou "a noção de que a correlação sempre indica causalidade e que os grandes conjuntos de dados e análise preditiva sempre refletem a verdade objetiva".

Além da implementação da tecnologia, outra questão que muitas empresas enfrentam é as que possuem as análises que podem vir a uma combinação de talentos altamente qualificados. "Alguns esforços bem-sucedidos tinham a combinação de propriedades do sistema feita por equipes de segurança e de fraude", "A equipe de segurança teria que investir em pessoas com incomum, e muitas vezes caro, de habilidades, tais como estatísticas. Claro, eles podem puxar um estatístico de outro projeto da empresa, que seria muito útil também. No entanto, este especialista em estatística tem de ser acompanhado por alguém que conheça o assunto sobre a segurança ".

As escolas de negócios estão começando a introduzir mais cursos de Big Data Analytics, liderados em parte por programas de empresas como a Cloudera.

Cloudera Desktop

Mesmo assim, não há realmente uma maneira de atender a demanda por talentos altamente qualificados nos próximos anos."O impulso nos últimos dois anos tem sido em torno de infraestrutura e outros recursos que lhe permitem organizar os dados e um monte de empresas estão começando a aceitar que o problema é que a infra-estrutura não tem realmente capacidade analítica.

Se você realmente quer fazer isso em uma escala maior, que é o que todo mundo tem que fazer, você tem que ter ferramentas , então você tem que descobrir, como posso colocar esta ferramenta em um ambiente a ser usado para que um conjunto de cientistas de dados não precise estar com os usuários da empresa para resolver esse problema a cada momento. É realmente essa mudança que vai desbloquear um monte de recursos ". Agora, as empresas terão que tentar fazê-lo por si só? Sim, mas não esqueçam que o numero de talentos não cresce rápido o suficiente, e isso é verdade nos governos também.

BIG DATA ANALYTICS - NOVOS PADRÕES EMERGEM PARA A SEGURANÇA

Os bombas detonadas durante a maratona de Boston oferecem um lembrete austero das falhas de Análise do Big Data e de Segurança, notoriamente as agências de inteligência foram incapazes de ligar os pontos antes e depois dos ataques 15 de abril.

A falta de compartilhamento de informações entre as organizações e unidades de negócios, ou a consciência de que um determinado conjunto de dados ainda existe, é um problema comum. Análises de Big Data podem ajudar a resolver este dilema, de acordo com seus proponentes, e fornecer dados de inteligência que detecta padrões suspeitos e ameaças potenciais, expandindo a definição de dados de segurança para todas as partes do negócio.

Segurança orientada a inteligência alimentada por análises de Big Data vai atrapalhar vários segmentos de produtos nos próximos dois anos, de acordo com executivos da RSA, a divisão de segurança da EMC. "Com a difusão de Big Data cobrindo tudo o que fazemos", disse Arthur Coviello, Jr., vice-presidente da EMC e presidente executivo da divisão de segurança RSA , durante sua palestra RSA, em fevereiro, "a nossa superfície de ataque está prestes a ser alterada e expandir , e os nossos riscos ampliados de forma que não poderíamos ter imaginado. "

Arthur Coviello, Jr., vice-presidente da EMC e
Presidente Executivo da Divisão de Segurança RSA

Como as organizações e funcionários cada vez mais operando em ambientes móveis, web e mídia social, aproveitando-se de informações identificadas por análises ou padrões através de uma ampla variedade de conjuntos de dados, incluindo texto não estruturado e binário de áudio de dados, imagens e vídeo podem oferecer informações valiosas sobre negócios riscos muito além de TI.

Mas, mesmo com o uso de modelagem estatística avançada e análise preditiva, as ameaças à segurança de origens desconhecidas ainda podem passar despercebidas. Será que o Big Data  e análises de alto desempenho realmente podem fazer segurança melhor? Talvez, mas hoje o uso significativo de tecnologias de Big Data em grandes volumes de dados de segurança é rara e extremamente desafiador, de acordo com Anton Chuvakin, diretor de segurança e gestão de risco, o Gartner, brincou com a pesquisa: "As organizações que usam análise preditiva tradicionais para a segurança ? Você quer dizer "os dois? '"

O Gartner define "big data", baseado nos 3Vs (Volume, Variedade e Velocidade). 

Anton Chuvakin

"As organizações que realmente investiram tempo (muitas vezes anos) e recursos (muitas vezes milhões de dólares) na construção de sua própria plataforma para big data analytics têm encontrado valor", disse Chuvakin. "Normalmente, esse valor se manifesta através de uma melhor detecção de fraudes, detecção de incidentes de segurança mais ampla e profunda tornando a investigação de incidentes mais eficaz."

Uma dessas empresas é a Visa, a gigante  em processamento de cartão de crédito. A empresa fez um respingo no início deste ano, quando se divulgou no The Wall Street Journal que ele estava usando um novo mecanismo de análise e 16 modelos diferentes, que pode ser atualizado em menos de uma hora, para detectar a fraude de cartão de crédito. Steve Rosenbush do The Journal blogged sobre as melhorias por trás do mecanismo de análise de alto desempenho, que de acordo com a Visa, ela monitora e acompanha até 500 aspectos de uma transação, em comparação com a tecnologia anterior, que só poderia lidar com 40. As capacidades de análises poderosas são possíveis em parte pela adoção da tecnologia de banco de dados não-relacional em 2010 e pelo framework open source software Apache Hadoop, que é projetado para o armazenamento de baixo custo e cálculo de dados distribuídos através de clusters de servidores de commodities da Visa.

A CORRIDA PARA GRANDES ANÁLISES 

Apesar de toda a polêmica sobre o Hadoop, que utiliza o modelo de programação MapReduce (derivado da tecnologia do Google) para "mapear" e "reduzir" de dados, juntamente com um sistema de arquivos distribuídos (HDFS) com built-in de automação para falhas e redundância,o uso de Hadoop é rara em grandes e médias empresas. As ferramentas para acessar o armazenamento do Hadoop e capacidades computacionais são ainda imperceptíveis, sem  interfaces, com ferramentas complexas para os cientistas de dados ou acesso programático para programadores qualificados com conhecimento de MapR Hive para consultas SQL-like ou Pig para alto nível de fluxo de dados.

Isso pode mudar em breve, no entanto, como os fornecedores de tecnologia de todas as empresas de infra-estrutura de todos os lados e grandes empresas de software prestadores de serviço na tentativa de fornecer grandes ferramentas de análise de dados (Big Data Analytics Tools)para usuários corporativos. A Cloudera, oferece uma distribuição para Hadoop (CDH) e a SAS anunciou uma parceria estratégica para integrar SAS High Performance Analytics e SAS Analytics Visual entre outras ferramentas no final de abril. Infobright, Greenplum da EMC e MapR estão se movendo para o espaço empresarial com análises e ferramentas de visualização que permitem aos analistas corporativos trabalhar com grandes conjuntos de dados e desenvolvimento de processos analíticos, em alguns casos usando sandboxing e virtualização.

"Esse tipo de análise vendo sendo necessária ha muito tempo e apenas agora as tecnologias que podem realmente realizar esse tipo de análise em grandes escalas será disponibilizada ", disse Mark Seward, diretor sênior de segurança e conformidade em Splunk. Informações de segurança das empresas e gerenciamento de eventos de tecnologia (SIEM) já é utilizado por cerca de 2.000 empresas para analisar os dados da máquina, o que inclui todos os dados de sistemas, a "Internet das coisas" e os dispositivos conectados.

Qualquer texto ACSII podem ser indexados pelo Splunk, que por sua vez pode usar até 150 comandos sobre os dados de retorno definidos para realizar a análise estatística e disponibilizar visualizações. De acordo com Seward, o Splunk pode ser escalado para petabytes de dados. Ele não lida nativamente com dados binários mas o Hadoop e outros conversores estão disponíveis. Para usar o Splunk, os profissionais de segurança de TI essencialmente precisam entender e conhecer comandos shell script Unix, SQL e ter acesso à documentação sobre o tipo de campos que têm nos dados.

O que é o Splunk?

Splunk é uma ferramenta de pesquisa e analise de logs de TI. É um software que permite que você indexe, pesquise, alerte e informe em tempo real e permite que você visualize históricos de dados de TI – dando uma maior visualização em toda a sua infra-estrutura de TI de uma localidade em tempo real. Reduza o tempo para solucionar problemas de TI e incidentes de segurança para minutos ou segundos ao invés de horas ou dias. Monitore toda sua infra-estrutura de TI para evitar degradação do serviço e tempo de inatividade. Relatórios sobre todos os controles de sua conformidade a um custo menor e em uma fração do tempo. O download do Splunk gratuito.

Splunk indexa qualquer tipo de dado de TI de qualquer fonte em tempo real. Aponte seus servidores syslog ou dispositivos de rede para o Splunk, configure sondagens de WMI, monitore arquivos de log em tempo real, permitir a monitoração das alterações em seu sistema de arquivos ou o registro no Windows, ou até mesmo agendar um script para pegar as métricas do sistema. Splunk indexa todos os seus dados de TI sem precisar de nenhum analisador especifico ou adaptadores para compra, escrever ou manter. Tanto os dados primários e o rico índice são armazenados em um eficiente, compacto, armazenamento de dados baseado em arquivos com assinatura de dados opcionais e auditoria da integridade de dados.

"Com o advento do Hadoop e tecnologias de indexação como Splunk, agora as tecnologias estão disponíveis para dar uma olhada com mais detalhes em torno de dados gerados por máquina e os dados gerados por usuários para entender o que está acontecendo dentro de uma organização, ou o que está acontecendo dentro de uma linha de produção, por exemplo ", disse Seward. Quando você pensa sobre o risco em toda a organização, você não está apenas pensando em segurança, no sentido tradicional, mas você também está pensando sobre o que as pessoas fazem no dia-a-dia em todos os dados ou o máximo que puder obter. o que seria um risco para o seu negócio particular. "Eu talvez precise olhar para os dados de aquecimento e ventilação para entender se alguém entrou na fábrica e alterou a temperatura de alguns graus, o que poderia colocar em risco toda a produção de um produto", disse ele.