O PROBLEMA DA CIÊNCIA DOS DADOS

Muitas organizações se afundam em dividas com os investimentos de TI em vez de tirar um tempo para analisar seu Big Data. O primeiro passo é ver se você pode reunir os dados em que reside o problema que às vezes isso pode ser uma enorme quantidade de dados." Estas peças de medição podem incluir, por exemplo, todos os logs de rede em uma variedade de sistemas; dados sobre as aplicações dos empregados comportamento de quando eles estão entrando no prédio, o que eles estão acessando bancos de dados e o que eles estão introduzindo no meio ambiente?

As organizações precisam se concentrar em padrões de comportamento através da coleta de dados das máquinas, aplicações e pegadas digitais das pessoas que mostram como eles se comportam nas suas tarefas diariamente. "Você tem que ser capaz de olhar para uma ampla e não-estruturada gama de dados a partir de um período de seis meses, pelo menos, para detectar os tipos de mudanças de comportamento". Isso significa terabytes ou mesmo petabytes de dados a ser capaz de observar padrões ou anomalias.

O segundo obstáculo, especialmente se for de dados não estruturados, é ter as pessoas, sejam elas internas ou externas, que são realmente qualificados para fazer a análise estatística e as análises que lhe permite obter a resposta "reais", essencialmente, aqueles sinais que são indicativos de um evento particular. Hipoteticamente, isso significa que alguém que pudesse olhar para todos os dados e determinar: se alguém está acessando esse tipo de informação a esta hora do dia através de um determinado site, vamos acompanhar isso como algum tipo de intenção maliciosa. "Você precisa saber o que as pessoas estão acessando"

Em terceiro lugar, você precisa de alguma maneira de apresentar essa informação para a diretoria, seja ele em forma de um relatório físico ou de alguma outra forma: 

Muitas empresas têm problemas em duas áreas: "O que estamos descobrindo é que a maioria das organizações não possuem habilidades para coletar os dados, especialmente os dados não estruturados, em grande parte porque ele faz abrangem várias línguas". A segunda questão envolve encontrar pessoas que realmente possam fazer as análises. Há uma quantidade justa de competição e as empresas estão lutando para encontrar profissionais com um grau avançado em análises no mundo inteiro.

Para colocar o big data analytics em uso, as organizações têm de usar observações coletivas, experiência e análise lógica para identificar padrões nos dados. "A análise preditiva consiste em você aplicar a análise estatística e modelagem na sua observação" e depois ver se algo que você vê no presente ou do passado vai ser tendência no futuro com base nessas observações e com base em um modelo estatístico.O conhecimento de como será feita a analise  e o tipo de modelo estatístico que você deseja executar é sua, e ninguém mais tem que decidir isso".

Os fãs do filme "Minority Report", pode aplaudir o modelo de policiamento preditivo que está surgindo em algumas das principais áreas metropolitanas, como Los Angeles. Ele combina a análise estatística avançada baseada em dados de crimes anteriores, visualização, aprendizado da máquina e inteligência artificial para prever quando e onde eventos ocorrerão o que possibilita ações pró-ativas para impedi-los e poupar recursos. Grande parte da pesquisa sobre "PredPol" está sendo feito na Universidade da Califórnia (UCLA).

PredPol Traz Big Data para a aplicação da lei, com US $ 1,3 milhões

No entanto, a maioria das organizações e indústrias estão sozinhas quando se trata de modelagem estatística e análise de Big Data. "Não há nada 'enlatado', pronto que você pode comprar e que irá magicamente analisar sua segurança do Big Data". "Todas as implementações de análise que estão em  uso são uma plataforma "Feito em Casa". Há vendedores que tentarão vender  uma implementação personalizado do Hadoop, mas não há vendedores que irão construir sua análise para você.

Kate Crawford

A propensão para falsos positivos e más interpretações apresenta seus próprios riscos. Kate Crawford, um dos principais pesquisadores da Microsoft Research, alertou sobre preconceitos escondidos com relação a  big data analytics  e ofereceu vários exemplos. Ela chama o problema de "fundamentalismo de dados", ou "a noção de que a correlação sempre indica causalidade e que os grandes conjuntos de dados e análise preditiva sempre refletem a verdade objetiva".

Além da implementação da tecnologia, outra questão que muitas empresas enfrentam é as que possuem as análises que podem vir a uma combinação de talentos altamente qualificados. "Alguns esforços bem-sucedidos tinham a combinação de propriedades do sistema feita por equipes de segurança e de fraude", "A equipe de segurança teria que investir em pessoas com incomum, e muitas vezes caro, de habilidades, tais como estatísticas. Claro, eles podem puxar um estatístico de outro projeto da empresa, que seria muito útil também. No entanto, este especialista em estatística tem de ser acompanhado por alguém que conheça o assunto sobre a segurança ".

As escolas de negócios estão começando a introduzir mais cursos de Big Data Analytics, liderados em parte por programas de empresas como a Cloudera.

Cloudera Desktop

Mesmo assim, não há realmente uma maneira de atender a demanda por talentos altamente qualificados nos próximos anos."O impulso nos últimos dois anos tem sido em torno de infraestrutura e outros recursos que lhe permitem organizar os dados e um monte de empresas estão começando a aceitar que o problema é que a infra-estrutura não tem realmente capacidade analítica.

Se você realmente quer fazer isso em uma escala maior, que é o que todo mundo tem que fazer, você tem que ter ferramentas , então você tem que descobrir, como posso colocar esta ferramenta em um ambiente a ser usado para que um conjunto de cientistas de dados não precise estar com os usuários da empresa para resolver esse problema a cada momento. É realmente essa mudança que vai desbloquear um monte de recursos ". Agora, as empresas terão que tentar fazê-lo por si só? Sim, mas não esqueçam que o numero de talentos não cresce rápido o suficiente, e isso é verdade nos governos também.