Actualmente, o dia-a-dia das pessoas leva a que seja gerada uma multiplicidade de dados. Para entender melhor esta ideia, basta pensarmos na frequência com que a maioria das pessoas utiliza o smartphone e os chamados wearable e as operações que desenvolve com estes dispositivos.

Há alguns anos os dados eram sinónimo de custos para as empresas. Mas essa realidade está a alterar-se. Carlos Santos, Head of Big Data da Vodafone, defende que o desafio presente na era do Big Data é precisamente como encontrar valor nesses dados, de forma a ajudar as empresas. "O grande desafio está em como tirar partido e extrair valor de toda a quantidade de informação que é gerada. As companhias que hoje já despertaram para este desafio não querem abdicar dos dados gerados, mas não estão ainda a conseguir tirar daí valor. Ou seja, estão a tornar-se muito ricas em termos de dados armazenados mas em termos de 'insights' [conhecimento] gerados estão ainda muito aquém daquilo que desejam vir a estar", disse.

Esta lacuna está a levar a uma procura crescente por plataformas que permitam guardar elevadas quantidades de dados. Mas o especialista acredita que não é por aí o caminho. O primeiro passo a ser dado é olhar para a actividade que é desenvolvida, para os "desafios de negócio, cuja resposta se pode encontrar nos dados". "Antes de haver toda a preparação de uma infra-estrutura para guardar os dados, tem de se começar por colocar as questões de negócio relevantes para se perceber quais são os dados que fazem sentido armazenar. E elencar cada uma destas fontes de dados a cada uma das questões estratégicas do negócio".



Assim, a preocupação principal, no que diz respeito à incubação de um projecto de Big Data, deve passar por ter um plano, mais concretamente um "smart data plan", defendeu. "O smart data plan começa com o problema do negócio; qual o problema de negócio que estamos a querer resolver. Se calhar não vamos atacar todas as fontes de dados disponíveis na empresa porque com isso vamos simplesmente dispersar-nos. Os 'insights' têm que estar alocados a um problema de negócio concreto. Tendo este problema de negócio concreto, começa-se a recolher dados e depois a cruzar todas as técnicas conhecidas na área da inteligência artificial, estatística, com o suporte de infra-estruturas de computação distribuída - o tipo de competências que são necessárias para se conseguir fazer a tal exploração e fazer emergir o 'insight' destes dados em bruto".

Já com este conhecimento, entram em cena os algoritmos, que vão ser inseridos "em cima dos dados, que tiveram de passar por uma preparação muito exaustiva". "Tipicamente, 80 a 90% do trabalho de data science, é despendida na preparação e recolha dos dados. O grande valor vem da base que é necessário construir para que, os últimos 10 a 20% do esforço, esteja focado na execução de algoritmos em cima destes dados que procuram encontrar uma tendência, um padrão que faça 'match' e que responda ao desafio de negócio".



O especialista alertou ainda que os conhecimentos que são obtidos a partir dos dados podem ser interpretados por uma equipa de data scientist. Ao contrário do que se possa pensar, não é possível ter um único especialista que reuna competências na área da estatística, de investigação operacional, em machine learning e nos conceitos de negócio. "Não se produzem data scientists com este tipo de abrangência. O que é importante para se fazer a geração deste 'insight' terá de ser uma equipa com um misto de valências que se complementam".