O data mining, o big data e a optimização do valor da informação

O mercado de Big Data cresceu mais de 30% ao ano nos últimos 4 anos. Apesar das preocupações sobre tratamento dos dados, não houve, nem se vislumbra que haja uma reação adversa generalizada à forma como as empresas vão continuar a persuadir os clientes com técnicas de Data Mining.

Não existe Big Data sem Data Mining, que usa modelos de raciocínio matemático de inferência e modelos estatísticos que recorrem às séries registadas nos repositórios de dados, sobre um ou vários domínios do conhecimento, com o objectivo de identificar possíveis correlações.

Os estudos dizem-nos que o valor da informação pessoal básica de um indivíduo pode rondar 0,0005 dólares, assim alcançar grandes volumes de dados é imperativo, mas as empresas ainda lutam para fazer com que faça sentido o investimento no Big Data, até porque a análise de dados produz mais dados; estima-se que os dados registados em formato digital cresçam 60% ao ano, ou seja de 20 em 20 meses duplicam os dados registados electronicamente.

Os mesmos dados podem gerar informação diferente, e a mesma informação pode gerar conhecimento diferente, assim só se consegue criar valor com a informação de uma forma assertiva com investimentos em ferramentas de análise preditiva com abordagens que tenham em consideração uma ênfase na previsão (em vez de descrição, classificação ou agrupamento), uma análise rápida medida em horas ou dias (em vez dos meses estereotipados em extração de dados tradicionais), uma ênfase na relevância comercial das aprendizagens e ênfase na facilidade de uso, tornando as ferramentas acessíveis aos utilizadores corporativos.

É importante referir que a dificuldade aumenta à medida que queremos mais optimização da informação, assim saber o que aconteceu obtém-se com análise descritiva, saber como aconteceu obtém-se com análise de diagnóstico, saber o que vai acontecer consegue-se com análise preditiva, e o mais difícil é como vamos fazer com que aconteça, e isso só se consegue com análise prescritiva.