[Off-Topic] A maioria disse que usaria meu produto. Vai dar certo? Não!

Publicado pela 1a vez em 2013-03-13T14:06:39+00:00

“Estamos montando um excelente novo produto que vai resolver seus problemas, você usaria esse produto?”, diz a pesquisa de validação de uma nova startup. Resultado: 70% das 1.000 pessoas que responderam disseram sim. A conclusão é clara, então: o produto é válido e não tem como dar errado, certo?

Errado. Esses valores não querem dizer nada. Sozinhos, não têm validade e não sustentam conclusão alguma. “Mas são 1.000 pessoas! Como você pode dizer isso?” Este artigo não pretende ser estatisticamente rigoroso, só apontar alguns dos muitos pontos onde quase todo mundo erra ao fazer pesquisa hoje em dia.

Primeiro de tudo, qual é o público-alvo do seu produto? Digamos que seja a população do interior dos estados do Sul, classes C e D, de 50 a 60 anos, com pouca experiência de informática. Agora imagine que a pergunta acima fez parte de uma pesquisa online, compartilhada pelo Facebook e pelo Twitter.

Quem respondeu? Com certeza muita gente das classes A até C, concentrada nas capitais do Sudeste, entre 16 e 25 anos, que usa computador todo dia. Você fez a pergunta errada para as pessoas erradas.

Para efeito do exemplo, digamos que você teve o cuidado de escolher a população certa e evitou o que se conhece como “Biased Sampling”. Mesmo assim, a pergunta continua ruim, e deveria ser óbvio por quê. É o que se chama de “Loaded Question”: a formulação já empurra o entrevistado para um tipo de resposta.

Para começar, ela parte da premissa de que o produto é “excelente” e de que “vai resolver” os problemas do sujeito. Uma forma menos carregada seria: “Estamos montando um produto com as funcionalidades X; supondo que você tenha os problemas Y, acha que isso ajudaria a resolvê-los?”

Existem várias técnicas para fugir de premissas infundadas, como explicar direito a proposição de valor em vez de encher a pergunta de retórica. É muito fácil montar uma pergunta falaciosa que puxa uma resposta falsa.

Pior ainda é pegar essas 1.000 pessoas, separar os 700 que disseram “sim” à pergunta viciada feita ao público errado e começar a tirar conclusões dali. “Ah, notamos que, desses 700, metade tem cartão de crédito, compra pela internet pelo menos uma vez por mês e diz que compartilharia o serviço com ao menos 2 amigos nas redes sociais.” E fica pior ainda quando justamente os que disseram “não” são o público mais próximo do alvo que você quer atingir.

Consultei também Ricardo Couto* que explicou a questão. “Conhecer o entrevistado, seus hábitos e motivações é muito mais valioso para o negócio do que ter um alto percentual de respostas favoráveis sobre o produto ou serviço em um questionário online. A propósito, chamar de pesquisa um formulário feito em 5 minutos no Google Docs ou SurveyMonkey é, no mínimo, ingenuidade. O que se tem lá é um questionário. Questionários podem ser úteis se bem usados. Mas, em geral, são apenas conjuntos de perguntas em torno de um assunto. Uma pesquisa pode até fazer uso dessa ferramenta mas nem todo questionário é pesquisa”.

Estatística, probabilidade e pesquisa em geral são trabalho de profissionais que dominam esse campo. Não é assunto trivial nem coisa para se tratar de qualquer jeito. Este exemplo é só uma das muitas maneiras de se enganar com números.

Mark Twain popularizou a frase “Existem 3 tipos de mentiras: mentiras, malditas mentiras e estatísticas”. O tema já foi tão discutido e rebatido que rendeu um livro famoso de 1954, de Darrell Huff, “Como mentir com estatísticas”, que cataloga os erros intencionais e não-intencionais na interpretação de estatísticas.

Ricardo também complementou dizendo: “Se pensarmos em um questionário online como ferramenta séria para pesquisa, primeiro há de se saber como se faz pesquisa. Tenho muitas dúvidas se as pessoas que dizem que “estão fazendo” uma pesquisa e te mandam um link para um questionário tenham levado em conta o efeito de ordem, efeito do observador ou evitaram perguntas tendenciosas – fatores bem conhecidos por quem faz pesquisa de verdade. E olha que nem comentei sobre a validade estatística, que só se consegue aplicando métodos estatísticos (percentual simples não é estatística descritiva, ok? há de se conhecer o que é valor p), ou mesmo da seleção dos respondentes adequados ao público-alvo que se pretende atingir. Ou será que eu quero como usuários, clientes ou consumidores apenas profissionais com a minha faixa etária, minha faixa de renda e meu comportamento de compra online e uso de redes sociais?”

Então, da próxima vez que for criar conta em um daqueles dezenas de serviços online de pesquisa, veja se a ferramenta cumpre o mínimo de uma pesquisa bem feita e guia você pelos procedimentos corretos: definir o público, coletar, processar e analisar os dados com rigor. Sem isso, o que sobra na sua mão é um punhado de números opacos, sem significado nenhum e dos quais não se tira conclusão alguma.

*Ricardo Couto é Consultor em Experiência do Usuário e Pesquisas, Mentor na Aceleratech, Presidente da Associação dos Designers de Interação SP (IxDA SP) e Membro da Sociedade Brasileira de Design da Informação. Estudou Psicologia Cognitiva (mestrado) na Universidade Federal de Pernambuco e especializações em Design da Informação, Docência do Ensino Superior e Tecnologia em Educação a Distância. Foi professor universitário em nível de graduação e pós-graduação por 7 anos.