Introdução

No primeiro dia do Product Camp de 2020, foram abordados temas como empoderamento de times de Produto, boas práticas de experimentação e a importância e métodos para coleta de feedbacks de clientes. A BossaBox está participando e organizou o resumo oficial das talks para você ficar por dentro ou relembrar tudo o que foi abordado no evento! Se você é Product Manager ou Product Designer, este conteúdo trará muitos insights para sua rotina de trabalho. Boa leitura!

Empoderamento dos times de produto

O Product Camp começou com a palestra do Will Sertorio, Product Design Manager da Revelo, compartilhando boas práticas para empoderar times de Produto. De acordo com o palestrante, é importante que os times tenham metas semanais de aprendizados.

Frequência de experimentos

Quando um dos participantes perguntou sobre a frequência ideal de experimentos, Will comentou que é interessante colocar como meta experimento por semana. Alguns fluxos do produto têm um número menor de usuários, então a sugestão é a adaptação dependendo do contexto e comportamento, podendo resultar em um experimento a cada duas semanas, por exemplo.

É essencial estimular que as equipes de Produto e Tecnologia saibam fazer as perguntas corretas para o tipo de aprendizado que esperam ter. O Product Designer trouxe uma dica de framework para compartilhar com todos os produteiros e produteiras do Product Camp.

Framework para definição do método

Esse framework facilita a estratégia, pois ao definir as perguntas, fica mais evidente para os times de Produto e Tecnologia qual é o melhor método. A partir disso, devem definir as evidências, hipóteses e duração do experimento para acompanhar a validação e o sucesso do aprendizado. 

Ciclos rápidos de aprendizado

Mesmo que seja um desafio, os ciclos de aprendizado precisam ser rápidos, pois quanto antes os resultados forem analisados, mais ágil é o encaminhamento da solução.

Will Sertorio compartilhou alguns resultados, como: envolvimento da equipe de Produto e Desenvolvimento no andamento das métricas, maior velocidade em testar e tracionar produtos e também a influência da cultura de Produto em outras áreas da empresa. 

“A bad system will beat a good person every time.”

Para finalizar, uma recomendação feita pelo Product Designer na primeira palestra do Product Camp foi sobre o estímulo e impacto do pensamento de produto na cultura da empresa. “Mude o sistema e o sistema moldará o comportamento das pessoas.” 

Testes A/B em um ano de experimentação

A segunda talk do Product Camp foi uma palestra do João Cunha, Product Manager, e Fernanda Monsó, Business Analyst, ambos atuando na Nubank. A dupla abordou boas práticas de experimentação para otimizar taxas de conversão (CRO, do inglês, Conversion Rate Optimization). Confira abaixo as principais dicas compartilhadas!

Boas práticas para experimentação

Dica 1: Rode um experimento por, pelo menos, 7 dias. Esse é o tempo que você precisa para analisar o desempenho das variantes. Outro ponto importante de atenção é que o comportamento dos usuários pode variar entre dias úteis e não úteis dependendo do negócio, então essa linha do tempo evidencia também as nuances de atividade.

Dica 2: Alinhe expectativas com os stakeholders ao comunicar com clareza o desempenho dos testes. 

Dica 3: Acompanhe diariamente os resultados. Veja, primeiramente, se a distribuição de tráfego está sendo por volta de 50% para cada variante, assim você evita margem de erro e pontos cegos durante o experimento.

Metodologia Simple Sequential Testing

Ao realizar um teste A/B, o Product Manager deve ter em mente a evolução do acompanhamento da taxa de conversão para as duas variantes e também quais são os alarmes que poderiam alertar uma devida pausa no teste, assim você terá agilidade para tomar decisões e mitigar impactos negativos.

A metodologia Simple Sequential Testing recomendada pelos palestrantes é uma forma de análise que permite parar o experimento antes de atingir o tamanho da amostra mínimo, ou também conhecido como sample size em inglês, caso uma variante com desempenho muito melhor seja identificada. 

Como essa metodologia funciona:

  • Escolha um sample size N (50% de N veem o controle, os outros 50% veem o teste;
  • Acompanhe o número de sucessos (conversões) do grupo de controle e chame de A;
  • Acompanhe o número de sucessos (conversões) do grupo de teste e chame de B.

Se B-A atingir 2/N, pare o teste e declare B como vencedor. Se B+A atingir N, pare o teste e declare que não há vencedor.

O principal benefício de utilizar a metodologia Simple Sequential Testing é identificar a variante que performa melhor antes mesmo de atingir o tamanho da amostra mínimo.

Dica 4: O esforço tende a ser mais importante que o impacto na priorização de experimentos. Isso ocorre porque, em experimentação, é muito mais fácil medir esforço que impacto. Essa estratégia tem um alto grau de imprevisibilidade. Neste caso, se você for testar um framework para priorização dos testes, contabilize o esforço com um peso maior.

Para facilitar, a construção de cadência é fundamental e ter experimentos de tamanhos parecidos é o recomendado. Quanto mais hipóteses você testar, maior será o conhecimento adquirido.

Dica 5: Procure engajar seu time no trabalho de CRO (Conversion Rate Optimization, ou otimização da taxa de conversão, em português), pois dá resultado para o negócio. Ao desenhar o roadmap, inclua a camada de experimentação como parte essencial do planejamento.

João e Fernanda, palestrantes dessa talk sobre testes A/B e experimentação, compartilharam uma planilha para brainstorm de otimização. O objetivo é envolver o time no planejamento dos testes, criação de hipóteses e métodos para engajá-lo no processo, dando contexto e visibilidade do desempenho e resultados.

Dica 6: A experimentação nem sempre remove a fricção das coisas. Por isso, o papel do gerente de produto envolve se atentar às métricas que vêm depois da aquisição, como o engajamento das pessoas, por exemplo.

Dica 7: Muitas vezes as calculadoras online são mais que suficientes para a análise de resultados:

Dica 8: Baseie seus experimentos em hipóteses. Faça os testes que você acredita, não precisa testar tudo só pelo fato de testar. Além disso, é muito fácil fugir do foco do experimento quando ele não tem uma hipótese definida.

Outro ponto interessante comentado pelos palestrantes foi: se é óbvio, não é experimento. 

Para documentar os testes e ter um histórico claro do processo, os palestrantes compartilharam uma sugestão de template de experimentação que os profissionais de produto possam utilizar.

Para fechar o bate-papo, a mensagem final que ficou é: os experimentos nunca falham. Ou você ganha, ou você aprende.

Impulsionando o crescimento do produto por meio do feedback do cliente

Driving product growth through customer feedback

A última palestra do primeiro dia do Product Camp 2020 foi com a Product Manager da Microsoft, Sunanda Saxena, que compartilhou direcionamentos e métodos para receber e interpretar feedbacks dos clientes como forma de impulsionar o crescimento do Produto.

Impulsionando o crescimento do produto por meio do feedback do cliente

Sunanda iniciou sua palestra com as seguintes frases:

“Your most unhappy customers are your greatest source of learning” Bill Gates

“If you do build a great experience, customers tell each other about that. Word of mouth is very powerful” Jeff Bezos

O feedback do cliente é o que impulsiona o crescimento do Produto. E quando se fala em crescimento do Produto, ou Product Growth, as métricas variam de negócio para negócio. A depender do Produto, pode ser mais usuários, mais cadastros, mais receita ou mais retenção, por exemplo.

Independente da sua métrica de crescimento, uma vez que você foque em solucionar dores e ter clientes satisfeitos, mais leais eles serão. Tudo o que você e seu time de Produto e Tecnologia precisam fazer é criar produtos que resolvem dores, não porque é legal ou porque a liderança pediu.

Feedback Loop

O processo de atuar com o ciclo de feedbacks se baseia em transformar outputs em inputs que otimizam seu produto. Confira os principais passos a seguir.

Pergunte

  • Identifique suas metas para feedback;
  • Identifique como você quer receber esses feedbacks;
  • Colete dado tanto qualitativo quanto quantitativo (tem dois tipos de dados. Você pode pegar feedbacks em 1:1s, que são mais qualitativos e abertos, ou você pode fazer perguntas mais fechadas focadas em “sim” ou “não”).

Organize

  • Categorize feedback quantitativo;
  • Reconheça padrões;
  • Planeje próximos passos;
  • Foque em solucionar dores, não simplesmente implementar o que o cliente pede;
  • Às vezes o cliente acha que quer algo, mas precisa de outra coisa.

Aja

  • A ação pode ser por meio de bug fixes, novos recursos/features ou melhoria dos recursos existentes;
  • Entenda o que realmente endereça o problema do cliente. Entenda o que precisa ser feito e como.

Monitore

  • A sua ação realmente melhorou a experiência do cliente e resolveu o problema?
  • Pergunte para seu cliente ou usuário: essa novidade te ajudou? Resolveu seu problema? Faça pesquisa, 1:1s, reuniões. Pegue o feedback.

Lembre-se: clientes felizes compartilham sua experiência com o mundo, seja através de boca a boca, compartilhamento de artigos ou depoimentos. Aproveite seus clientes felizes para fazer estudos de caso e atrair novos clientes. Afinal, voltamos à ideia inicial desse texto: o feedback do cliente é o que impulsiona o crescimento do seu Produto.

O primeiro dia do Product Camp trouxe muitas informações relevantes para os profissionais de Produto, deixando as expectativas altas para as palestras subsequentes. Confira neste artigo como foi o segundo dia!

Empoderamento dos times de produto

3 minutos de leitura

Empoderamento dos times de produto

O Product Camp começou com a palestra do Will Sertorio, Product Designer Manager da Revelo, compartilhando boas práticas para empoderar times de Produto. De acordo com o palestrante, é importante que os times tenham metas semanais de aprendizados.

Frequência de experimentos
Quando um dos participantes perguntou sobre a frequência ideal de experimentos, Will comentou que é interessante colocar como meta experimento por semana. Alguns fluxos do produto têm um número menor de usuários, então a sugestão é a adaptação dependendo do contexto e comportamento, podendo resultar em um experimento a cada duas semanas, por exemplo.

É essencial estimular que as equipes de Produto e Tecnologia saibam fazer as perguntas corretas para o tipo de aprendizado que esperam ter. O Product Designer trouxe uma dica de framework para compartilhar com todos os produteiros e produteiras do Product Camp.

Framework para definição do método
Esse framework facilita a estratégia, pois ao definir as perguntas, fica mais evidente para os times de Produto e Tecnologia qual é o melhor método. A partir disso, devem definir as evidências, hipóteses e duração do experimento para acompanhar a validação e o sucesso do aprendizado. 

Ciclos rápidos de aprendizado
Mesmo que seja um desafio, os ciclos de aprendizado precisam ser rápidos, pois quanto antes os resultados forem analisados, mais ágil é o encaminhamento da solução.

Will Sertorio compartilhou alguns resultados, como: envolvimento da equipe de Produto e Desenvolvimento no andamento das métricas, maior velocidade em testar e tracionar produtos e também a influência da cultura de Produto em outras áreas da empresa. 

“A bad system will beat a good person every time.”

Para finalizar, uma recomendação feita pelo Product Designer na primeira palestra do Product Camp foi sobre o estímulo e impacto do pensamento de produto na cultura da empresa. “Mude o sistema e o sistema moldará o comportamento das pessoas.” 

Testes A/B em um ano de experimentação

3 minutos de leitura

Testes A/B em um ano de experimentação

A segunda talk do Product Camp foi uma palestra do João Cunha, Product Manager, e Fernanda Monsó, Business Analyst, ambos atuando na Nubank. A dupla abordou boas práticas de experimentação para otimizar taxas de conversão (CRO, do inglês, Conversion Rate Optimization). Confira abaixo as principais dicas compartilhadas!

Boas práticas para experimentação

Dica 1: Rode um experimento por, pelo menos, 7 dias. Esse é o tempo que você precisa para analisar o desempenho das variantes. Outro ponto importante de atenção é que o comportamento dos usuários pode variar entre dias úteis e não úteis dependendo do negócio, então essa linha do tempo evidencia também as nuances de atividade.

Dica 2: Alinhe expectativas com os stakeholders ao comunicar com clareza o desempenho dos testes. 

Dica 3: Acompanhe diariamente os resultados. Veja, primeiramente, se a distribuição de tráfego está sendo por volta de 50% para cada variante, assim você evita margem de erro e pontos cegos durante o experimento.

Metodologia Simple Sequential Testing

Ao realizar um teste A/B, tenha em mente a evolução do acompanhamento da taxa de conversão para as duas variantes e também quais são os alarmes que poderiam alertar uma devida pausa no teste, assim você terá agilidade para tomar decisões e mitigar impactos negativos.

A metodologia Simple Sequential Testing recomendada pelos palestrantes é uma forma de análise que permite parar o experimento antes de atingir o tamanho da amostra mínimo, ou também conhecido como sample size em inglês, caso uma variante com desempenho muito melhor seja identificada. 

Como essa metodologia funciona:

  • Escolha um sample size N (50% de N veem o controle, os outros 50% veem o teste;
  • Acompanhe o número de sucessos (conversões) do grupo de controle e chame de A;
  • Acompanhe o número de sucessos (conversões) do grupo de teste e chame de B.

Se B-A atingir 2/N, pare o teste e declare B como vencedor. Se B+A atingir N, pare o teste e declare que não há vencedor.

O principal benefício de utilizar a metodologia Simple Sequential Testing é identificar a variante que performa melhor antes mesmo de atingir o tamanho da amostra mínimo.

Dica 4: O esforço tende a ser mais importante que o impacto na priorização de experimentos. Isso ocorre porque, em experimentação, é muito mais fácil medir esforço que impacto. Essa estratégia tem um alto grau de imprevisibilidade. Neste caso, se você for testar um framework para priorização dos testes, contabilize o esforço com um peso maior.

Para facilitar, a construção de cadência é fundamental e ter experimentos de tamanhos parecidos é o recomendado. Quanto mais hipóteses você testar, maior será o conhecimento adquirido.

Dica 5: Procure engajar seu time no trabalho de CRO (Conversion Rate Optimization, ou otimização da taxa de conversão, em português), pois dá resultado para o negócio. Ao desenhar o roadmap, inclua a camada de experimentação como parte essencial do planejamento.

João e Fernanda, palestrantes dessa talk sobre testes A/B e experimentação, compartilharam uma planilha para brainstorm de otimização. O objetivo é envolver o time no planejamento dos testes, criação de hipóteses e métodos para engajá-lo no processo, dando contexto e visibilidade do desempenho e resultados.

Dica 6: A experimentação nem sempre remove a fricção das coisas. Por isso, o papel do gerente de produto envolve se atentar às métricas que vêm depois da aquisição, como o engajamento das pessoas, por exemplo.

Dica 7: Muitas vezes as calculadoras online são mais que suficientes para a análise de resultados:

Dica 8: Baseie seus experimentos em hipóteses. Faça os testes que você acredita, não precisa testar tudo só pelo fato de testar. Além disso, é muito fácil fugir do foco do experimento quando ele não tem uma hipótese definida.

Outro ponto interessante comentado pelos palestrantes foi: se é óbvio, não é experimento. 

Para documentar os testes e ter um histórico claro do processo, os palestrantes compartilharam uma sugestão de template de experimentação que você pode usar.

Para fechar o bate-papo, a mensagem final que ficou é: experimentos nunca falham. Ou você ganha, ou você aprende.

Impulsionando o crescimento do produto por meio do feedback do cliente

2 minutos de leitura

Driving product growth through customer feedback

A última palestra do primeiro dia do Product Camp 2020 foi com a Product Manager da Microsoft, Sunanda Saxena, que compartilhou direcionamentos e métodos para receber e interpretar feedbacks dos clientes como forma de impulsionar o crescimento do Produto.

Impulsionando o crescimento do produto por meio do feedback do cliente

Sunanda iniciou sua palestra com as seguintes frases:

“Your most unhappy customers are your greatest source of learning” Bill Gates

“If you do build a great experience, customers tell each other about that. Word of mouth is very powerful” Jeff Bezos

O feedback do cliente é o que impulsiona o crescimento do Produto. E quando se fala em crescimento do Produto, ou Product Growth, as métricas variam de negócio para negócio. A depender do Produto, pode ser mais usuários, mais cadastros, mais receita ou mais retenção, por exemplo.

Independente da sua métrica de crescimento, uma vez que você foque em solucionar dores e ter clientes satisfeitos, mais leais eles serão. Tudo o que você e seu time de Produto e Tecnologia precisam fazer é criar produtos que resolvem dores, não porque é legal ou porque a liderança pediu.

Feedback Loop

O processo de atuar com o ciclo de feedbacks se baseia em transformar outputs em inputs que otimizam seu produto. Confira os principais passos a seguir.

Pergunte

  • Identifique suas metas para feedback;
  • Identifique como você quer receber esses feedbacks;
  • Colete dado tanto qualitativo quanto quantitativo (tem dois tipos de dados. Você pode pegar feedbacks em 1:1s, que são mais qualitativos e abertos, ou você pode fazer perguntas mais fechadas focadas em “sim” ou “não”).

Organize

  • Categorize feedback quantitativo;
  • Reconheça padrões;
  • Planeje próximos passos;
  • Foque em solucionar dores, não simplesmente implementar o que o cliente pede;
  • Às vezes o cliente acha que quer algo, mas precisa de outra coisa.

Aja

  • A ação pode ser por meio de bug fixes, novos recursos/features ou melhoria dos recursos existentes;
  • Entenda o que realmente endereça o problema do cliente. Entenda o que precisa ser feito e como.

Monitore

  • A sua ação realmente melhorou a experiência do cliente e resolveu o problema?
  • Pergunte para seu cliente ou usuário: essa novidade te ajudou? Resolveu seu problema? Faça pesquisa, 1:1s, reuniões. Pegue o feedback.

Lembre-se: clientes felizes compartilham sua experiência com o mundo, seja através de boca a boca, compartilhamento de artigos ou depoimentos. Aproveite seus clientes felizes para fazer estudos de caso e atrair novos clientes. Afinal, voltamos à ideia inicial desse texto: o feedback do cliente é o que impulsiona o crescimento do seu Produto.