Expérimentation et tests A/B pour les gestionnaires de croissance et de produits

1. Promo: Bienvenue dans le cours d'expérimentation et de test AB pour les gestionnaires de produits, où vous apprendrez les principes fondamentaux de l' expérimentation que chaque chef de projet devrait connaître. Je m'appelle Raul mill et j'ai 15 ans d'expérience dans l'expérimentation. J' ai occupé des rôles de leadership dans le rituel numérique log-log, 500 Px, la partition avec Autodesk et Bell Canada. J' ai un diplôme d'ingénieur du GIL et un MBA. J' ai mis en place trois programmes d'expérimentation dans le temps élevé, tout en économisant 30 % sur les coûts d'acquisition des clients. J' ai mené la croissance qui a abouti à la création de l'acte. Et j'ai aidé à lancer et à étendre la division e-commerce à l'échelle mondiale dans tout cela, sur le dos de l'expérimentation. Après avoir terminé ce cours, vous apprendrez pourquoi l'expérimentation est une compétence essentielle pour tous les responsables de produits qui veulent construire des produits performants. Vous apprendrez également à concevoir des expériences efficaces, à créer une stratégie d'expérimentation et à analyser les résultats. Je vais vous enseigner les cadres importants liés à la stratégie d'expérimentation, les concepts statistiques liés au vocabulaire de l'expérimentation. Je vais également vous apprendre ce qu'est une bonne conception d'expérience. Aussi comment accélérer les expériences et comment documenter et communiquer des expériences. L' étudiant idéal pour ce cours, C'est un PM en herbe ou en cours ou un entrepreneur qui cherche à tirer parti la puissance de l'expérimentation pour prendre des décisions fondées sur des données probantes et obtenir des résultats. Vous devriez avoir un peu de réconfort avec Matt pour tirer le meilleur parti de ce cours et avoir un véritable intérêt pour l'expérimentation. N' hésitez pas à consulter la description du cours et j'ai hâte de vous enseigner bientôt. 2. Intro: Bonjour, et bienvenue à un guide des responsables de produits sur l'expérimentation, stratégie de test AB et l'analyse des résultats. Dans ce cours, vous apprendrez pourquoi les responsables de produits doivent expérimenter, pourquoi ils doivent exécuter des expériences. Dix termes importants dans l'expérimentation. Comment mener une expérience efficace, comment développer et expérimenter feuille de route, comment construire une équipe qui soutient l'expérimentation, comment nourrir et expérimenter la culture, comment communiquer efficacement les apprentissages l'expérimentation à la documentation expérimentale, puis passera dans un sujet intermédiaire ou avancé d'analyse des résultats où nous aborderons les statistiques bayésiennes et séquentielles les plus fréquentes à un niveau très élevé. Et puis je vais partager quelques ressources intéressantes pour plus de lecture avant de plonger un peu sur moi-même. Je m'appelle Ronald Santiago. Je suis dans l'espace numérique depuis une vingtaine d'années. J' ai occupé des postes de chef de file dans le marketing, les produits et la croissance dans une variété d'entreprises, y compris dans les domaines des start-ups, des télécommunications, ingénierie, du commerce électronique et d'autres espaces. J' ai un diplôme d'ingénieur et un MBA. Je suis aussi l'éditeur de l'expérience Nation.com. Pour ceux qui sont intéressés à en apprendre davantage sur l'expérimentation, je vous souhaite la bienvenue à visiter. 3. Pourquoi les PMs doivent expérimenter: Alors pourquoi les responsables de produits doivent-ils expérimenter ? J' aime expliquer ça avec une histoire. Imaginez un jour que vous êtes ramassé et jeté dans une forêt sombre. Et quelqu'un vous a dit, hé, vous là-bas, où se trouve cette flèche rouge, c'est un bâtiment. Et ce bâtiment brûle dans ce bâtiment brûlant quand des enfants. Et ces enfants tiennent des chatons et votre travail est de les sauver. Donc votre premier instinct pourrait être de courir aussi vite que possible vers cette flèche, mais je vous garantis que vous partirez, vous tomberez dans les choses. Tu te blesseras au visage et tu seras probablement très fatigué à la fin. En fin de compte, vous pouvez réussir et sauver les enfants et les chatons, mais je vous assure que vous ne serez pas de la manière la plus efficace. Imaginez maintenant ce scénario où vous avez un peu de lumière. Tu peux voir où tu vas. Vous êtes capable d'éviter les obstacles et vous êtes capable d'éviter de se blesser, est un chemin beaucoup plus facile, vrai ? Il peut encore te faire du mal. Vous pouvez encore tomber, mais certainement ce sera un voyage plus facile avec moins de risques, moins de blessures, et probablement plus de succès. Il ne devrait pas être surprenant dans le scénario que la lumière est une métaphore pour l'expérimentation. expérimentation illumine la façon dont elle réduit l'incertitude et vous montre la meilleure voie à suivre. 4. Apprendre, gagner et éviter de recevoir des brûlures: La façon dont l'expérimentation fait cela est qu'elle permet aux responsables de produits de faire trois choses. Il leur permet d'apprendre, de gagner et d'éviter de se brûler. Je vais entrer dans chacune d'elles. La façon dont l'expérimentation aide les responsables de produits à apprendre est de les aider à réduire l'incertitude afin de les aider à comprendre leur problème. L' espace, l'expérimentation permet de découvrir la causalité entre deux variables et de tester les théories qu'elles peuvent avoir. Évidemment, les responsables de produits peuvent tirer parti de l'expérimentation pour les aider à gagner. Ce que je veux dire par là, c'est qu'ils peuvent utiliser l'expérimentation pour les aider à générer des revenus, optimiser les performances d'une fonctionnalité ou simplement mesurer l'impact du futur qu'ils déploient. Pour illustrer le potentiel de gain de l'expérimentation. Sur la droite se trouve un graphique de la performance des entreprises qui ont adopté l'expérimentation récemment. Ceux-ci incluent Facebook, Google, Etsy, Microsoft, par rapport à d'autres entreprises qui ne l'ont pas fait. Comme vous pouvez le voir, ceux qui expérimentent mieux, au moins sur le marché boursier. Bien sûr, c'est juste une corrélation et non une causalité, mais c'est encore une chose intéressante à voir. Maintenant, l'un des avantages les plus intéressants de l'expérimentation, au moins deux gestionnaires de produits, est que l'expérimentation aide les responsables de produits à éviter de se faire brûler les devis sans devis. disposer de données expérimentales les aide à éviter de faire des choix qui entraîneraient une perte de revenus ou de performance. Il leur donne des preuves quantitatives. Ils le peuvent, deux, lorsqu'ils sont contestés en ce qui concerne les raisons pour lesquelles ils ont pris une décision. Enfin, l'expérimentation peut aider les gestionnaires de l'Arctique à mettre à l'épreuve les intervenants en mettant à l'épreuve leurs idées et en leur prouvant parfois qu'ils avaient tort ou, dans certains cas, qu'ils avaient raison. Quoi qu'il en soit, les décisions doivent être fondées sur des données et non sur des opinions. 5. Quand devriez-vous exécuter des expérimentations ?: Donc, en tant que chef de produit, quand devriez-vous exécuter des expériences ? Donc, bien sûr, la réponse idéale est que vous devriez faire des expériences tout le temps. Mais malheureusement, la vraie vie est différente. Il y a certainement des entreprises qui ont l'état d'esprit et la capacité de tout tester, comme les corrections de bugs , les campagnes marketing, etc. Les entreprises aiment ces tests chaque fois qu'elles ont une question, chaque fois qu'elles lancent quelque chose , chaque fois qu'elles ont un conflit, parce que c'est la beauté des expériences. Ils peuvent régler des arguments qui pourraient démontrer ou réfuter l'opinion de quelqu'un. C' est pourquoi de nombreuses entreprises le font chaque fois qu'elles veulent publier quoi que ce soit. Mais bien sûr, c'est un monde idéal. La plupart d'entre nous, en fait, presque tout le monde a une sorte de limite, que ce soit en termes de ressources ou de temps. Nous devons donc être plus sélectifs quand nous faisons des expériences. C' est parce que les expériences peuvent être coûteuses. Les impliqués souvent parfois l'ingénierie, conception, le temps du produit, nos investissements majeurs. Donc, si jamais vous êtes dans une situation où vous cherchez à faire une expérience. Et bien que je vous suggère fortement de faire le meilleur effort pour mener une expérience, parfois vous devez considérer si c'est l'expérience la plus importante que vous pouvez exécuter en ce moment, cette expérience obtiendra-t-elle des leçons importantes ? Parfois, vous publiez un correctif de bogue et vous ne vous attendez à aucune modification des mesures. Donc, vous devrez peut-être reconsidérer l'exécution de l'expérience complètement. Mais en règle générale, vous devriez exécuter des expériences lorsque vous avez des incertitudes ou questions donnant la priorité à toutes les questions qui sont sur votre chemin pour progresser. Considérez cela. Donc, sur l'axe des y, nous avons de l'incertitude, et sur l'axe des x, nous avons le temps. La ligne rouge montre le chemin sans expérimentation. Donc essentiellement au fur et à mesure que le temps passe, vous êtes l'incertitude diminue progressivement et au lancement, il, il baisse drastiquement. Vous regardez la ligne bleue, le chemin avec l'expérimentation, voyez l'incertitude tomber plus tôt au lancement, vous avez très peu d'incertitudes. C' est parce qu'avec l'expérimentation précoce, vous êtes en mesure de mieux comprendre l'espace et de faire les ajustements nécessaires en réduisant le risque, ce qui est illustré par la différence entre la ligne rouge et la ligne bleue. Le risque est ce que vous ne savez pas sur le marché, vos utilisateurs, votre produit, comment il fonctionnera dans la nature. L' un des principaux avantages de l'expérimentation est donc de minimiser ce risque. 6. Comment l'expérience en matière de does à d'autres sources de données ?: L' une des questions les plus courantes que j'entends est la suivante quoi l'expérimentation diffère-t-elle des autres sources de données, telles que la recherche, l'analyse et les entrevues avec les utilisateurs ? Regardons chacun de ces séparément. La recherche aide les responsables de produits à identifier les problèmes. Eh bien, l'analytique dévoile les comportements passés et montre ce que les gens ont fait sur le site. Les sondages et les entrevues indiquent pourquoi les utilisateurs ont fait certaines choses. Mais seule l'expérimentation démontre la causalité. Elle démontre statistiquement qu'une variable en a un impact sur une autre. Sans expérimentation, tout ce que vous avez c'est une corrélation. Dans certains domaines de la science, il existe un concept de Hiérarchie des preuves qui tente de classer différentes sources d'information en fonction de sa qualité et de son risque de biais. Maintenant, alors que tous les types de recherche sont sensibles à des biais, selon la façon dont les données sont recueillies. En général, si avant les essais contrôlés randomisés correctement ou les expériences AKA, ont la plus haute qualité et ont le moins de risque de biais. Cela ne veut pas dire que nous devrions ignorer d'autres sources de données parce qu'elles sont très précieuses. Mais c'est plutôt pour illustrer le pouvoir de l' expérimentation de fournir des connaissances et des apprentissages avec moins de biais. 7. 10 termes d'expérimentation importants: Maintenant, nous allons couvrir dix termes importants et l'expérimentation. Bien que cette section puisse sembler sèche, elle vous donnera le vocabulaire pour parler de l'expérimentation. Qu' est-ce qu'une expérience ? Une expérience est une procédure scientifique qui vous aide à faire une découverte, tester l'hypothèse ou à démontrer un fait inconnu. Certains exemples utilisent une expérience pour voir si une nouvelle fonctionnalité augmentera les ventes, pour comprendre si les images de style de vie augmenteront commandes ou prouveront que les fenêtres contextuelles augmentent les taux de rebond. Un autre terme que vous entendrez est la variante du terme. Les variantes sont également appelées branches ou traitements. En un mot, ce sont les différentes versions de ce que vous voulez tester ou comparer. Dans le cas d'un test AB, il s'agit d'une expérience qui comporte deux variantes. Et le test ABC a trois variance, ainsi de suite et ainsi de suite. Les facteurs sont des variables mesurables. Vous pouvez changer votre contrôle. Chaque facteur peut avoir un impact sur le résultat d'une expérience. Quelques exemples de facteurs sont la taille d'un bouton, une nouvelle fonctionnalité, le jour de la semaine. C' est juste que certains facteurs sont plus faciles à contrôler que d'autres en termes de votre expérience. Et la variable indépendante est un type particulier de facteur que vous avez l'intention d'examiner qui, selon vous , aura un impact sur la valeur de la variable ou des intérêts KPI appelés la variable dépendante. d'apprentissage d'une expérience dépend la granularité de votre variable indépendante. Par exemple, si vous décidez que votre facteur est la couleur d'un bouton, vous apprendrez l'impact de la couleur d'un bouton par exemple, le taux de clics. Cependant, si votre variable indépendante est par exemple, une page d'accueil entière, un design, alors vous apprendrez l'impact de l'ensemble de la conception sur le taux de clics, pas nécessairement l'impact de n'importe quel élément du taux de clics en ligne des pages d'accueil. Nous avons récemment parlé de ce qu'est une expérience. Cependant, une expérience contrôlée est un test AB où vous maintenez tous les facteurs à travers la constante de variance, à l'exception de la variable indépendante. La variable pour laquelle la variable indépendante est définie comme ligne de base à comparer est appelée contrôle. Toute variante qui n'est pas le contrôle est souvent appelée challengers. Sans aucun doute, vous avez entendu le terme AB scission. Mais qu'est-ce que cela signifie exactement alors que a et b se réfèrent à la variance d'un test ? S' il existe trois variantes, on l'appelle souvent un test ABC. Il convient de noter que les personnes d'une variante ne connaissent pas avec les autres voient dans une autre variance. Et une remarque importante est que le trafic ne doit pas nécessairement être réparti uniformément entre la variance. Ce que cela signifie, c'est qu'une division AB ne doit pas nécessairement être 50-50 ou qu'elle pourrait être 60-40, 30-70, 9010. Un public entier ne sait pas non plus comment être inclus dans une expérience. Vous pouvez sélectionner, disons, 15% de votre audience et diviser dans ce 15%. À ne pas confondre avec un test multi-variants, qui teste plusieurs variantes. Je vais test multivarié est une expérience contrôlée qui essaie différentes combinaisons de variables indépendantes pour comprendre leur impact combiné sur une variable dépendante. La façon la plus simple de se rappeler cela est qu' un test multi-variants teste une seule variable indépendante, tandis qu'un test multivarié teste plusieurs variables indépendantes à la fois. Le terme promotion signifie simplement exposer une variante unique à vous tous, utilisateurs qualifiés, sans aucun défi. Notez que vous n'avez pas à promouvoir la variante la plus performante. situations où vous ne voudrez peut-être pas nécessairement promouvoir la variante la plus performante, pourraient inclure des engagements sont prêtes à l'égard des clients ou des cadres supérieurs. Il y a aussi des cas où une caractéristique particulière sur les blocs d'autres travaux. Cependant, dans un monde idéal, vos décisions sont basées sur des données et vous feriez la promotion de la variante la plus performante. Et enfin, pas concluant. Ce terme est le plus commun avec ce que nous appelons des expériences fréquentistes. Lorsqu' une expérience non concluante est lorsque vous avez recueilli suffisamment d'observations et que les données ne supportent ni leur contrôle ni la variante. Les expériences non concluantes ne sont pas nécessairement une mauvaise chose tant que vous apprenez. 8. Le cycle d'expérimentation: L' expérimentation est un processus cyclique, comme nous pouvons le voir sur ce diagramme. Tout commence par observer votre industrie, votre produit, mais les tendances, le marché, essayer de trouver des problèmes ou des opportunités. Ensuite, vous posez des questions, comment pouvez-vous résoudre votre problème ? Comment pouvez-vous profiter d'une opportunité ? De là ? Et vous créez des hypothèses qui peuvent vous aider à répondre à ces questions. Ensuite, vous donnez la priorité à ces hypothèses pour assurer que vous travaillez d'abord sur les expériences les plus percutantes. Ensuite, vous concevez et configurez votre expérience. Lorsque le test est fait, analysez les résultats, puis documentez vos résultats, les partageant avec d'autres personnes. Enfin, vous déployez votre fonctionnalité ou votre produit en fonction des informations que votre expérience vous aide à générer. À ce stade, vous êtes de retour à l'observation. L' observation de la façon dont vous travaillez a eu un impact sur l'environnement dans le but d'itérer dans votre travail. Ou passez simplement à la prochaine expérience sur votre liste de priorités. Maintenant, regardons chacun d'entre eux un peu plus en détail. 9. Observer: Commençons par observer. C' est là que vous voudrez regarder votre produit et essayer de comprendre ce qui peut être amélioré. La première chose que vous voudrez faire est d'effectuer une analyse situationnelle où vous commencez par un, comprendre vos objectifs, cartographier votre entonnoir de conversion, essentiellement, comprendre comment les utilisateurs circulent dans votre produit. Numéro trois, en mettant des métriques contre votre entonnoir. Cela signifie que les numéros de trafic et les taux de conversion se situent à tous les points importants. Donc, vous comprenez la performance. Et pour, après avoir regardé l'entonnoir entier, choisir les mesures que vous devez réparer ou alimenter. Une mesure qui doit être corrigée est une zone où les utilisateurs descendent ou ont un taux de conversion inférieur à celui souhaité, vous ne devez corriger que les zones où la communication est sous-optimale. L' UX a des frottements et d'autres problèmes fonctionnels peuvent être trouvés. Vous devriez éviter de réparer les zones où vous devez changer radicalement les désirs de votre utilisateur. Par exemple, dans le cas d'une épicerie, il est difficile de convaincre un végétalien de commencer à manger de la viande. Tout cela pour dire que toutes les métriques ne sont pas réparables. D' un autre côté, certaines mesures sont beaucoup plus faciles à alimenter. Ce que je veux dire par cela, c'est qu'il ya des zones sur le site fonctionnent vraiment bien, mais n'ont pas été maximiser. La théorie ici est qu'il est plus facile de verser de l'essence sur un feu que de commencer un IE, faire une bonne chose, devenir meilleur. 10. Question: À cette étape, vous devez penser à toutes les questions auxquelles vous devez répondre afin d'améliorer votre taux de conversion. Par exemple, si vous savez que vous devez augmenter les commandes et que vous constatez que vous déposez à la caisse. Votre question pourrait être : est-ce que je demande trop d'informations à la caisse ? Pensez à autant de questions que vous pouvez. Il est préférable de demander à toutes les parties prenantes de participer ici, où idéalement, elles recevraient les mêmes mesures d'entonnoir de conversion à l'avance, puis leur donner la possibilité de partager leurs meilleures idées avec vous. Une fois que vous êtes satisfait de votre liste de questions, il est temps de passer aux hypothèses d'artisanat. 11. Créer des hypothèses: Alors que toutes les étapes caillé ici sont importantes, l'étape la plus importante est de former une hypothèse. Une hypothèse décrit ce que vous testez pour qui et ce que vous pensez arriver et pourquoi. C' est un outil puissant qui aide à clarifier votre pensée et à communiquer aux autres ce que vous essayez d'apprendre. Bien qu'il existe de nombreux formats, je préfère ce qui suit pour le public d'intérêt. Si nous faisons l'expérience de variante par rapport à l'expérience de contrôle, nous nous attendons à ce que quelque chose arrive à l'indicateur de performance clé principal pour une raison quelconque. La pièce de raison est très importante car elle est liée à votre question originale. Si vous trouvez que votre hypothèse ne correspond pas à ce que vous essayez d'apprendre, vous devriez repenser votre test. Un exemple de bonne hypothèse pourrait être pour les nouveaux utilisateurs. Si nous demandons leur emplacement lors de l'intégration, plutôt que de ne pas le demander, nous nous attendons à ce que la rétention de 30 jours augmente car nous serons en mesure de leur fournir un contenu plus personnalisé. Et important à noter lors de la sélection de votre audience est d' essayer d'éviter les biais autant que vous le pouvez. Les biais peuvent fausser vos données d'une manière ou d'une autre, ce qui vous oblige à prendre une mauvaise décision. Imaginez essayer de concevoir un nouveau produit alimentaire et que vous ne sélectionnez que des sujets de test intolérants au lactose, vos résultats de test vous feraient éviter la catégorie laitière complètement. Bien qu'il s'agisse d'un exemple très évident, la même chose pourrait se produire pour des facteurs que vous pourriez déduire c pour minimiser les biais, vous devez randomiser vos sujets de test. Heureusement, la plupart, sinon toutes, les plateformes d'expérimentation en ligne peuvent le faire pour vous. Cependant, faire cela hors ligne est plus difficile. Si vous devez sélectionner vous-même les sujets de test, vous devez savoir que toutes les méthodes de sélection ne sont pas faites de la même manière. Certains ont des biais inhérents que vous devriez éviter. Voici quelques exemples. L' échantillonnage de boule de neige est lorsque vous autorisez les sujets de test que vous recrutez à recruter d'autres sujets de test. Puisque les gens aiment traîner avec d'autres avec des valeurs similaires, cela pourrait introduire une attitude non désirée et des biais o. L' échantillonnage pratique est lorsque vous sélectionnez des sujets parce qu'ils sont faciles à recruter. Par exemple, lorsque vous demandez vos amis ou à vos proches de faire partie de votre expérience, il est préférable de demander à tous les tiers, par exemple, à une personne que vous voyez s'ils aimeraient faire partie de votre expérience. L' échantillonnage ciblé est lorsque vous sélectionnez manuellement des sujets de test qui, selon vous, représentent votre population cible. Enfin, le biais survivant se produit lorsque vous examinez uniquement sujets de tests qui ont effectué une action précédemment que vous n'avez peut-être pas prise en compte. L' exemple classique de ceci est quand pendant une guerre, ingénieurs ont été chargés d'améliorer l'armure sur les avions. Ils ont regardé tous les avions qui sont revenus de la bataille et où ils ont subi des dégâts. Cependant, le fait que les avions sont revenus signifiait que les dégâts qu'ils ont subis étaient en fait susceptibles de survivre. Et que les ingénieurs auraient dû se concentrer sur les zones de l'avion qui n'ont pas été endommagées. Parce que de toute évidence, ceux qui ont subi des dommages dans ces zones ne sont pas revenus. Il peut être difficile de décider ce qu'il faut inclure et ce qu'il ne faut pas inclure dans un test. Comment conciliez-vous entre l'apprentissage et l'aspect pratique ? C' est mon conseil. Choisissez la granularité qui correspond au niveau d'apprentissage que vous recherchez. Si vous cherchez à comprendre l'effet de la couleur, testez la couleur. Si vous cherchez à comprendre l'effet d'une fonctionnalité, d'un test, de l'effet de cette fonctionnalité, simple ou complexe, vos tests devraient être en mesure de résumer vos modifications en une seule phrase. Par exemple, vous cherchez à comprendre l'effet d'une nouvelle conception de formulaire sur les inscriptions. Ou vous cherchez à comprendre l'effet d'une conception différente des boutons CTA sur les inscriptions. Si vous n'êtes pas en mesure de résumer vos changements simplement, vous compromettez l'apprentissage. Cependant, disons que vous n'êtes même pas en mesure de décider ce que les tests ensemble en premier lieu, mais seul résumer quoi que ce soit. Mon conseil ici est de chercher de la chaleur. Il y a des moments où vous n'avez aucune idée par où commencer et où vous avez juste à l'esprit l'indicateur de performance clé que vous voulez améliorer. Disons que vous essayez de comprendre quels sont les meilleurs ingrédients pour un gâteau pour le rendre meilleur goût. Le problème ici est que vous ne savez pas quelles variables jouent bien les unes avec les autres et qui se battent les unes avec les autres. Et vous n'avez pas toute l'année pour exécuter un nombre infini d'expériences testant chaque variable séparément. Pour des situations comme celle-ci, vous pouvez essayer ce qu'on appelle la conception factorielle fractionnée. C' est un nom de fantaisie. Mais ce que cela signifie essentiellement est d'essayer différentes combinaisons de variables à différentes valeurs ou niveaux hors de la porte et de chercher quelles combinaisons corrélent avec l'amélioration de votre indicateur de performance clé d'intérêt. À cette étape, vous cherchez seulement espoir plutôt que d'essayer de prouver quoi que ce soit statistiquement. C' est une bonne pratique d'avoir des contrôles ici et là. est à dire définir des combinaisons où vous ne changez pas de variables. De cette façon, vous pouvez voir s'il y a une dérive et les mesures. Par exemple, revenons à faire un gâteau. Dites que votre four est bizarre et qu'il cuit plus chaud et plus chaud tout au long de la journée. Exécution d'une course de contrôle ici et là pourrait attraper si votre température dérive. Une fois que vous trouvez les combinaisons qui fonctionnent bien ensemble, faites ces combinaisons que vous êtes des variantes. Idéalement, vous pouvez regarder ces combinaisons et les résumer simplement. Si vous n'êtes pas en mesure de tirer parti de la conception factorielle fractionnée. Vous pouvez également examiner les données historiques, examinant l'impact de différents facteurs sur votre indicateur de performance clé au moyen d'une analyse de régression. Quoi qu'il en soit, trouver parfois des combinaisons avec promesse est un excellent moyen de comprendre ce que le test. 12. Prioritize vous les hypothèses: Il existe plusieurs façons de hiérarchiser les hypothèses. Certains des plus populaires comme le score sur glace, donnent du poids à différentes dimensions comme le niveau d'effort et de confiance, et génèrent un seul score pour comparer les expériences. Quelle que soit la méthode que vous utilisez, l'objectif final est de prioriser les hypothèses qui auront le plus d'impact sur votre entreprise. Sur les diapositives suivantes, je vais expliquer pourquoi la priorisation des hypothèses est si importante et comment je suggère aux expérimentateurs de prioriser leurs hypothèses parce que le temps est limité, vous voulez vous donner une équipe produit que la plus grande chance pour le succès. Et vous pouvez le faire en préchargeant vos expériences qui ont réduit le plus d'incertitude. Il les dirige plus tard dans le processus, vous risquez de ne pas donner assez de temps à votre équipe. Mettez-le d'une autre façon. Vous pouvez tracer vos hypothèses le long de deux axes. Impact élevé par rapport au risque, où l'impact élevé est important pour votre entreprise et où le risque correspond à combien cela vous coûterait si les choses tournaient mal. Comme vous pouvez le voir, les risques peu coûteux à impact élevé devraient d'abord être priorisés, sont des hypothèses critiques qui sont importantes pour votre entreprise à explorer et représentent une perte importante si les choses ne vont pas correctement, vous savez souvent le moins à propos de ce domaine. Ensuite, il y aurait un impact élevé et un risque bon marché. Ceci est généralement pour les hypothèses qui se concentrent autour de maximiser votre investissement, IE, maximiser les performances plutôt que d'éviter d'obtenir quelque chose de vraiment mal, vous savez souvent un peu sur ce domaine. Ensuite, l'impact est faible et le risque bon marché. Ce sont généralement des hypothèses que vous avez lorsque vous débutez dans l'expérimentation, où il est dans votre intérêt de mener des expériences sûres juste pour vous habituer au processus. Enfin, nous avons des risques coûteux avec un impact très faible sur votre entreprise. Ce sont des hypothèses qui devraient être repensées et reclassées par ordre de priorité. 13. Expérimentation: Maintenant que vous avez sélectionné votre hypothèse, il est temps d'expérimenter. Vous commencez par concevoir vos expériences de variante. Voici quelques choses à considérer. Premièrement, faites de votre mieux pour seulement créer des expériences que vous seriez d'accord pour promouvoir. Sinon. Quel est le but ? Numéro deux, l'objectif est d'apprendre à bon marché et rapidement. Donc, lors de la conception de vos expériences, pensez toujours MVP. Pensez à quel point pouvez-vous faire votre expérience et répondre à toutes vos questions ? Trois, faites de votre mieux pour représenter les conditions réelles de la vie. En d'autres termes, essayez de rendre les choses aussi proches que possible de la réalité. Par exemple, si vous souhaitez modifier un logo, vous ne le modifiez pas simplement à un seul emplacement. façon réaliste, vous le changez partout. Maintenant, c'est un exemple un peu extrême, mais vous aurez probablement mon 0.4. Enfin, la variation doit être traçable, ce qui signifie que vous devriez être capable de comprendre dans les données, quelles expériences les utilisateurs ont vu et quelles actions ils ont prises. Si vous n'êtes pas en mesure de diviser les analyses ou les données, il sera impossible d'analyser vos résultats ultérieurement. Vous pouvez trouver l'inspiration de toutes sortes de sources telles que les expériences passées, interviews d'utilisateurs, les études de marché et les concurrents. Une note rapide, alors que vous êtes des concurrents sont une excellente source d'idées pour les expériences, ne supposez jamais que juste parce qu'ils font quelque chose que cela signifie que cela fonctionne pour eux. Pour tous, vous savez, ils exécutent eux-mêmes des expériences. Un autre conseil est quand vous générez des idées obtenir des commentaires de toutes vos parties prenantes. Cela aidera à l'adhésion à des expériences litigieuses à l'avenir. Aussi, évitez le remue-méninges. Encouragez les contributeurs à examiner les données et à proposer leurs meilleures idées. Rien ne tue un processus créatif que d'avoir une voix très dominante dans une séance de remue-méninges. Voici quelques-uns des types de test les plus courants. Les tests de redirection sont ceux qui divisent le trafic entre deux pages distinctes. L' utilisateur ne remarquera généralement pas qu'ils ont été redirigés. Ce sont l'un des types de tests les plus simples. Les plateformes d'expérimentation prennent généralement en charge ces solutions natives. tests d'indicateur d'entités masquent ou affichent des fonctionnalités basées sur un jeu de variables, côté client ou côté serveur. Ceux-ci nécessitent généralement la prise en charge des développeurs. Les tests Visual Editor sont ceux qui sont créés à l'aide d'une forme quelconque d'éditeur wysiwyg. Ces tests fonctionnent en interceptant le chargement d'une page, en manipulant le DOM, puis en affichant le contenu de la page. Cela peut ralentir la page et causer des problèmes d'instabilité en cas de changements complexes. Les tests multivariés, comme nous l'avons déjà mentionné, testent différentes combinaisons de facteurs en les combinant aléatoirement. Ceux-ci nécessitent généralement beaucoup de configuration, un front et beaucoup de temps pour fonctionner. Vous êtes généralement mieux servi avec des tests AB plus simples, qui sont plus ciblés. Enfin, les expériences de déploiement sont celles qui retiennent un pourcentage d'utilisateurs d'une expérience. Vous pouvez donc mesurer l'impact d'une entité par rapport à une ligne de base. Parfois, les résultats d'expérience peuvent conduire à une pause de déploiement, mais ils sont un excellent moyen de vous assurer que vous exécutez un travail impactant. Ensuite, définissez vos critères d'évaluation globaux sont OBC, c'est là que vous définissez les mesures que vous utiliserez pour évaluer une expérience. Ces mesures représentent généralement les besoins de chacun de vos principaux intervenants et un indicateur majeur de la santé des entreprises. Voyons comment définir idéalement votre CVMO. Un, choisissez votre indicateur de performance clé principal. C' est la mesure que votre expérience tente d'avoir aussi un impact. Définissez vos mesures de prospect pour la santé de l'entreprise. Il s'agit généralement de mesures qui vous aident à comprendre si votre expérience était bonne ou mauvaise pour l'entreprise. Vous souhaitez généralement utiliser une mesure prédictive plutôt qu'une mesure retardée comme les ventes. Troisièmement, les mesures de diagnostic vous aident à déterminer pourquoi un résultat de test s'est produit comme il l'a fait pour le meilleur, pour le pire. Et enfin, quatre, les mesures réelles de garde sont celles que vous ne devez pas avoir d'impact négatif. Si ces mesures franchissent certains seuils, l'expérience doit être interrompue immédiatement. Un exemple de ceci dans le commerce électronique est par exemple, si les ventes devaient baisser en dessous de 10 %, alors vous voudriez mettre fin au test tout de suite. Idéalement, ces mesures devraient être convenues par tous les intervenants ainsi que les prochaines étapes basées sur différents scénarios. Maintenant, il est temps de définir vos paramètres de test. Ce sont les seuils et les critères de décision pour votre test. Ceux qui détermineront si votre expérience a généré l'e-learning ou non. Les définitions de ces paramètres dépendent de l'approche statistique que vous adoptez. Par exemple, vous pouvez prendre fréquentiste ou bayésien ou séquentiel, et cetera. Dans une section ultérieure, nous nous concentrerons principalement sur l'approche la plus fréquente en ce qui concerne les métriques binaires. Les mesures binaires sont celles qui peuvent être vraies ou fausses. Ensuite, vous devez développer un instrument, votre expérience. C' est là que votre expérience prend vie lorsque vous construisez vos expériences de tests, assurez-vous que vous Qe la branche aussi, et que les analyses sont collectées correctement. n'y a rien de pire que d'attendre deux semaines juste pour découvrir que vos données sont incomplètes ou sales. Maintenant que vous avez fait tout ça, il est temps de lancer. Rappelez-vous, avant de lancer, donnez à toutes vos parties prenantes une tête haute. 14. Analyser, documenter et partager, et déploiement: Maintenant que votre expérience est terminée, il est temps d'analyser vos résultats, alors vous devriez documenter votre expérience et partager vos enseignements. Après cela, vous déployez votre variante gagnante. Si c'est logique, n'oubliez pas que vous n'avez pas toujours à déployer une expérience. Couvrira plus en détail l'analyse et la documentation dans les sections suivantes. 15. La feuille de route d'expérimentation: Dans cette section, nous expliquerons comment développer une feuille de route d'expérimentation. Tout comme une feuille de route produit typique, il est utile d'élaborer une feuille de route d'expérimentation. En bref. Et la feuille de route de l'expérimentation est celle qui détaille les expériences qui seront menées dans les prochains mois, généralement plus d'un quart. Il y a des avantages évidents à faire cela. Tout d'abord, vous êtes en mesure de maximiser et de coordonner ressources parce que les choses sont planifiées ou au moins planifiées à l'avance, vous êtes en mesure de libérer les bonnes ressources au bon moment, réduisant ainsi la double réservation ou les temps d'arrêt. Deuxièmement, ils aident à éviter les collisions d'essai. Sachant ce que vous allez courir. Cela peut vous aider à éviter d'exécuter un test qui va entrer en collision avec une autre expérience PM qui pourrait affecter vos résultats. Troisièmement, ils assurent également la couverture. Un piège commun dans lequel les expérimentateurs tombent est de mettre trop l'accent sur un domaine. Une feuille de route vous aide à vous assurer que tous les domaines importants reçoivent l'attention. Quatrièmement, l'avantage potentiellement le plus important est la visibilité de l'entreprise. Tout le monde dans une entreprise veut savoir quel produit va construire ensuite. Avoir une feuille de route d'expérimentation contribue à la transparence et répondre aux questions des parties prenantes. Une note importante lorsque vous planifiez votre feuille de route, cependant, est de laisser un peu de marge pour les itérations et les déploiements. Comme nous ne pouvons pas prédire l'avenir, vous ne savez jamais si vous voulez ou avez besoin d'exécuter des itérations sur des tests ou un rôle chez les gagnants. Ne pas avoir de mou dans votre feuille de route implique généralement que vous ne vous souciez pas des résultats. Alors n'oubliez pas d'en rendre compte. 16. La feuille de route de l'expérimentation - Suite à la suite: Voici dix étapes sur la façon de construire une feuille de route d'expérimentation. Premièrement, surtout si vous êtes nouveau à l'expérimentation, commencez par des expériences à faible effort et à faible impact. En faisant cela, vous serez en mesure d'apprendre les cordes et franchement, faire des erreurs dans un environnement plus sûr. Obtenir quelques petits tests et, espérons-le quelques premières victoires renforceront votre confiance et affineront votre flux de travail. Si tu as le luxe du temps, je sais, je sais. Mais au cas où vous le feriez, considérons de commencer à expérimenter plus haut dans l'entonnoir. La raison étant ici est que les expériences frontales généralement plus basses prennent plus de temps. Ainsi, en améliorant la conversion aux étapes supérieures d'un entonnoir, théorie augmentera le trafic vers le bas de l'entonnoir à son tour, qui aidera ces tests à fonctionner plus rapidement. Trois expériences de frontload qui abordent des questions présentant le risque le plus élevé. Tout d'abord, ceux qui profiteront d'avoir plus de temps à traiter. Les questions importantes difficiles prennent du temps pour comprendre, rendre les expériences aussi bon marché que possible en pensant toujours MVP. Dans certains cas, vous pourriez être en mesure de répondre à la même question par un test plus petit ailleurs. Cinq, raccourcir les temps d'expérience lorsque c'est possible. Cela vous aidera à apprendre plus rapidement. Et apprendre plus rapidement conduit à la réussite plus rapidement. C' est plus facile à dire et un peu plus difficile à faire. Plongons dans ça un instant. Voici trois façons courantes de raccourcir le temps d'expérience dans l'ordre de ma préférence. Tout d'abord, abaissez vos normes. J' ai toujours des regards quand je dis ça, mais c'est vrai. Eh bien, nous allons entrer dans le leader des statistiques dans ce cours. Abaisser vos normes statistiques comme puissance statistique requise et le niveau de confiance sont moyens très valables de raccourcir vos tests seulement tant que vous êtes vraiment d'accord avec la baisse de vos normes. Par exemple, un changement n'est parfois pas très critique pour l'entreprise. Donc vous seriez d'accord avec dire, 90 % de confiance plutôt que 95 %. Deuxièmement, tester les changements extrêmes. Des changements plus importants ont produit des résultats plus importants qui sont plus faciles à détecter. L' exemple que j'aime partager pour illustrer cela est de détecter s'il y a une voiture dans votre allée. Combien d'observations auriez-vous besoin ? Un, si tu es méchant, peut-être deux. Mais si vous vouliez détecter s'il y avait une fourmi sur votre allée, vous auriez besoin de beaucoup plus d'observations qui prendraient plus de temps. Enfin, les micro conversions. Parfois, la zone que vous testez ne reçoit tout simplement pas beaucoup de trafic se déplaçant dans l'entonnoir le long du chemin de conversion, bien sûr, à la prochaine occasion d'expérimenter est parfois un bon endroit pour commencer. L' obtiennent généralement plus de trafic et des taux de conversion plus élevés, ce qui se traduit généralement par des tests plus rapides. Maintenant, vous pensez que l'amélioration des taux de conversion plus haut dans l'entonnoir peut ne pas entraîner des gains proportionnels plus bas dans l'entonnoir, mais vous faites ce que vous devez faire pour commencer. Ce graphique illustre cette notion, espérons-le. Sur l'axe des y est votre taux de conversion de base, ou en d'autres termes, le taux de conversion de base que vous essayez d'améliorer. Les valeurs ne sont pas importantes ici, mais la direction de grandeur que nous montons signifie que le taux de conversion est plus élevé. Sur l'axe X est la taille de la modification. Des changements plus extrêmes sont sur la droite. Comme vous pouvez le voir, les tests les plus courts sont pour les taux de conversion importants et les changements importants, tandis que les tests les plus longs sont pour les petits taux de conversion et les petits changements. Si je devais choisir, je suggère toujours d'abord d'opter pour de grands changements avant de trouver des taux de conversion plus élevés. Comme la taille du changement a un impact plus important que le taux de conversion actuel. Revenons maintenant à la feuille de route de l'expérimentation. Six. Cela ne devrait pas être surprenant pour les responsables de produits, mais il est important d'avoir un arriéré d'expériences qui soutiennent la prise de décisions. L' astuce est de les chronométrer afin qu'ils répondent aux bonnes questions au bon moment. Sept, ne pense pas toujours itérativement. Vous devez avoir un mélange de coups de lune et de tests itératifs, tester de mauvaises idées, parfois, au moins de mauvaises idées que vous seriez bien promouvoir, mangé, miner vos expériences afin que vous puissiez courir l'une après l'autre. Neuf, les interactions des moniteurs seront abordées plus tard dans le cours. Mais l'idée ici est de surveiller comment les expériences interagissent les unes avec les autres. Parfois ou plutôt souvent parfois. Vous exécuterez des expériences en parallèle. Il y a tout un débat sur la question de savoir si c'est correct ou non. Encore une fois, plus sur ce plus tard. Et enfin dix itérer. Ne les testez pas toujours. Passez au test suivant. Parfois, vous devez creuser plus, ce qui souligne la nécessité d'ajouter du mou dans votre feuille de route pour tenir compte des itérations. 17. L'équipe de produits dirigés par l'expérimentation: C' est une chose de savoir quoi tester et comment structurer un test. C' est une autre chose de les exécuter pour faire de l'expérimentation, non ? Il faut un village et vous avez besoin de la bonne équipe. Mais quelle est la bonne équipe ? Donc, l'équipe que vous avez et que nous aurons besoin de soutenir l'expérimentation dépend du type de produit construisons ou sur lequel nous travaillons, car cela influe sur la complexité de la mise en place d'une expérience. Cependant, en général, vous aurez besoin des ensembles de compétences suivants dans votre équipe. Tout d'abord, vous aurez besoin d'un scientifique des données ou d'un analyste, n'importe qui avec une timonerie autour des statistiques. C' est essentiel. Vous aurez besoin d'une personne capable d'interpréter les données et de s'assurer qu'elles sont collectées et analysées de la bonne manière afin que vos conclusions soient valides. n'y a rien de plus dangereux que de s'appuyer sur des idées invalides. Selon votre produit, vous aurez probablement besoin d'un chercheur utilisateur. L' expérience devrait s'aligner sur la résolution des problèmes des utilisateurs. La recherche des utilisateurs est un excellent moyen de découvrir ces problèmes et est aussi une riche source d'idées pour l'expérimentation. Un concepteur UX, isoler pour votre variable indépendante peut être difficile à faire d'une manière qui a du sens dans un parcours client. Un concepteur UX vous aidera à créer quelque chose qui aura du sens tout en collectant vos données. Ingénierie. C'est évident. Quelqu' un doit tout construire. Analyses. Vous aurez besoin d'une ressource pour réellement collecter un instrument les données correctement. Qe dernier mais certainement pas des moindres, je ne peux pas insister assez sur cela. Vous avez besoin d'une ressource d'assurance qualité parce que les tests sont généralement, disons, de qualité MVP, vous avez absolument besoin d'assurance qualité pour exécuter des tests de régression, vérifier que rien n'est cassé et que les expériences sont réellement livrées comme prévu. Apportez ces ressources dès le début de la planification. Donc, vous ne manquez pas les délais. 18. Nurturing une culture d'expérimentation: Maintenant que nous avons couvert l'équipe, nous devons aborder la culture. Sans le bon état d'esprit, vous ne serez pas en mesure d'extraire toute la valeur de l'expérimentation. Et cela se sentira comme un log plutôt qu' une source passionnante de preuves pour prendre des décisions. Voici dix conseils sur la façon de nourrir et d'expérimenter la culture. Premièrement, tout de suite, vous avez besoin de volume C suite et de soutien public. Rien n'encourage les gens à expérimenter que d'avoir un leadership derrière elle. De plus, il faudrait encourager la suite C à exiger des données expérimentales au moment de prendre des décisions. Bien sûr, cela peut être vraiment difficile à faire. Donc, vous devrez peut-être adopter une approche ascendante où vous pouvez convaincre le bas de la chaîne de soutenir et de le vendre vers le haut. Mais si vous voulez que l'expérimentation ait des jambes, vous ou quelqu'un devrez consacrer le temps de vendre du leadership. Écouter vos intervenants et comprendre leurs besoins et encadrer l'expérimentation de manière à répondre à ces besoins. À moins que quelque chose n'aide les gens à atteindre leurs objectifs, il serait probablement abandonné. Troisièmement, partager des exemples et des pratiques exemplaires. C' est simple, mais ce n'est pas fait autant que vous le pensez. Les gens apprennent des exemples. Démontrer à des expérimentateurs potentiels comment exécuter des expériences appropriées ira de l'avant. De plus, montrer des réussites et des apprentissages peut inspirer les autres à expérimenter également. Pour les objectifs de volume définis, IE, le nombre d'expériences lancées sur une période de temps pour faire rouler la balle en passant rapidement à des objectifs de résultat commercial. Une fois que les choses vont. Cinq, engagez les bonnes personnes. Cherchez toujours des talents qui croient en la valeur de l'expérimentation. Non seulement ils appuieront l'expérimentation, mais plus important encore, croiront probablement à la prise de décisions fondées sur des données et des preuves, ce que nous devrions tous nous efforcer de faire. Six, créer des workflows qui peuvent non seulement mettre à l'échelle I0 peut être automatisé d'une manière ou d'une autre, mais s'intègre également dans les workflows existants , au moins dans les premiers jours, vous devez réduire ces obstacles. Sept, évitez de parler de gagner. C' est la mauvaise approche parce que le but de l'expérimentation est d'apprendre. Donc, idéalement, chaque expérience génère un apprentissage. Alors célébrez et partagez quand vous apprenez quelque chose. Huit, en tant que tel sur précédemment automatiser les tâches autant que possible. À mesure que votre vitesse d'expérimentation augmente, vous serez heureux que vous ayez fait ça. Neuf, aidez les équipes à définir le succès, à se fonder sur des hypothèses et des critères de décision appropriés. Dès le début, toute personne exécute des tests sans objectifs réels, ce qui peut conduire à la frustration. Dix, enfin, communiquer l'apprentissage sauvagement. Lorsque l'expérimentation est considérée comme une source d' information importante, l'adhésion s'ensuit rapidement. 19. Communication: Cela nous amène à la communication. Que devriez-vous partager avec votre équipe ou votre organisation ? Bien que cela dépend vraiment de l'organisation, je vous conseille de partager ce qui suit, partager le problème que vous essayez de résoudre et votre hypothèse pour donner le contexte aux autres. Partagez vos résultats de manière factuelle et impartiale. Évitez l'interprétation, au moins à ce stade, le niveau des statues parts dépend de la littératie statistique de votre public. Une fois que vous avez fait cela, partagez votre interprétation de vos résultats et ce que cela pourrait signifier pour l'entreprise ou le produit. Ensuite, mettez l'accent sur l'apprentissage sur les valeurs exactes. Les valeurs peuvent varier légèrement si vous réexécutez une expérience. Enfin, partagez vos coordonnées et liens vers votre documentation afin que les autres puissent en savoir plus. Comment devriez-vous communiquer ces informations ? Un ancien PDG a dit que pour faire passer votre point de vue, vous devez vous répéter au moins neuf fois. Donc, en bref, partagez vos apprentissages de toutes les manières possibles. Au début, vous apprendrez rapidement quels canaux sont les plus efficaces. Voici mes suggestions. Partagez-les par e-mail, bulletins d'information, déjeuner et apprentissage, infographies, revues d'affaires, mou, rétrogradations de produits, tableaux de bord. Et si vous vous sentez aventureux, essayez la vidéo. 20. Documentation: Cela nous amène au sujet préféré de tout le monde, la documentation. Personne n'aime la documentation, je ne pense pas, mais j'ai eu tort avant. Mais pour ceux qui ne croient pas en la documentation, je voulais partager les avantages d'une documentation solide pour l'expérimentation. raison la plus évidente est d'éviter de relancer des expériences. Et nous avons beaucoup d'expérimentateurs ou de mauvaise communication. Il n'est pas rare que les tests soient relancés après quelques mois ou années par accident. Évidemment, un autre avantage est que d'autres peuvent apprendre de votre travail. La documentation peut faciliter la communication. Un avantage moins évident est qu'il permet une méta-analyse où vous pouvez regarder un groupe d'expériences et rassembler des informations plus larges. La documentation est utile pour prendre des décisions. documentation aide à améliorer la qualité des expériences, car vous pouvez tirer des leçons des autres défis. D' un point de vue politique. La documentation démontre la valeur de votre travail. Parfois, vous ne pouvez pas obtenir un résultat, mais avoir de la documentation sur votre expérimentation montre que vous avez appris, ce qui en soi est un progrès. Enfin, la documentation organise vos pensées. Si vous documentez au fur et à mesure que vous développez une expérience, comme vous l'avez montré, cela vous aide à affiner votre pensée et à combler les lacunes. Alors, enfin, que devriez-vous documenter ? C' est un peu une liste de linge, mais je suggère de documenter le titre suivant. Donnez-lui un nom que vous trouverez plus tard. Propriétaire qui contacter au sujet de l'expérience. Dates de vol. Quand l'expérience a-t-elle été vivante ? Parfois, votre expérience a eu un impact sur quelque chose en dehors de votre monde que vous pourriez avoir besoin de retrouver. Zone testée. Où avez-vous testé ? Qu'est-ce que tu as testé ? Ceci est utile lorsque vous réunissez des apprentissages plus importants. Problème d'affaires. Quelle était la question à laquelle vous tentez de répondre ? Votre hypothèse, vos critères d'évaluation globaux, vos critères de décision, la description de la variance, les informations sur la configuration et les éventuelles signatures si nécessaire. Résultats des tests, y compris des statistiques ici pour que d'autres évaluent. Apprentissages et idées. Qu' est-ce que les données signifient pour vous et l'entreprise ? Et enfin, les prochaines étapes, ce que vous avez fait ou allez faire à cause de ces résultats. 21. Introduction au pouvoir et les niveaux de confiance souhaits: Il s'agit d'une introduction sur la façon d'analyser les résultats. Il s'agit d'un sujet intermédiaire à avancé, en fonction de votre confort avec les mathématiques et de votre familiarité avec les concepts statistiques. Bien que vous n'ayez pas besoin de devenir un expert en statistiques, cela vous aide à avoir une idée des termes afin que vous puissiez poser les bonnes questions lorsque vous regardez les résultats. Il existe plusieurs écoles de pensée en matière de statistiques. Commençons par ce qu'on appelle les statistiques fréquentistes. C' est généralement le genre de statistiques que vous avez apprises à l'école. Mais avant de commencer quelques disclaimers, je ne suis pas professeur de statistique. Je vais expliquer de façon lâche les concepts statistiques. Alors que la plupart des plateformes d'expérimentation tierces signalent des résultats statistiques, vous devez toujours rechercher le support statistique pour valider les résultats. Enfin, si vous n'êtes pas intéressé par les statistiques, vous ou du moins encouragé à parcourir le matériel. L' objectif de l'expérimentation, moins en ce qui concerne la gestion des produits, est de comprendre si la variable indépendante a un impact significatif sur une variable dépendante. Pour ce faire, trois critères doivent être respectés. Premièrement, vous avez recueilli suffisamment d'observations pour détecter le changement qui vous intéresse pour le comparer au contrôle. La probabilité que la variante se produise est très peu probable. Et troisièmement, il n'y a aucune chance que le contrôle et les variantes observées résultats soient équivalents. En termes statistiques, cela se traduit par un. Chaque variante a atteint la taille d'échantillon requise à votre niveau de confiance est supérieur à 95% classiquement. Et trois, votre intervalle de confiance de la différence de moyens ne croise pas 0. Mais avant de plonger plus profondément, il y a peu d'autres concepts que nous devons couvrir. Nous devons parler d'erreurs expérimentales, que les statistiques fréquentistes contrôlent de façon célèbre. Il y a deux types d'erreurs, tapez un et tapez deux. Les erreurs de type 1 sont également appelées faux positifs. Alors que tapez deux ou faux négatifs. J' adore cette illustration. Je pense que capte les concepts très bien. Ce que les statistiques fréquentistes font est de rapporter les valeurs observées tout en garantissant que les taux d'erreur de type 1 et de type 2 ne dépassent jamais les limites. Le prochain concept important des statistiques fréquentistes est qu' une valeur observée d'expériences convergerait vers une valeur vraie. Cela signifie que si vous laissez une expérience courir assez longtemps, informatique recueille suffisamment d'échantillons, les résultats mesurés de tous les échantillons convergent vers une seule valeur. Au début d'une expérience, la valeur globale observée d'une variante sera partout. Comme vous pouvez le voir sur la gauche. Vous devrez attendre que les choses s'installent ou convergent. En d'autres termes, vous devez attendre d'avoir recueilli suffisamment d'échantillons avant d'analyser les résultats. C' est le concept de taille minimale de l'échantillon. Il s'agit du nombre d'échantillons que vous devez collecter jusqu'à ce que vous puissiez faire confiance votre observation et continuer à croire que vos erreurs de type 1 et de type 2 se situent dans les seuils. L' évaluation des résultats avant d'atteindre la taille minimale de votre échantillon est appelée pic et conduit à des résultats invalides. Un grand non-non. Comme mentionné, la taille minimale de l'échantillon est le nombre minimum d'échantillons que chaque variante doit atteindre afin que vous puissiez générer des résultats valides. Il est normal de recueillir plus, mais il n'est jamais correct de recueillir moins, même pas par un seul échantillon. Comment est-il calculé ? Toutefois, la taille minimale de l'échantillon est fonction de votre ID de seuil de taux d'erreur faux positif et faux négatif. Combien de faux positifs et de faux négatifs êtes-vous d'accord ? Et le plus petit changement qui vous intéresse ? Le MDE. Les seuils faux négatifs sont souvent représentés par ce qu'on appelle le pouvoir. Alors que les faux positifs sont représentés par ce qu'on appelle le niveau de confiance désiré, nous allons entrer dans la façon de définir la puissance le niveau de confiance désiré, ainsi que le MDE. Dans la section suivante. 22. Puissance et de P-Value: Dans cette section, nous examinerons de plus près la puissance et le niveau de confiance souhaité. Comme mentionné précédemment, le pouvoir représente notre niveau de faux négatifs. Techniquement parlant, quelque chose appelé bêta est le pourcentage réel de faux positifs que nous accepterons. Classiquement, la version bêta est définie sur 20%. En d'autres termes, nous sommes d'accord avec les faux positifs. 20 % du temps que nous exécutons cette expérience, puissance étant un moins bêta serait alors de 80 %. Vraiment, il n'y a aucune raison que le pouvoir devrait être de 80%. C' est juste une valeur que quelqu'un a choisie et tout le monde a décidé qu'elle allait bien. Donc, si vous exécutez une expérience et que vous ne voulez vraiment pas de faux négatifs ou très peu, n' hésitez pas à abaisser la bêta ou plutôt à augmenter la puissance. Sachez simplement que plus la puissance est élevée, plus la taille de l'échantillon dont vous avez besoin est grande. De même, quelque chose appelé alpha est des limites acceptables pour les faux positifs. Classiquement, cette valeur est définie sur 5%. Encore une fois, il n'y a aucune raison que tout le monde choisisse 5%. Donc, s'il avait besoin d'être sûr que vous avez moins de 5% de faux positifs, vous pouvez sélectionner un alpha plus petit. Juste pour garder les choses intéressantes. Le niveau de confiance souhaité est de 1 moins alpha ou 95 %. Notez que lorsque vous augmentez votre niveau de confiance souhaité, la taille de l'échantillon est requise augmente également. L' effet minimum détectable pourrait être le deuxième concept le plus difficile que les gens ont avec les statistiques fréquentistes. En un mot, est le plus petit changement. Il s'agit de la plus petite modification apportée à vos indicateurs de performance clés (KPI) d'intérêts, également appelée variable dépendante. Notez que j'ai dit se soucier de. Ce que je veux dire par là, c'est que c'est le plus petit changement sur lequel vous allez réellement faire quelque chose. Supposons que vous exécutiez un site de commerce électronique et que vous vouliez tester une nouvelle mise en page pour votre page produit, que vous vouliez tester une nouvelle mise en page pour votre page produit, vous ne vous souciez généralement pas d'une variation d'un centime de chiffre d'affaires par client. J' ai changé que petit ne vaudrait même pas le temps de développement. Vous devez donc définir votre MDE de manière appropriée, même manière que la puissance et le niveau de confiance souhaité influent sur la taille d'échantillon requise. Plus votre MDE est petit, plus vous avez besoin d'échantillons. La façon la plus simple de se souvenir de cela est de dire que vous essayez de détecter une voiture dans votre allée. Ce serait un grand changement à attraper. Il ne faudrait pas beaucoup d'observations ou d'échantillons qui suivent un changement comme ça. Mais si vous essayez de détecter s'il y avait une fourmi dans votre allée, cela nécessiterait beaucoup plus d'observations. Donc, au début de cette section, j'ai mentionné que vous avez besoin de trois choses pour déterminer si votre variable indépendante a eu un impact significatif sur votre variable dépendante. Vous avez besoin de suffisamment d'observations pour détecter un changement. Cela mentionnant chaque variante son échantillon. Le deuxième critère était que, sachant ce que nous savons sur le contrôle, la probabilité de vos variantes observées valeur devait être très improbable. La probabilité que vos variantes observées valeur se produisent compte tenu de ce que nous savons sur le contrôle est connue sous le nom de valeur de p. Juste pour rendre les choses plus compliquées, une valeur moins p est connue sous le nom de niveau de confiance. Donc, dans les statistiques fréquentistes et le résultat improbable est lorsque la probabilité de vos variantes valeur observée, également connue sous le nom de valeur de p, est inférieure à votre alpha, qui est à nouveau classiquement réglé à 5%. Ou bien autrement, lorsque le niveau de confiance de votre variante est supérieur à votre niveau de confiance désiré. À la fin de la journée. Si vous constatez que votre niveau de confiance est supérieur à 95 %. La plupart des jours, c'est assez bon. 23. Une signification pratique: Maintenant que nous avons vérifié que nous avons touché l'échantillon et que notre résultat était peu probable, je soit le niveau de confiance était plus élevé que notre niveau de confiance souhaité, classiquement fixé à quatre-vingt-quinze pour cent. La dernière chose que nous devons vérifier est si les valeurs observées de notre contrôle et de notre variante ont une chance d'être équivalentes. C' est de loin le concept le plus difficile à saisir et les statistiques fréquentistes pour les tests divisés AB. Vous voudrez peut-être reregarder cette section quelques fois. Si nous devions exécuter notre expérience plusieurs, plusieurs fois, penser à l'infini, la valeur observée de notre indicateur de performance clé pour un scénario donné orbit autour d'une valeur vraie. Une valeur que nous ne connaissons pas parce que nous ne pouvions pas exécuter notre expérience encore et encore. Vous pouvez voir ceci illustré à gauche où la fréquence de la valeur observée est la plus élevée autour de la valeur vraie unique. En d'autres termes, les valeurs observées de notre expérience pour notre variante sont très probablement différentes de ce que la vraie valeur de notre variante est. prenant ce concept plus loin, si nous devions trouver la différence entre les valeurs observées de notre contrôle et de notre variante qui aussi serait orbiter une seule valeur, la seule vraie valeur de la différence. Ensuite, voir la ligne rouge à gauche est notre valeur observée. Nous savons déjà que ce n'est probablement pas la seule vraie valeur. Mais ce que nous pouvons faire est d'estimer plus ou moins une valeur. arrangement capturerait probablement la seule valeur vraie la plupart du temps, cet intervalle est appelé l'intervalle de confiance. Si cette plage capture la valeur vraie de notre variante quatre-vingt-quinze pour cent du temps, alors cela s'appellerait l'intervalle de confiance de 95 %. Ainsi, comme mentionné précédemment, nous pouvons tracer la fréquence de chacune des différences entre les variantes et le contrôle. Et nous verrions que l'intrigue serait centrée sur les différences. Une valeur dessinée. Cette intrigue serait appelée la différence de moyens. Similaire à l'intervalle de confiance de 95 %. La différence des moyennes deux pourrait avoir un intervalle de confiance de 95 %. Sans surprise, cela s'appelle un intervalle de confiance de 95% de la différence des moyennes. Cet intervalle capture la vraie différence entre les moyennes 95 % du temps. Mais pourquoi est-ce important ? Si les valeurs du contrôle et de la variante étaient identiques, alors la différence entre elles serait 0. dire, la différence entre les moyens serait 0. Puisque nous ne connaissons pas la vraie valeur de la différence pour notre expérience. Et puisque l'intervalle de confiance de 95% de la différence de moyennes représente une plage qui contient la seule valeur vraie de la différence 95% du temps. Si cet intervalle de confiance contient 0, il y a une chance que le contrôle et la variante soient identiques. En d'autres termes, si nous trouvons que l'intervalle de confiance de la différence de moyennes contient 0, alors nous ne pouvons pas dire que la variante et le contrôle sont différents. Mettez un autre moyen. Si notre intervalle de confiance de la différence de moyens ne contenait pas 0, alors nous pourrions dire que le contrôle et la variante n'étaient pas les mêmes. Maintenant, mettons-nous tout ensemble. Lorsque vous appuyez sur l'échantillon et votre niveau de confiance est supérieur au niveau de confiance souhaité, cela signifie que vous avez ce qu'on appelle la signification statistique. Mais ce n'est pas suffisant. Si vous voyez que votre intervalle de confiance de la différence de moyenne ne contient pas 0, alors vos variantes sont différentes avec une signification statistique, IE, vous avez quelque chose qui est pratiquement significatif. Ce n'est que lorsque vous avez une signification pratique. Pouvez-vous dire que votre variable indépendante a un impact sur votre variable dépendante ? Notez que ce ne sont pas des concepts faciles à saisir en une seule séance. Il peut vous prendre quelques vues de cela et une lecture supplémentaire pour vraiment le saisir. Mais j'espère que vous vous sentez un peu plus à l'aise avec les termes que vous êtes en mesure de poser les bonnes questions. 24. Correction Bonferroni: Comme vous pouvez l'imaginer, l' un des plus grands problèmes de statistiques fréquentistes est la taille minimale de l'échantillon. La plupart des responsables de produits n'ont pas beaucoup de temps pour prendre des décisions. Les statistiques séquentielles sont une variation du fréquentiste classique en ce sens que les valeurs alpha sont dynamiques basées sur les premières données. La théorie est que si nous observons une très grande différence au début de l'expérience, il y a de bonnes chances qu'il y ait une vraie différence. Donc, ce que cette approche fait est de vous permettre d'arrêter les expériences plus tôt dans les cas où la différence est très évidente. Généralement, les statistiques séquentielles nécessitent des calculatrices dédiées et déterminent l'importance. Pour fermer fréquentist. Il y a un problème appelé comparaisons multiples dont les analystes doivent tenir compte. En bref, si vous avez plus de deux variantes ou si vous voulez analyser plus d'un indicateur de performance clé, ce qui est très fréquent lorsque vous essayez de comprendre un espace problématique. Vous devez tenir compte de l'augmentation du taux de faux positifs. En bref, plus vous comparez des variantes ou analysez des mesures, plus vous aurez de chances d'avoir un faux positif. Pour corriger cela, vous utiliseriez une correction comme le Bonferroni fait, ou plus communément appelé correction Bonferroni. Vous divisez simplement votre alpha, mais le nombre de comparaisons que vous ferez. Faisons un exemple rapide. Vous exécutez un test ABC où a est le contrôle. Vous souhaitez un taux de faux positifs effectif de 5 %, ou en d'autres termes, un niveau de confiance souhaité de 95 %. Vous allez comparer les performances de B contre a ainsi que C contre a. Ce sont deux comparaisons. Ainsi, vous devez diviser votre taux de faux positifs souhaité par deux, ce qui donne un niveau de confiance souhaité de 97,5. De même, si vous effectuez un test de dépistage du VIH, mais que vous avez l'intention d'analyser trois paramètres, y compris votre indicateur de performance clé principal, vous devez diviser le taux de faux positifs souhaité par trois. 25. Introduction à la bayesian: Parlons maintenant des statistiques bayésiennes. Les statistiques bayésiennes sont une approche très populaire, une approche que j'aime personnellement. Comparons bayésien à fréquentiste. Premièrement, en bayésien, il n'y a pas de véritable valeur de l'indicateur de performance clé d'intérêt, mais plutôt une gamme de valeurs attendues basées sur données historiques appelées « antérieures » et des données recueillies à partir de l'expérience. Une prédiction de ces plages est faite, qui est appelée la postérieure. n'y a pas de taille minimale d'échantillon requise pour bayésien, car il ne permet pas de contrôler toute erreur. Mais ce qu'il fait, cependant, est le contrôle du risque, IE, la perte potentielle si vous deviez promouvoir une variante perdue, car il ne contrôle pas les erreurs, vous n'avez pas à vous soucier de plusieurs problèmes de comparaison. Semblable à la fréquentiste, Pékin a un concept appelé intervalle crédible, qui peut capter 95 % de la gamme des valeurs attendues. Le bayésien bénéficie d'être plus facile à comprendre que fréquentiste ou séquentiel. Même la seule chute est que le bayésien nécessite des simulations pour calculer les valeurs, ce qui exige souvent que les calculs soient effectués sur un serveur. prise de décisions à Pékin est plus simple que la fréquence. Bien qu'il existe des règles de décision strictes, décisions en bayésien sont aussi simples que de décider si la probabilité de gagner une variante est supérieure à ce que vous estimez acceptable. Ou décider si le risque de promouvoir une variante est inférieur à ce que vous estimez acceptable ou si l'augmentation prévue avec la variante est supérieure à ce que vous estimez acceptable ? On pourrait dire que l'invasion de la prise de décision est comme le jeu d'argent. Où vous pariez seulement si vous êtes d'accord avec les chances. 26. Interactions: Clôturer l'analyse des résultats couvrira trois sujets qui s'appliquent, quelle que soit l'approche statistique que vous adoptez. Commençons par l'inadéquation du ratio d'échantillon. Comme beaucoup de choses dans la vie. Parfois, les choses ne se passent pas comme prévu. Il en va de même pour les expériences. Parfois, alors que nous voulions livrer 50% du trafic au contrôle et l'autre 50% de la variante, le trafic est livré différemment. Il y a de nombreuses raisons pour lesquelles cela pourrait se produire, y compris des pannes de service, un mauvais code, peut-être une erreur de plate-forme d'expérimentation, et cetera. Pour déterminer si cela s'est produit ou se produit. Nous effectuons une technologie d'écart de rapport d'échantillonnage qui calcule la probabilité d'observer une division et le trafic par rapport à ce que nous voulions qu'elle soit. Si cette probabilité est inférieure à 1%, nous disons qu'il y avait un problème dans la livraison et nous devrions enquêter. Voici un pourboire. Il est recommandé d'effectuer une vérification de l'inadéquation du ratio d'échantillonnage peu de temps après le lancement d'une expérience pour détecter tout problème de livraison tôt, ainsi que lorsque l'expérience est terminée. Si la vérification SRM échoue, vous avez des résultats non valides. Ensuite, expérimentez des interactions. interactions se produisent lorsque des expériences qui sont vivantes en même temps et qui sont exposées à des commentaires, audiences ont eu un impact sur les variables dépendantes les unes des autres en supprimant ou en agrandissant les résultats, ce qui rend l'analyse difficile. Il existe de nombreuses écoles de pensée et comment y remédier, allant de l'exécution d'expériences en séquence, des expériences en siloing. Ils sont donc des publics explosifs, mutuellement exclusifs et simplement les laisser courir les uns sur les autres. L' approche la plus pratique dans le traitement des interactions expérimentales est que lorsqu'on croit que l'expérience a une forte probabilité d'interagir, vous devez comparer les performances du public qui se chevauche avec celles de les expériences qui se croisent. Si la variation en pourcentage est à peu près la même, il n'y a pas de problème. Sinon, il y a une interaction indiquant que les tests doivent être relancés séparément ou en considérant un facteur supplémentaire. 27. Autres ressources: Pour ceux qui souhaitent en savoir plus sur l'expérimentation, voici une liste de ressources que j'aime utiliser. Et avec ça, j'aimerais vous remercier d'avoir suivi ce cours. Si vous avez des questions, hésitez pas à me contacter à Rommel AT experience Nation.com.