Planejando um estudo de usabilidade

1. Introdução: Oi, todo mundo. Muito obrigado por se juntar a nós hoje. Sou Amanda Stockwell e dirijo uma estratégia de uma empresa chamada Stockwell Strategy. Sou Corey Webson e tenho feito pesquisas de usuários há décadas. Você parece velho quando diz isso. Décadas. Legal. Então hoje vamos falar sobre testes de usabilidade. Então, quando falamos sobre testes de usabilidade, vamos falar sobre o que é o teste de usabilidade, como você começa, como você encontra as pessoas certas e como você conduz o teste, como você conduz o e como você analisa esses dados depois de obtê-los e cria informações acionáveis que podem ajudar sua equipe. Vamos dar-lhe uma visão, backdoor peek de todos os detalhes e logística que vão para a criação de testes de usabilidade realmente bem-sucedidos. Nós dois somos consultores, então temos muita experiência, mas você não precisa ser. Você pode trabalhar internamente já em uma empresa, você pode ter muita experiência com sua UX, você pode ser novinho em folha. Este curso é para qualquer pessoa que esteja interessada em executar seu próprio teste de usabilidade. Espero que este curso seja para você. 2. O que é um estudo de usabilidade?: Você pode estar se perguntando o que é o teste de usabilidade. Antes de realmente aprofundarmos o que é o teste de usabilidade, devemos falar sobre o que é usabilidade. Bem, há uma ISO oficial, ISO 9241-11, que diz que usabilidade é a medida em que um produto pode ser usado por usuários especificados para atingir metas especificadas com três coisas: eficácia, eficiência e satisfação, em um contexto especificado de uso. Teste de usabilidade é simplesmente isso. Os usuários podem usar o que eles são esperados para ser capaz de usar? Eles podem alcançar os objetivos que eles são capazes de alcançar em tempo eficiente e se sentir bem sobre o que eles fizeram. Você pode ter ouvido falar de muitos outros tipos de pesquisa de UX, tentando descobrir quem são os usuários, qual é o espaço problemático ou quais coisas você deveria estar construindo. Tudo isso é incrível, mas não é teste de usabilidade. Realmente o que o teste de usabilidade é, é o material que nos ajuda no início, quando temos talvez algo muito básico para mostrar, algo muito formativo. Pode ser a meio caminho, algo que desenvolvemos parcialmente e estamos prontos para mostrar a alguns usuários como está, e até mesmo no final, que também pode estar no início de um redesenho. Todas essas vezes que podemos descobrir, os usuários podem usar o que eles devem usar e fazer as tarefas que queremos que eles façam. Não é pesquisa de marketing, teste de usabilidade não é para avaliar os problemas enfrentados. É realmente especificamente para avaliar o quão bem os usuários são capazes de alcançar os objetivos que temos para eles. Realmente devemos pensar agora, agora que sabemos o que é o teste de usabilidade, como podemos planejar esse estudo de usabilidade? - Sim. Isso é certo para você? Nós vamos descobrir. 3. A imagem grande: Testes de usabilidade é bastante simples em conceito, mas há realmente muito que vai para fazer um com sucesso. Há um monte de coisas que você precisa descobrir bem na frente e depois descobrir ao longo do caminho. Uma das primeiras coisas que você precisa descobrir, é realmente, o que você vai testar? Você tem um produto totalmente fresco? Ou você vai estar olhando para os concorrentes? Você tem um protótipo? Em caso afirmativo, que fidelidade é essa? Com quem você vai falar? Quais usuários você está tentando segmentar? Eles já são usuários existentes de algo que você tem? Eles são usuários potenciais? Realmente essas são as duas primeiras coisas que você precisa descobrir. O que você está testando e com quem você está testando? Então você tem que descobrir, você vai encontrar usuários localmente onde você está? Você vai ter com eles? Você vai fazer algo remotamente onde você está falando com eles em tempo real, mas eles podem estar localizados em todo o país ou em volta do mundo? Para esse fim, você pode fazer algo chamado teste moderado que é teste de usabilidade tradicional onde alguém como um de nós está sentado e falando com uma pessoa. Mas você também pode fazer estudos não moderados. Agora, há muitas ferramentas nas quais você pode configurar tarefas com antecedência e nem estar presente e os participantes podem responder de forma assíncrona. Vamos investigar os detalhes dessa coisa no meio. Mas isso é tudo que você precisa descobrir imediatamente. Então, em breve, você vai ter que descobrir onde você vai fazer testes, especialmente se é local ou em algum lugar que você vai. Você vai encontrar um local? Há algum lugar onde você possa ir para fazer os testes? Eles virão até você onde quer que você esteja? Você tem que saber isso. Se você vai fazer coisas remotamente ou sem moderação, fazendo coisas como escolher a ferramenta, há muitas ferramentas on-line que você pode usar ou até mesmo apenas a logística de descobrir. Está usando uma ferramenta de videoconferência se você não estiver indo para estar no mesmo local físico que alguém? Toda a logística que você precisa para começar a ser resolvido. Então, é claro, além do local, você precisa descobrir quem exatamente você quer. Porque quando você faz testes de usabilidade, você quer usuários reais se esse é o estudo que você quer fazer ou você pode querer usuários representativos, pessoas que são como usuários reais, mas são ingênuas ao produto que você tem. Claro que pode ser dito que você deve estar construindo algo que é fácil o suficiente para qualquer um usar. Mas, especialmente dependendo do que você está testando, eles serão contextos específicos que algumas pessoas podem ter que outras pessoas não terão, e você realmente terá seu melhor feedback quando falar com usuários reais ou representativos. Você tem que descobrir quem eles são e então também onde encontrá-los. Como o recrutamento está progredindo, isso já está em movimento, você tem tempo para desenvolver um roteiro? O roteiro vai passar, sobre o que exatamente você quer falar com eles? Quais tarefas você quer que eles façam exatamente? O que faz para uma boa tarefa e uma grande pergunta que não leva os participantes e o que faz não são para que questão usabilidade. Em seguida, pensar através da logística técnica bem é muito importante. Vamos mergulhar em tudo isso. - Sim. 4. Remote ou em pessoa?: Então, uma das primeiras coisas que você realmente precisa decidir com Teste de Usabilidade é que o teste será remoto ou será pessoalmente? teste de usabilidade remota tem algumas grandes vantagens. Primeiro, você não tem que ir a lugar nenhum, não há tempo de viagem, não há custo de viagem. Simplesmente a partir de sua mesa, você pode fazer todo o estudo de usabilidade. Você pode interagir com pessoas de todo o lado. Eles podem ser locais para você, mas eles também podem ser outros lugares no país, eles poderiam ser outros lugares no mundo. Está tudo bem. Concedido, dar alguns problemas de fuso horário, mas em geral, é realmente fácil realizar testes de usabilidade remota. Mas o problema pode ser que seus dados são um pouco mais rasos. Às vezes você não pode confiar que os participantes tenham uma webcam, você pode não ver o rosto deles. Às vezes seu rosto fornece um conjunto de dados muito rico, é maravilhoso ou eu realmente não gosto ou isso é muito ruim. Você perde um pouco seus dados, você perde essa interação presencial, aquela sincronização que acontece entre um moderador e um participante. Requer um nível de sofisticação técnica para o participante. Nós dizemos, é claro, que queremos pessoas que possam usar a web, se estamos testando algo na web, não precisamos necessariamente daqueles que são super proficientes que podem começar rapidamente, hangouts ou ir para reunião ou WebEx ou o que você tem. mais, se você quiser que eles compartilhem sua tela móvel, isso fica ainda mais complicado. Estar ciente disso, pode ser uma cautela contra testes de usabilidade remota. Eu só quero que você pense em cada vez que você tenta começar uma reunião on-line, mesmo com as pessoas dentro de sua própria empresa, você pode gastar 5 a 10 minutos tentando garantir que todos possam ver e ouvir e todas essas coisas . Certamente há algum benefício, especialmente quando você está tentando falar com muitas pessoas em todo o mundo e pode ser um pouco mais fácil convencer as pessoas a assinar a bordo para uma conversa telefônica de 30 minutos. Há também alguns grandes benefícios de fazer testes presenciais moderados. Uma coisa que a prioridade mencionou é que, como moderador, você realmente começa a construir um relacionamento melhor quando você está na mesma sala com alguém e você pode ler não apenas o rosto, mas sua linguagem corporal. Se alguém está frustrado ou confuso, você pode ser capaz de pegar isso melhor. Isso é realmente ótimo. É ótimo estar pessoalmente. No entanto, há algumas desvantagens também e uma grande parte disso é o tempo de viagem, tanto para você quanto para o participante. Se você não está falando com pessoas que já vivem na cidade que você mora ou qualquer outra coisa, ou eles precisam viajar ou você precisa viajar e você precisa descobrir a logística de onde você vai hospedar essas sessões. Se você tem um laboratório em seu escritório, isso é ótimo, mas você pode precisar encontrar um local de terceiros, como uma instalação. Há muitos por aí. Estamos em um hotel agora. [ inaudível]. Falaremos sobre isso em um segundo. Mas você tem que considerar os prós e contras disso. Mas como você deve ter adivinhado, nós temos um favorito. Eu, pessoalmente, adoro testes de usabilidade presenciais, como estamos fazendo esta semana. Eu realmente aprecio a oportunidade sempre que possível, realmente me encontrar com os participantes, de ver participantes como temos feito esta manhã de fato. Você não pode dizer, realmente cavar mais fundo, além de construir relacionamento ou na sessão, você pode falar com eles de antemão sobre, tem seu dia indo, como é o trânsito? Nós dois estamos viajando agora, então pedi a alguém mais cedo uma recomendação para um lugar para jantar mais tarde. Isso ajuda a aliviar a tensão um pouco e você realmente tem esses dados mais ricos e mais profundos e capacidade de ler a linguagem corporal e a linguagem facial. Claro, quando estamos fazendo testes móveis, a vida é muito mais fácil. Se algo não é um computador, é muito mais fácil e muito melhor. Estou na pesquisa do usuário para a interação presencial, seja com os participantes ou seja, em ambos os casos, para os clientes, é muito divertido fazer isso. Você pode não ser capaz de escolher o tempo todo, você pode ter que ir com sessões remotas, mas recomendamos quando você pode fazê-lo pessoalmente, mas nós vamos dar-lhe alguns testes sobre como torná-lo o melhor de qualquer maneira. 5. Moderado ou não: Como mencionamos, recomendamos moderar, e quero dizer estar pessoalmente quando puder. Mas há uma opção também onde você pode fazer testes de usabilidade sem moderação, que significa que você define as tarefas de antemão e os participantes respondem em seu próprio tempo. Há muitas ferramentas digitais, configurações que você pode fazer isso. Pode ser realmente ótimo se você precisa obter resultados e dados muito rapidamente e especialmente se você está procurando obter participantes de todo o mundo porque as pessoas podem fazê-lo em seu próprio tempo e podem responder ao mesmo tempo e [ inaudível] vai ver. Mas é claro, você não tem a capacidade de cavar e fazer perguntas a eles ou acompanhar as coisas. Às vezes acho que o cliente me diz : “Queremos que você faça testes sem moderação para que possamos obter grandes números.” Há algo a ser dito para quantificáveis, mas os dados quantificáveis são grandes, mas também podem ser superficiais. Você pode quantificar, mas então se você realmente quer cavar fundo, você se pergunta por quê. O que eles realmente estavam pensando? Às vezes é tarde demais. Mesmo que você entre em contato com algumas pessoas mais tarde, eles podem não se lembrar. Em geral, recomendamos moderar sempre que possível. Mas se você precisar fazer sessões sem moderação, certifique-se de que você é muito cuidadoso e claro sobre como você escreve as tarefas. Certifique-se de que eles não estão liderando e, em caso de dúvida, faça uma busca com clientes ou colegas para ter certeza de que tudo está claro e que você está fazendo as perguntas da maneira certa. Você sabe o que? Realmente, não moderado ou moderado depende de você. Eu, pessoalmente, como pesquisador, prefiro o teste moderado. Seja remota ou presencialmente, a interação em tempo real ainda será um conjunto de dados mais rico, mesmo que não seja necessariamente tão quantificável. Sim. 6. Como encontrar um local: Enquanto você está pensando em testes de usabilidade moderados, testes de usabilidade em tempo real, e você está pensando em pessoalmente, que essa moderação nós estaremos pessoalmente, você pode dizer, onde eu deveria estar fazendo esse teste? A resposta é, em qualquer lugar. Você pode fazer testes em qualquer lugar. Você poderia fazer testes em qualquer estado dos Estados Unidos. Você pode fazer testes em qualquer país. Está tudo bem. Há algum lugar para você. Até certo ponto, isso realmente vai depender do seu orçamento, quanto dinheiro você tem para um espaço. Sim. Mas realmente o mais importante é que você quer tentar encontrar uma alta concentração de seus usuários, porque você ou eles ou ambos terão que viajar para algum lugar se você vai se encontrar pessoalmente. Espero que você tenha um orçamento bem grande. Se for esse o caso, o que recomendamos é ir para um centro de pesquisa. Essas instalações já foram projetadas e configuradas para ajudar você a cuidar de algumas das logísticas em torno do recrutamento no espaço. Eles podem já ter configuração de gravação, provavelmente são fáceis de encontrar, ou ter uma boa sinalização porque eles estão acostumados a ter pessoas vindo o tempo todo, e eles estarão realmente atentos às suas necessidades em termos de como o espaço se parece. Muitas vezes há uma sala tanto para o participante quanto para o moderador, e também uma sala de observação, esse vidro tradicional que você vê nos comerciais do grupo focal. Tudo isso já está no centro de pesquisa, você não tem que fazer isso. Muitas vezes, eles têm regalias extras como lanches e bebidas e outras coisas que nos fazem ter uma experiência confortável. Sim, eles trazem comida. Embora pudéssemos ir buscar a nossa própria comida, faz com que os clientes, faz as partes interessadas muito felizes em sentir que alguém está atento às suas necessidades. Então, de certa forma, cria essa aura em torno da pesquisa, como, oh, este estudo de pesquisa é robusto. Está em uma instalação robusta com aquele vidro unidirecional com esta grande oportunidade de observação. Sim, e parece mais polido e dá um pouco de poder ao que você faz. Então, se você tem um grande orçamento e você é capaz, nós realmente recomendamos isso. Muitas vezes essas instalações também podem ajudar com o recrutamento, sobre o qual falaremos mais tarde, mas podem ser muito boas para garantir que a logística do estudo corra bem. Sim. Agora, se você tem esse orçamento de tamanho médio, talvez não tão grande, você pode dizer, bem, onde mais poderíamos ir? Bem, estamos em um hotel agora recebendo um estudo de usabilidade. Você verá a configuração do nosso equipamento um pouco mais tarde. Mas, por enquanto, escolhemos esta instalação. Temos dois quartos, um quarto para nós fazer a moderação e interagir com os participantes, um quarto para os observadores e é perfeitamente bom. Agora, nós não temos mais vidro unidirecional, mas temos virtual de um sentido transmitindo as sessões e ainda assim é uma experiência bastante robusta e bastante presencial. Eles ainda estão preparando um pouco de café e bolos diariamente para os participantes, para as partes interessadas, e uma boa parte do caminho até lá. Agora, é claro, quando estamos aqui, nem todos os hotéis, nem todas as instalações alternativas podem ter conexões de Internet realmente sólidas, e isso é muito importante se você estiver testando algo na Internet. Você não quer que o estudo de usabilidade falhe porque a conexão do hotel é ruim. Mesmo uma vez no hotel, eu tinha a conexão com a Internet sair. Sim, eu estava lá. Sim, isso é verdade. Isso não foi tão bom. Mas basicamente, você só precisa de um lugar novamente confortável onde os participantes se sintam bem indo e vindo. Sim. Para isso, queremos deixar claro que não estamos em quartos de hotel, estamos em salas de conferências dentro de um hotel. Pode ser um pouco desconfortável caminhar alguém em uma sala com uma cama. Você quer ter certeza de que é um lugar apropriado e em algum lugar que tenha pelo menos uma mesa ou uma mesa de configuração para que ele ainda se sinta profissional. Seu objetivo é fazer com que o participante e as partes interessadas se sintam confortáveis. Sim. Na verdade, fiz um teste em que tínhamos uma cama murphy. Eles entraram em um quarto de hotel e um cara passou e disse: “Estou chegando um pouco mais cedo, quero ver se isso era legítimo.” Lá estávamos nós, a cama estava levantada, então ele achou que era legítimo. Ele voltou mais tarde para sua agenda. Bem, então tudo isso é bom se você tem um orçamento de tamanho médio. Se você tem menos de um orçamento de tamanho médio, você ainda tem algumas boas opções. Porque ambos estão pagos. Se você trabalha internamente para uma empresa, um bom apropos ou uma coisa paralela agradável para os dois quartos em um hotel ou apenas duas salas de conferências ou dois escritórios dentro de uma empresa. Se tiveres sorte e tiveres um laboratório, isso é fantástico. Mas você não precisa ser tão chique. Você poderia ter apenas dois quartos separados em um só lugar. Sim. Mesmo um pequeno escritório poderia ser suficiente para apenas duas pessoas, apenas o moderador e o participante. Sim. Há também algumas técnicas que você pode extrair. Você deve ter ouvido falar de recrutamento de guerrilheiros ou testes de usabilidade de guerrilhas, e este é o clássico estaca e intercepta pessoas. Seja em um shopping ou um café, ou eu costumava trabalhar para grandes varejistas on-line, então eu iria às lojas deles, e você intercepta as pessoas onde elas realmente estão. Agora, há algumas coisas a considerar, você precisa ter certeza de que você está em um lugar onde as pessoas que você quer atingir realmente estarão. Então, se você quer falar, digamos, caminhoneiros, talvez ir a uma parada de caminhões ou um posto de gasolina. Se você está olhando para falar com advogados, você pode não ter tanta sorte em uma parada de caminhão. Então você precisa pensar sobre essas coisas e você não pode ser apenas exigente sobre quem são as pessoas, mas é uma ótima maneira de obter feedback rápido e espaço totalmente livre. Sim, lembro-me de uma vez, estava a fazer testes de apoio, mas numa conferência porque eram membros da associação. A associação nos deu um pequeno estande de vendedores e depois disse: “Oi, não estamos vendendo nada, mas você poderia participar? Temos alguns vales-presente para você.” Acertar ou errar, mas temos gente suficiente no final. Além disso, você sabe, como consultores, você pode dizer, bem, nós realmente não temos um escritório que nós vamos para um lugar realmente robusto, mas os clientes têm escritórios, e há muitos lugares de aluguel em escritórios em todos os lugares onde você pode apenas alugar um escritório por um curto período de tempo do que um hotel, onde bastante barato, quase livre, você pode obter um lugar. Na verdade, outra boa opção que eu já usei anteriormente é uma biblioteca pública que tinha algumas salas de reuniões que você poderia alugar nosso gratuitamente. Há muitas opções, não importa o que seja. Mas basicamente o que você precisa procurar é um lugar que seja bastante conveniente para você e especialmente para seus participantes para obter você e uma atmosfera que fará com que seus participantes e suas partes interessadas se sintam confortáveis. 7. Como fazer um roteiro e participantes de recrutamento: Uma das coisas que mencionamos anteriormente é que você realmente quer tentar o seu melhor para obter usuários reais ou representativos para serem participantes em seus testes de usabilidade. É ótimo projetar algo que é fácil o suficiente para todos usarem, mas que não deveria ser todo mundo, e você tem que realmente pensar sobre os detalhes de quem essas pessoas são, o que é importante para elas, como elas estão usando o que você vai testar, se eles são realmente os participantes certos. Por exemplo, agora estamos fazendo alguns testes de usabilidade em um software realmente específico que, se você não estiver em uma determinada profissão, fará sentido para você, não importa o quão bem ele é projetado. É importante realmente pensar sobre isso e a resposta para teste de usabilidade realmente nunca deve ser absolutamente todo mundo. Muitas vezes é porque isso é o que eu ouço de um cliente, bem, nós queremos, todos, nós somos para todos. Não, você não é para todos. Basicamente, eu acho, como você consegue essas pessoas? A maneira que você deve realmente pensar sobre isso é através de um screener. O que é um rastreador? Um screener é um conjunto de regras dizendo, isso representa critérios que para os participantes queremos, e isso representa critérios para os participantes que não queremos. Se um participante tem isso, eles são bons, se um participante tem esse atributo, no entanto, nós não queremos que eles. Talvez eles tenham um certo conhecimento, talvez seja parte de sua profissão, talvez seja algum histórico que eles tenham, alguma experiência que eles têm, algum outro software que eles possam ter usado. Agora, muitas vezes ouço de clientes coisas como, “Bem, realmente importa ter critérios de gênero, realmente importa ter raça ou etnia.” Talvez, mas realmente não, ou eles estão dizendo, bem, nós precisamos exatamente replicar a demografia deles. Provavelmente não. Não se trata de replicar seus dados demográficos, é sobre encontrar usuários que podem usar o sistema de diferentes perspectivas e lentes e obter o universo desses usuários que não têm todas as categorias demográficas. Na verdade, se você construir seu rastreador tal forma que você tem uma lista de dados demográficos, você torna realmente difícil fazer o recruta e encontrar as pessoas que você precisa, as pessoas com a educação básica, o pessoas com o conhecimento central, o fundo central, as experiências centrais, porque isso é o que importa, esse é o seu tópico do dia. - Sim. Então você realmente quer prestar mais atenção ao comportamento, experiência e conhecimento menos do que outras coisas como de onde você é? Quanto dinheiro você ganha? Algumas dessas coisas realmente dependem do contexto do que você está fazendo. Pode ser importante, mas quando estiver em dúvida, procure um rastreador mais curto, um número menor de coisas que você quer prestar atenção em você e procurar, e também sempre tentar destacar as coisas que você não quer primeiro porque, em virtude do fato de que alguém está participando de sua tela, eles querem estar em seu estudo, eles querem estar em seu estudo, então tente filtrar as pessoas mais cedo em vez de fazer uma ladainha inteira de perguntas, e isso é exibi-las no muito final. Às vezes, no seu screener, você quer construir perguntas que não estão apenas dizendo, você faz isso? Sim ou não? Você quer dar a eles uma lista de cinco opções e dizer, qual dessas você faz, e talvez apenas a opção 3 é a que você quer, mas dessa forma você evita que as pessoas apenas digam, “Eu quero participar, soa como muito divertido”, e então você obtém participantes que não estão dando os dados que você quer porque eles não entendem o que você pretendia que eles entendessem. - Sim. Você também tem que estar um pouco ciente do testador de usabilidade profissional, ou do participante em série. Ambos Cory e eu tivemos experiências em que as pessoas apareceram que nós vimos antes, eu não tinha certeza se eles são realmente o ajuste certo, mas eles disseram sim ou descobriram o caminho certo, então se você escrever o screener realmente efetivamente, você pode tornar muito mais difícil para as pessoas adivinharem o que você está procurando, para que você realmente consiga as pessoas que se encaixam nos critérios que você quer dizer. Sim, com certeza. Claro, essa pergunta se torna, quantos participantes você realmente precisa? Você pode ouvir algo como três participantes, cinco participantes, oito participantes, 100 participantes, têm uma hora cada, não faça isso com você mesmo. Boa sorte com isso. Mas, em última análise, cabe a você considerar, você precisa das coisas grandes? Você precisa de cada bit granular de dados? Você está tentando equilibrar os grandes pedaços de dados com a repetição demais agora que você recrutou 20 pessoas para vir, onde essas 20 pessoas por participante 10 ou mesmo oito, você já sabe quais são os problemas . Pensando nisso, pensando em quantas tarefas únicas você tem, você tem diferentes tipos de usuários que realmente podem obter permutações diferentes em tarefas onde você tem duas palavras coisas um pouco diferente porque talvez você quer mais participantes, então, porque você dividi-los. Outra coisa a considerar é se você está fazendo usabilidade de um tiro ou fazendo testes iterativos. Se você pretende fazer um conjunto de testes e, em seguida, talvez corrigir ou alterar algumas coisas e, em seguida, fazer outro conjunto de testes, você pode escapar com menos participantes a cada rodada, porque você sabe que você vai estar validando alguns dos suas suposições anteriores e continuar a aprender ao longo do caminho. Em geral, nós sempre recomendamos fazer testes iterativos porque isso é apenas um pensamento bom e inteligente, mas você pode escapar com menos pessoas, e assim cada teste individual de usabilidade discreta é um pouco mais barato, um pouco pouco menos recursos quando você tem menos pessoas. Na verdade, esta semana o que estamos fazendo são 10 participantes e não esperamos necessariamente que todos os 10 apareçam. Neste caso, provavelmente dizemos, bem, pelo menos oito aparecerão e isso nos dará informações suficientes para essa iteração. Agora, vamos esperar dois meses e depois agendar mais 10 participantes para voltarem, um conjunto diferente de participantes. Mais uma vez, espero que nós vamos conseguir oito, e então dessa forma nós temos nossa iteração e nós temos dois meses porque isso é o que a equipe de desenvolvimento sente que eles precisam, que é totalmente bom, diferente equipes de desenvolvimento trabalham em diferentes velocidades. Haverá diferentes complexidades das coisas a serem corrigidas. Enquanto agendar 10 sessão, então 10 slots de uma hora com intervalos de 15 minutos, você também pode dizer quando agendar flutuadores, e um flutuador pode ser mais de três sessões. Eles são pagos um pouco mais para superar as três sessões e provavelmente apenas trazer um livro ou trazer seu laptop ou seu iPad ou qualquer outra coisa e apenas fazer suas próprias coisas. Eles podem não ser usados, no entanto, eles estão lá se alguém não aparecer. Mas eu diria, pessoalmente, que prefiro agendar sessões extras e não lidar com a complexidade dos flutuadores e ter que gastar mais de três sessões. - Sim. Eu diria que uma regra geral, tome isso com um grande grão de sal, é que para cada tipo de grupo de usuários por teste de usabilidade, aponte para cerca de 5-6, pelo menos, sessões mínimas, e eu gosto de agendar um participante extra para cerca de cada cinco que espero incluir no meu estudo, porque mesmo com os melhores recrutadores e os mais lembretes, coisas acontecem e as pessoas ocasionalmente não podem aparecer. Sim, e na verdade, para os melhores recrutadores, eles ligam para as pessoas no dia anterior, eles enviam um e-mail no dia anterior e dizem, “Você vem, certo?” Eles esperam por uma resposta também, e se eles não obtiverem essa resposta, eles vão sinalizá-la e dizer, a propósito, que eu não fui capaz de entrar em contato com isso e então seja cauteloso que eu estou um pouco preocupado, para que os bons recrutadores acompanhem várias vezes dependendo de quando esse agendamento inicial ocorre. Cory está falando sobre usar o terceiro recrutador. Se você quiser mais algumas dicas para informações mais detalhadas sobre escrever seu próprio screener e fazer o recrutamento você mesmo, eu realmente tenho outra classe Skillshare. 8. Como desenvolver um roteiro: Quando pensamos em testes de usabilidade, estamos realmente pensando em sessões baseadas em tarefas, e essas tarefas têm atividades que os usuários podem fazer na vida real. Na verdade, quando eles são recrutados, eles devem ser recrutados para entender o que essas tarefas realmente são e por que você está pedindo a eles para fazer. Agora, muitas vezes você pode dar-lhes dados falsos. Você não vai necessariamente dizer, bem, isso é tudo pessoal, mas pelo menos você quer que eles tenham uma experiência que espelhe a vida real. Ao dar-lhes tarefas, você vai dizer, “Ok, tente isso, é o que você vai fazer, aqui está o nosso cenário, vá em frente.” Vigie-os ir atrás. Uma vez que eles são feitos em uma tarefa individual ou todo o conjunto de tarefas, você pode conversar com eles. Você pode questioná-los em uma base por tarefa, ou você pode questioná-los no final ou em ambos. Mas a coisa crítica que você precisa estar ciente é que quando você desenvolve um script e você lista todas as suas tarefas e talvez você tenha suas perguntas de sondagem, nada do que você faz no início vai influenciar o que acontece mais tarde. Você tem e você deve se certificar de que as tarefas estão relacionadas aos objetivos que a equipe tem, então você não quer pedir às pessoas para encontrar algo apenas para encontrá-lo, você quer ter certeza de que você está realmente fazendo perguntas e desenvolvendo tarefas e as perguntas em torno de quais são seus objetivos principais. Por exemplo, se você estiver trabalhando para um varejista on-line e eles estão tendo problemas com as pessoas se curvando-se antes de adicionarem algo ao carrinho, você vai querer criar metas centradas em torno dessas coisas para garantir que Não há problemas com isso. Tente pensar sobre o contexto e por que você está fazendo essas perguntas específicas, e então você também quer ter certeza de que você está perguntando a eles de uma forma clara e concisa, mas não líder. Quando estiver em dúvida, você quer tirar qualquer referência a emoções positivas ou negativas, e realmente apenas pedir para definir o contexto para, imagine que você está tentando fazer X, Mostre-me como você faria isso. Você definitivamente quer equilibrar o que você diz, então o que você gosta ou não sobre eles? O que há de bom ou não de bom nisso? Se quer equilibrar, nunca é preconceito. Quero dizer, eu já estive em ou são observados estudos antes onde alguém poderia dizer, “Oh, sim, o que você gosta sobre isso?” Isso é um grande não-não. Então os participantes são, “Oh, você quer saber do que eu gosto? Gosto de tudo, é maravilhoso.” Mas então, na verdade, você está empurrando-os apenas para os gostos e não para os desgostos ou vice-versa. É uma coisa importante saber que as pessoas automaticamente sem significado para você e tendem a distorcer mais positivo quando estão falando com você, então é importante escrever essas perguntas não-tendenciosas, mas então para realmente observar o que eles Estou fazendo. Eles podem dizer que eles amam algo depois de clicar em torno de 10 minutos e não ser capaz de encontrá-lo e ficar realmente frustrado e, em seguida, finalmente, completar a tarefa muito mais tarde. Escreva as perguntas do modo mais neutro possível, tente ordená-las de tal forma que elas não visem as outras perguntas e, em seguida, também certifique-se de que você defina os contextos para que eles realmente entendam o núcleo do que você está tentando fazer sem dar qualquer dica. Então, sempre em dúvida, não diga nada e apenas assista. Gosto de enquadrar a conversa deles desde o início dizendo: “Quer saber, eu não sou o desenvolvedor. Eu identifico se você gosta de algo incrível, se você não gosta de algo, ainda incrível, podemos continuar aprendendo.” Uma outra coisa que eu penso com testes de usabilidade e escrita de scripts é, são as equipes de clientes onde, eles vêm até mim e dizem, “Ok, estamos prontos para escrever um script, mas já temos o script, usamos para testes funcionais.” Eu digo, “Ok, então em seu script de teste funcional, você basicamente disse ok, o usuário vai fazer isso e depois isso, e então este e o próximo caminho é este e este, e este. “ Esse script é diferente, não estamos dizendo ao usuário o que fazer. Na verdade, você diz a eles o mínimo necessário que lhes dá o verdadeiro contexto do que eles estão fazendo e então você os aciona por conta própria, e então se eles dissermos a você, o que eu faço a seguir e isso aconteceu hoje, o que eu faço a seguir. Três vezes. O que faço a seguir, o que faço a seguir? Você diz, “Bem, você sabe o que, eu imaginei, eu nem estava aqui e fazer o que você pode.” Se eles ficarem totalmente presos, dizemos: “Ok, sabemos que eles não podem fazer essa tarefa.” Podemos mostrar-lhes se não for novamente viés essas tarefas de recurso. Mas, em última análise, precisamos realmente obter essa experiência autêntica na medida do possível. 9. Como configurar o equipamento: Ok. Aqui estamos nós. Temos muita sorte hoje em estar em um hotel em uma configuração real para testes de usabilidade. Na verdade, não limpamos nada. Nós não mudamos nada. Aqui é exatamente onde estivemos o dia todo fazendo nosso estudo de usabilidade. O que temos nós? Primeiro, temos o computador participante. Nosso estudo hoje é em um computador, é de um site, então o participante está usando este computador. No entanto, você notará que este é um laptop. Na verdade, não queríamos que o participante tivesse uma experiência de laptop se não usasse laptops. Em seguida, configuramos esta configuração aqui para o participante. Estão sentados deste lado. Eles estão usando um monitor real com um teclado, com um mouse, e realmente tendo uma experiência completa de área de trabalho. Agora, este computador aqui, é aqui que o moderador se senta. O moderador, eu estarei sentado aqui, conversaremos com o participante. O participante tem, eo moderador vai entregar um cartão de tarefa participante. Nem sempre usamos cartões de teste. Com este estudo, é um pouco mais complicado. As tarefas são um pouco mais profundas e, portanto, para este caso, estamos usando cartões de tarefas. Isso é especialmente útil quando você tem coisas como muitos logins ou senhas diferentes, que para este estudo específico nós temos. Mas nós sempre tentamos falar naturalmente para configurar o contexto e, em seguida, dar-lhes o cartão de tarefas como uma referência, em vez de apenas lê-lo diretamente para eles. Na verdade, aqui temos nosso script que estamos usando hoje e este script tem as tarefas e tem algumas coisas intros para realmente aquecer a situação. Além disso, temos o laptop dos madeireiros bem aqui. O laptop loggers permite que o registrador registre em tempo real à medida que as sessões continuam e, claro, falaremos sobre registro em breve. Mas basta dizer eu uso o que eu preparei aqui é o software Morae onde você pode entrar diretamente nos vídeos enquanto eles estão sendo gravados. Enquanto isso, esta aqui é uma webcam básica da Logitech. Eu gosto que ele tem dois microfones aqui, ele tem alguma boa qualidade de áudio. Consiga o participante e o moderador e, em seguida, para estudos móveis, embora não estejamos fazendo isso hoje, mas eu trouxe isso mesmo assim. Tenho o meu Pivo, tenho uma câmara de documentos. Ele sobe e então ele pode capturar o dispositivo que um participante pode trazer exatamente assim. Desta forma, nós realmente temos participantes trazendo seu próprio dispositivo sem a complexidade de dizer, ok, vamos instalar isso, vamos instalar isso, e assim por diante. Bem, estamos usando Morae hoje, não é a única ferramenta que você pode usar. Você pode realmente muito bem usar qualquer software de videoconferência ou compartilhamento de vídeo, especialmente se você usa um Mac, que muitos de nós fazem, Morae nem sempre é a melhor escolha, mas é muito agradável porque você pode tomar notas diretamente nos arquivos de vídeo enquanto você vai, mas realmente, desde que você pode ver o que o participante está vendo enquanto você está tomando notas e como você está moderando enquanto você está do outro lado da mesa. Mas outra coisa a notar com essas configurações, você percebe que estamos fora para o lado. Nós não estamos diretamente na frente daquele participante e isso é para que possamos vê-los com sua linguagem corporal e também olhar para cima e sorrir de vez em quando e apenas estar cabeças para baixo tomando notas. Você deve estar consciente do espaço físico real que você está configurando para que o participante se sinta confortável e você não se sinta como se estivesse sendo interrogado ou entrevistado. Você também vai notar que nós dois temos aqui, mas é isso que você quer maximizar. Com certeza, e de fato, às vezes faz mais sentido para o madeireiro estar em uma sala de observação ou estar com um cliente ou partes interessadas, o que também tem alguns valores políticos. Saiba o que a conversa está acontecendo em segundo plano. Tudo depende do que será melhor para qualquer situação. Em termos de posicionamento, é claro, se funciona melhor do lado ou funciona melhor está sentado ao lado do participante, ótimo. Mas uma coisa que eu gosto de pensar é porque eu muitas vezes tenho um bate-papo acontecendo no laptop moderador. Estou cansado de um participante ver meu laptop e ver a conversa e obter pistas talvez sobre o que deu certo, o que deu errado. Yap. Esse é um bom ponto. Mencionamos uma sala de observação e é para onde vamos a seguir. 10. Opções de tomada de nota: Agora que você tem tudo pronto e você está dirigindo o estudo. Uma coisa que ainda não conversamos é por que há dois de nós aqui fazendo um teste de usabilidade, porque você só precisa de uma pessoa para conversar. No entanto, é super útil ter duas pessoas para que uma pessoa possa ser focada em moderar e construir esse relacionamento, e acompanhar um participante, e a outra pessoa pode estar tomando notas. É muito importante. Uma de duas coisas vai acontecer se houver apenas um de vocês. Primeiro, você não vai conseguir o nível de notas. Você vai receber algumas notas, embora você seria galáctico ficando longe, ou você vai ter que voltar e assistir novamente as gravações e passar o mesmo tempo de qualquer maneira que uma segunda pessoa teria tomado, exceto que levaria mais tempo porque você atrasada durante a análise até que você obtenha as notas. Sim. Há muitas maneiras diferentes que você pode anotar, mas uma coisa a prestar atenção é que você não está necessariamente tentando transcrever cada coisa que aconteceu. Você está tentando tomar nota das principais coisas que estão relacionadas às tarefas e aos objetivos. Onde eles podem fazer a tarefa com sucesso? Eles passaram por todo o caminho, ou falharam miseravelmente? Mesmo que eles tenham passado todo o caminho, houve outro feedback que eles têm? Eles tinham algumas expectativas diferentes? Você está tentando tomar notas de pequenas informações que irão ajudá-lo como líder analista. Realmente, há dois problemas que eu vi com anotações onde ele só causa todos os problemas enquanto você tenta analisar os dados. Uma é anotações que não captam o que aconteceu. A outra são notas que capturam tudo o que aconteceu, incluindo cada palavra que foi dita, cada ação que foi tomada. Eles dizem, “Bem, eu quero ser minucioso.” O problema de ser tão minucioso é que, ao tentar criar um relatório para um cliente, você talvez esteja sobrecarregado com os dados. Você tem o nível de profundidade que lhe dá o relatório que você precisa e que você pode sintetizar mais tarde. Outra coisa que é importante é que, especialmente se você não estiver na mesma sala, mas mesmo que você esteja na mesma sala, é importante ter um canal contínuo de comunicação entre a pessoa que está tomando notas e a pessoa que está moderando. Temos uma configuração de chat do Google quando eu faço anotações e ele está moderando ou vice-versa. Mas se a pessoa não está fisicamente lá, e ela pode estar assistindo separadamente, você pode ter mensagens ou o que quer que seja, não vai distrair muito. Mas muitas vezes a pessoa que está tomando notas pode observar as coisas ou talvez fazer sugestões que, você não terá o espaço mental para fazer ou perceber se você está se concentrando em moderar. Eu acho que como moderador, eu sei que eu posso notar algo que pode ou não ser encontrado enquanto você está assistindo. Às vezes digo: “Ei, quer saber? Eu só notei isso, uma coisa, foi muito pequena, foi muito rápida, e apenas tendo um pouco de redundância lá. Mesmo que haja registro em log dedicado, moderação dedicada, você ainda pode compartilhar para frente e para trás. Na verdade, ao contrário, quando estamos na mesma sala, e de qualquer maneira pode funcionar, mesmo quarto, sala diferente. Mas o madeireiro pode dizer: “Ei, quer saber? Você perdeu essa sonda que teria sido muito boa. Não no roteiro, mas teria uma coisa muito boa para meus registros e você como os madeireiros pensando sobre a análise.” De qualquer forma, você pode jogar, você pode ser flexível, você pode ver como é a interação, mas você apenas certifique-se de capturar os dados certos de uma forma que irá ajudá-lo a fazer isso para o relatório final, para fazer o análise, para conversar com as partes interessadas sobre o que realmente aconteceu. Pode ser especialmente agradável, especialmente quando você está embrulhando, ou no final de algo para a pessoa que estava calmamente tomando notas, se você está ambos na mesma sala. Para entrar na tubulação, faça algumas perguntas adicionais, ou se você estiver na mesma sala, também que o anotador pode ser o solucionador de problemas se algo der errado, se você tiver algum tipo de problemas de conexão. Quando em dúvida, tanto para a qualidade de anotações e apenas para a suavidade geral dessas mesmas tarefas, sempre recomendo ter duas pessoas em guarda. Às vezes ouço de clientes, de partes interessadas, “Oh, a moderação, isso é uma coisa importante que experimentar. A anotação, quer saber? Eu tenho um estagiário que só vai tomar algumas notas.” Não, a verdade é que ambos são igualmente importantes. Na verdade, é bom ter pessoas que estão confortáveis fazendo as duas coisas, e então você pode alternar, você pode alternar um pouco, certifique-se de que você está tomando notas no mesmo formato, é claro, mas basicamente Você pode alterá-lo, você pode ir e voltar. Mas ambos são realmente importantes para ter experiência e para crescer essa experiência. Mais uma vez, para um bom relatório e uma boa análise. 11. Sala de observação: Certo, então vimos onde estivemos o dia todo. Fazendo o teste de usabilidade, reunião com os participantes e assim por diante. Agora aqui estamos nós na sala dos fundos, onde as partes interessadas ou onde os clientes estão sentados, e realmente é aqui que eles estão. Não ajustamos nada. Isso realmente mostrará o que está acontecendo, o que está acontecendo nos bastidores. Aqui você verá um grande monitor. É aqui que eles estão observando. Aqui está um laptop, ele está rodando [inaudível] que é o que dissemos que estamos usando na outra sala. As partes interessadas estão realmente começando a assistir Picture in Picture. Eles realmente vêem uma pequena foto do participante. Eles veem uma grande imagem da tela do participante. Agora eles não têm aquele vidro de sentido único, mas tudo bem. Temos uma experiência bastante autêntica e realista com apenas talvez um atraso de três segundos. Você sabe o que? Eles nem sabem. - Não. Eles estão assistindo aqui, eles estão agrupados ao redor, assistindo o grande monitor, e você acha que nós realmente viajamos com o grande monitor? - Não. Nós apenas dissemos a eles, “Ei, você tem um monitor extra grande por aí? Será útil”, e eles disseram, “Claro, sem problema”, e eles trouxeram um. Agora você vai ver também, não só nós temos a tecnologia, nós temos a comida. Comida, na verdade, temos comida incrível aqui. Temos alguns biscoitos e brownies e todos os tipos de coisas açucaradas para manter as partes interessadas felizes e felizes fazer para um estudo feliz. Especialmente por um longo dia. É difícil moderar um dia todo, mas também é difícil assistir o dia todo. Na maioria das vezes, nossos membros da equipe não estão necessariamente sendo meio que nas ervas daninhas para testes de viabilidade ao contrário de nós. Portanto, qualquer coisa que você possa fazer para tornar a experiência confortável para os membros da sua equipe, sejam eles clientes que estão pagando você ou você está na equipe que são apenas participantes internos. Qualquer coisa que você pode fazer para torná-los felizes irá encorajá-los a observar e participar, o que é sempre bom. Sim e café abundante, muito importante. Sim, cafeína é bom. Sim. Mais uma vez, partes interessadas feliz estudo feliz. Outra coisa a notar que nesta sala temos duas linhas de comunicação ainda com quem está na sala. Se a pessoa que está tomando notas e registrando está na mesma sala, isso é ótimo. Ou eles podem estar sentados com o resto da equipe. O que pode ser especialmente útil se você quiser ouvir suas reações e a discussão que vai junto, para vê-los reagir às reações do participante pode ser super útil. Não precisa estar em outro quarto ao lado. As pessoas podem estar em qualquer lugar, desde que você tenha essa tecnologia de compartilhamento de tela. Podem estar em casa, na mesa, podem estar em qualquer lugar. Eu, pessoalmente, fiz login em um estudo de usabilidade de um aeroporto antes. Eu não recomendo essa necessariamente. Mas também é especialmente bom ter um quarto, para cumprimentar os participantes, especialmente se você conseguir alguém que vem um pouco cedo. Você pode fazer as coisas de configuração inicial com eles. Como se você tiver um formulário de consentimento para que eles assinem ou se você tiver incentivos depois, você pode usar a sala das partes interessadas como base de casa para tornar todos mais confortáveis. Sim, na verdade bem aqui. Você não pode vê-lo tão bem. É o formulário de assinatura onde eles assinam que eles recebem o seu consentimento e um cartão de presente, cartão de presente visto para cada um dos participantes a receber. No geral, eu sinto que esta tem sido uma experiência muito confortável estar no hotel. Talvez não seja como aquele vidro de sentido único, como aquela Margaret Research Facility. Isso é serviço completo. Mas você pode fazê-lo também, você pode fazê-lo muito bem em um lugar como este. Sim, você pode obter através do grande teste de usabilidade, praticamente em qualquer lugar. Sim, com certeza. 12. Análise e relatório e relatórios: O passo final da usabilidade é descobrir o que fazer com todos os dados que você coletou e compôs em algum formato digerível para seus clientes e seus acionistas. Com a análise de dados, isso vai parecer diferente dependendo de quais são seus objetivos. Alguns testes de usabilidade são realmente focados em quanto tempo leva para as pessoas fazerem isso. Você pode analisar coisas como tempo até a conclusão ou tempo na tarefa. Você pode estar olhando para algo tão simples como uma passagem ou falha, ou eles acertam as coisas ou não? Você também quer procurar outras pistas, os trechos que falamos para a tomada de notas e procurar tendências para que você não possa apenas relatar o que está errado, mas também algumas recomendações sobre como você pode corrigi-lo, ou algumas tendências de outras coisas que as pessoas podem querer investigar ou qualquer coisa que você possa extrair que será acionável para as equipes com as quais você está trabalhando. No entanto, o relatório em si pode assumir qualquer formato. Por exemplo, você pode ter um conjunto de slides ou no PowerPoint ou no Google slides, você poderia dizer, ok, aqui está, alguns slides, aqui estão algumas imagens para você, algumas capturas de tela. Aqui vai uma pequena chamada. Aqui está um pequeno clipe de vídeo inserido em um onde você pode ver o que realmente aconteceu em três participantes que disseram notavelmente a mesma coisa. A outra coisa que pode ser realmente útil é se você estiver gravando os rostos dos participantes e você capturar emoções particularmente fortes, especialmente uma forte emoção negativa. Isso pode ser realmente poderoso para convencer e ajudar suas partes interessadas e clientes a entender o que fazer e por que isso importa e como é impactante. Tenho uma história separada de um trabalho antigo onde capturamos alguém chorando. Gostaríamos de uma captura de tela grande e gorda e mudamos todo o nosso plano por meses com base nessa imagem. Pode ser tão detalhado e pode ser ótimo usar emoção, mas também pode ser algo tão simples quanto um e-mail com alguns marcadores. Eu também gosto especialmente de ter reuniões de interrogatório, onde eu não apenas enviar um relatório ou enviar algum material de entrega e encerrar um dia. Gosto de falar através das coisas, falar sobre a experiência, dizer. Isto é o que notamos e dar algum contexto e alguns de seus comentários. Claro, você deve escrever ou o que quer que você junte deve ser claro o suficiente para que as pessoas possam tê-lo. Mas é realmente mais poderoso se você pode discutir. Com certeza e às vezes há uma discussão imediatamente antes mesmo de analisar os dados como, o que surgiu em suas mentes, pessoal? Então algum tempo passou, ok, agora que tivemos tempo de passar para ter cuidado. Às vezes eu acho que os clientes pedem um quando se referem ao outro, eles dizem, “Oh, vamos fazer um interrogatório imediatamente e me dizer os pontos críticos mais salientes que vão abranger os participantes são sintetizados como, não, espere.” Podemos conversar, mas podemos conversar, apenas me dê alguns dias para analisar, sintetizar, para realmente entender o que temos. Por outro lado, falamos sobre esses relatórios muito rápidos, eu também tive clientes e às vezes esses clientes para fins oficiais, queremos um documento do Word, queremos parágrafos. Enquanto como moderador de usabilidade, como testador, é sempre muito trabalho. É mais trabalho, leva mais tempo, mas às vezes é isso que eles querem. Ser flexível e dizer, ok, o cliente e as partes interessadas queriam um relatório detalhado. Você quer o PowerPoint rápido com imagens anotadas e capturas de tela. Você quer apenas os pontos de bala e você pode ter esses pontos de bala tão rápido. É apenas entender o que as partes interessadas querem, o que seus clientes querem é tão importante. Sim, o mais importante é ter certeza de que você captura as principais tomadas e quaisquer coisas que seu grupo precisa trabalhar. Pode ser aqui ou as coisas que correram bem. Aqui estão as coisas que não correram muito bem. Aqui estão algumas coisas que precisamos testar mais. Aqui estão as coisas que definitivamente precisam mudar. Mas realmente o que você quer ter certeza de que você faz é qualquer que seja o objetivo de sua equipe, seu cliente, sua equipe interna, com quem você estiver trabalhando, você precisa ter certeza de que você atinja seus objetivos assim como os participantes podem conhecer os deles. 13. Conclusão: Muito obrigado por se juntar a nós para esta visão geral dos testes de usabilidade. Esperamos que tenha aprendido muito. Sim, foi ótimo estar com você hoje e compartilhar algumas coisas com você. Não se esqueça de preencher a folha de atividades e enviá-la para que todos possam dar feedback. Sim, e sinta-se livre para nos encontrar nas redes sociais, no LinkedIn, no Twitter e afins, e siga-nos. Sim, boa sorte com seus próprios testes. Ótima. Obrigado.