Skip to Content.
Sympa Menu

aifia-pt - Re: [AI] RES: RES: RobotReplay

aifia-pt AT lists.ibiblio.org

Subject: Arquitetura da Informação (em Português)

List archive

Chronological Thread  
  • From: "Luciano Lobato" <luciano.lobato AT gmail.com>
  • To: "Arquitetura da Informação (em Português)" <aifia-pt AT lists.ibiblio.org>
  • Subject: Re: [AI] RES: RES: RobotReplay
  • Date: Tue, 17 Jul 2007 19:07:57 -0300

Oi Luiz,

Não é questão de culpa da interface ou de complexo de édipo (geralmente, a questão é a interação - nem a interface, nem o humano, mas a interação entre os dois). Mas das variáveis que afetam o desempenho do usuário na tarefa e que a gente tem certo controle (aspectos da interface). Coletando verbalizações, a gente coleta comportamento que não é o desempenho da tarefa. O conteúdo dessas verbalizações podem nos ajudar, mas dificilmente podem ser considerados como causas do comportamento. Além disso, ao relatar verbalmente os pensamentos, o usuário emite outro comportamento concorrente (logo, afetando) ao desempenho.

[]s!

Luciano Lobato
http://www.nahipermidia.com/blog/

On 7/17/07, Luiz Agner < luizagner AT gmail.com> wrote:
 
Os itens numerados abaixo são trechos de transcrições dos testes de usabilidade que eu realizei para minha tese. Todas as frases entre aspas representam verbalizações dos participantes. Como podem ver, cada verbalização está dentro de um contexto de uso e espelha as dificuldades que cada um deles está enfrentando naquele momento específico. Não tenho nenhuma razão para crer que estejam mentindo ou simulando um comportamento alterado, ou uma dificuldade inexistente, ou que não representem um evento que se relaciona direta ou indiretamente a problemas de usabilidade observados. Até porquê as gravações em vídeo reafirmam o que está sendo dito.

Vejam:

129 – No meio da segunda tarefa, o usuário, que havia começado com bom humor, suspira e desabafa "Estou cansado!".
134 – Durante a navegação, usuário comenta que o cidadão "precisa entrar conhecendo alguma coisa anteriormente, se não ele procura muito e não acha nada".

153 – Ao navegar, o usuário desabafa que se sente "rodando em círculos".

188 – Usuário quer sair das áreas do site que parecem ter "cara de explicação", pois a informação buscada é "muito simples" e deve ser "auto-explicativa". Fica irritada.

197 – Ao entrar em XXX, usuário comenta sobre o portal "Que doideira!" e depois "Que esquisito!". "O negócio é tão embolado!"
198 – No site XXX, usuário reclama da demora do download. E comenta que teria ido para o Google.

204 – Usuário refaz a sua busca copiando e colando o nome codificado do arquivo, mas sem resultado. Parte para a estratégia de tentar "enganar o computador".

253 - Usuário comenta que "tem certeza que vai ser dentro deste item", mas não encontra o dado ali.

274 – Ao ler as opções do menu lateral, usuária desabafa que "está meio perdida".

 
Você pode dizer sim que alguns usuários talvez possam estar criando justificativas para a sua baixa performance, mas isto é esperado. Eu acredito que qualquer pesquisa tenha os seus tendenciamentos ou viezes durante a coleta de dados, seja um depoimento, entrevista, questionário, Quis, ou protocolo de verbalização, mas é preciso distinguir as preocupações teóricas ou problemas que dizem respeito especificamente à Psicologia ou à Psicanálise (que trabalha com o inconsciente) das questões que são caras à Interação Humano-Computador (que trabalha com o comportamento de interação observado). Na IHC, o problema é do computador ou da interface, e nunca da infância do indivíduo, ou de sua relação com o pai ou com a mãe.
 
:)
Luiz Agner
 
 


 
Em 17/07/07, Luciano Lobato <luciano.lobato AT gmail.com > escreveu:
Oi Guilhermo,

Em termos práticos? Sim. Se o usuário fala que ele teve algum problema em determinado aspecto da interface, eu acredito que não há razão para não analisarmos mais a fundo, certo? Essa verbalização pode corresponder às causas ou ao próprio comportamento... ou não. 50% de chance de encontrarmos algo =)

Rigorosamente? Não. O que é um problema de usabilidade? É uma condição na qual o usuário tem dificuldades para desempenhar uma tarefa, certo? Em um teste de usabilidade "tradicional", podemos observar o desempenho do usuário, logo a verbalização dele seria uma fonte indireta ou secundária sobre esse desempenho, mas não exatamente um problema de usabilidade (a não ser que a tarefa seja "falar que não teve nenhum problema com a interface" rs).

Resumindo tudo: as verbalizações do usuário podem nos dar pistas, mas dificilmente causas, já que elas mesmo são "efeitos". De um jeito ou de outro, são informações úteis (a não ser que ele seja um mentiroso compulsivo ou queira te sacanear).


[]s!

Luciano Lobato
http://www.nahipermidia.com/blog/

On 7/17/07, Guilhermo Reis < reis AT guilhermo.com > wrote:
Luciano e Gustavo,
 
Pelo que entendi isso não impede que a verbalização do usuário possa ser usado para indicar que existe um problema de usabilidade. Se o usuário manifesta que teve dificuldade isso deve ser encarado como um problema. A explicação do usuário sobre a razão problema pode não ser válida (e acredito que raramente é), mas a sua indicação de que de existe um problema é valida.
 
Está certo isso?

Abraços,
 
................................ Guilhermo
 
Em 17/07/07, Gustavo Gawry <gustavogawry AT gmail.com > escreveu:
Luciano, faço minhas suas palavras.
Talvez não tenha me expressado bem quando falei sobre a validade do uso da verbalização, mas o Luciano explicou bem, o problema é quando se toma a verbalização do usuário sobre sua reação ipsis litteris como explicação ao seu comportamento.


On 7/17/07, Luciano Lobato <luciano.lobato AT gmail.com > wrote:
Oi Guilhermo,

IMHO, as verbalizações do usuário devem ser levadas em conta, pois são mais comportamentos que ele emite na interação com a interface (como você mesmo falou, mais variáveis observadas). Mas o conteúdo dessas verbalizações não deve ser considerado como explicação do comportamento do usuário (ex: usuário: "ah, eu fiz x porque y"; pesquisador: "ah, o usuário fez x porque y"). É muito mais comum a gente não discriminar as causas que nos levam a fazer tal coisa do que discriminar.

Acho que o grande argumento "contra" a verbalização não é nem que o usuário deva ficar calado ou que suas verbalizações devam ser ignoradas pelos pesquisadores, mas que a fala dele (ou o seu conteúdo) não deve ser usada pelo pesquisador como a explicação de seu comportamento, mas como mais comportamentos a serem analisados. É mais uma questão de como usar essas verbalizações: podemos ingenuamente acreditar que o conteúdo da fala do usuário explica seu comportamento ou considerar essas verbalizações como mais comportamentos.

[]s!

Luciano Lobato
http://www.nahipermidia.com/blog/




On 7/17/07, Guilhermo Reis <reis AT guilhermo.com > wrote:
Gustavo e Luciano,
 
Não sou especialista em psicologia por isso me desculpem se a minha colocação estiver errada. Por favor, me explique melhor esse problema da verbalização dos usuários.
 
Concordo que quando o usuário em um teste de usabilidade verbaliza ele pode mentir ou não saber expressar corretamente suas dificuldades cognitivas. Porém um teste de usabilidade tem uma forte influência do contexto, o que, na minha opinião, o torna mais objetivo e diminui a possibilidade do usuário mentir ou não saber se expressar.
 
Em um teste de usabilidade Ã© passada uma tarefa para o usuário executar e é a execução dessa tarefa que é observada. A verbalização é mais uma das variáveis observadas, as outras são o tempo de execução da tarefa, os caminhos percorridos, se conseguiu concluir a tarefa, etc. Dessa forma a verbalização do usuário esta contextualizada na tarefa. O entrevistador faz perguntas objetivas sobre a execução da tarefa, sobre as dificuldades que o usuário teve. Esse carater mais objetvo e a observação permitem que o entrevistador consiga facilmente validar ou não uma resposta.
 
Vou contar um caso real para exemplificar o que eu estou dizendo. Já tive a oportunidade em uma pesquisa "etnográfica" onde observava usuários utilizando caixas eletrônicos. Nessa pesquisa eu fiquei na sala onde estão os caixas eletrônicos e observava quem estava tendo dificuldade em usar a máquina. Essas pessoas com dificuldade eram abordadas logo após usar o caixa eletrônico através de um questionário. A primeira pergunta do questionário era: "Você acha fácil usar o caixa eletrônico?". A maioria dos entrevistados disseram que achavam fácil usar o caixa eletrônico. Esse é um resultado que parece estranho dado que foi observado in loco que a amostra tinha dificuldade em usar o caixa eletrônico. Com as demais perguntas do questionário, que eram mais objetivas e específicas sobre a tarefa executada foi possível confirmar que as pessoas realmente tiveram dificuldade e onde ela ocorreu.
 
A minha interpretação das respostas dessa primeira pergunta, e já previa um resultado assim, Ã© que o entrevistado tem vergonha de admitir que tem dificuldade, por isso essa pergunta serviu mais para criar empatia entre o entrevistador e o entrevistado que para análise propriamente dita das dificuldades em executar a tarefa.
 
Assim acho que a possibilidade do usuário mentir na sua verbalização em um teste de usabilidade é muito baixa e facilmente detectável.
 
O que vocês acham?
 
Abraços,
 
........................ Guilhermo

 
Em 16/07/07, Luciano Lobato <luciano.lobato AT gmail.com > escreveu:
Oi Gustavo,

A facu de psicologia tá valendo a pena, hein? =)

Apenas complementando... O Skinner, que deu seguimento e ruptura ao behaviorismo do Watson, dizia que a fala e/ou introspecção é comportamento verbal, e deve ser analisada como tal.

Tinha alguns experimentos interessantes, onde um experimentador (entrevistador) entrevistava algumas pessoas (sujeitos da pesquisa) e a verbalização deles ia tomando um rumo de acordo com os sinais corporais do experimentador (o comportamento ia sendo modelado ao longo da entrevista). Aliás, em psicologia, é conhecido o efeito do observador (o observador sendo uma variável e influenciando o comportamento do observado).

[]s!

Luciano Lobato
http://www.nahipermidia.com/blog/


On 7/16/07, Gustavo Gawry < gustavogawry AT gmail.com > wrote:
Apesar de uma grande diferença ( um é gratuito o outro não )
existe um bom serviço do mesmo tipo, ele se chama ClickTale.

O que eu acho pior é não poder ver o usuário. O que pode acontecer por exemplo: um mouse parado durante uma leitura ou um mouse parado enquanto se vai pegar um cafezinho... Você não consegue fazer esse tipo de diferenciação. bem como observar sua reação durante a interação, isso faz muita diferença.

A verbalização (ou introspecção) para alguns pesquisadores não deve ser considerada como metodo de aquisição de informações pois ela exprime algo que não é tangível. não é algo observado pelo pesquisador portanto pode ser qualquer coisa da imaginação do usuário, ele simplesmente pode mentir sobre o que sente e o que percebe. o que faz com que não seja uma pratica verdadeiramente científica.

Essa foi uma das mudanças básicas que ocorreram nos estudos de psicologia do estruturalismo de Edward Titchener ao Behaviorismo de John B. Watson.

Não estou afirmando que não se pode obter informação de qualidade a partir da verbalização, mas concordo com o fato dela não poder ser considerada caso haja a intenção de uma pesquisa estritamente científica.


Abs

On 7/16/07, Rodrigues Comandolli < rcomandolli AT gmail.com > wrote:
Concordo plenamente. Nada como ouvir o que o usuário verbailiza enquanto executa as tarefas e suas expressões. Isso conta muito pra descobrir pontos de confusão.

Como o Agner citou, começarei testando com meu blog. Alguém já testou se o _javascript_ utilizado não prejudica a interação do usuário? compatibilidade e peso?

Abs,
--
Rodrigues Comandolli
Arquiteto de Informação
Terra Networks - América Latina
http://www.comand.art.br


On 7/16/07, Luiz Agner <luizagner AT gmail.com > wrote:

O serviço é bem interessante, principalmente por ser gratuito, mas não pode ser considerado um teste de usabilidade verdadeiro, na medida em que não tenha cenários, tarefas, público-alvo, contexto de uso ou protocolos de verbalização. E quanto à definição da amostra - será sempre por conveniência?
 
Mas acho muito bom para ser adotado em blogs e sites pessoais... Ótima dica!
 
abs
Luiz Agner
 
 

 
Em 15/07/07, Fabio Palamedi <fabio.palamedi AT gmail.com > escreveu:

=)

Concordo com o Robson.

 

A pesar de que, eu particularmente acredito que dentro de um site, exista uma hierarquia de prioridades, e que testes de usabilidade in loco, tambem servem para definir essa hierarquia de interação do usuário com o site/sistema.

 

Uma coisa interessante que pensei, foi que me veio uma sensação muito vaga do que o usuário estaria fazendo, quando ele parou o mouse por alguns segundos em algum lugar da tela. O que ele esta fazendo? Lendo? Pensando? Procurando?

 

Uma boa temática a ser levantada…rs..testes de usabilidade são realmente eficazes quando feito a distância? Podemos reparar pelas feições ou até mesmo comentários que o usuário faz, quando gravamos o teste, mas nesse caso, ficamos no escuro…rs….o que o danado ta pensando agora? Rs, porque ele fez isso? Qual foi a sensação que ele teve ao não encontrar/encontrar algo?

 

De qualquer forma, uma excelente ferramenta =)

Vlw pela dica Henrique =)

 

Fabio Palamedi

 


De: aifia-pt-bounces AT lists.ibiblio.org [mailto:aifia-pt-bounces AT lists.ibiblio.org] Em nome de Robson Santos
Enviada em: domingo, 15 de julho de 2007 10:48
Para: 'Arquitetura da Informação (em Português)'
Assunto: [AI] RES: RobotReplay

 

Excelente dica, Henrique!

 

Realmente é uma ferramenta muito útil e interessante como instrumento para registro da interação e da navegação dos usuários que pode ser inserido no processo de avaliação de usabilidade de um website. No entanto, somente este registro não configura um teste (formal) de usabilidade, pois deixa de registrar importantes dados qualitativos resultandes da interação.

 

Podemos usar o RobotReplay para obter uma amostra bem numerosa das interações e navegação do website mas, já que os participantes podem estar em qualquer lugar do mundo. Para entender a usabilidade de um website se faz necessário observar e registrar in loco, mesmo que com menor número de participantes, para também entender o grau de satisfação do usuário.

 

Já vou adotar RobotReplay =D

 

Robson Santos
Usabilidade & Ergodesign
contato AT robsonsantos.com
tel: 21 2286-9127
mob: 21 9957-0169
www.robsonsantos.com
http://interfaceando.blogspot.com

 

 


De: aifia-pt-bounces AT lists.ibiblio.org [mailto: aifia-pt-bounces AT lists.ibiblio.org] Em nome de Henrique Costa Pereira
Enviada em: sábado, 14 de julho de 2007 16:16
Para: Arquitetura da Informação (em Português)
Assunto: [AI] RobotReplay


RobotReplay, fazendo testes de usabilidade com usuários reais, de  graça e sem eles saberem...

http://www.revolucao.etc.br/archives/robotreplay-testes-de-usabilidade-com-usuarios-reais-e-de-graca/

Escorreu uma lágrima aqui quando eu vi o serviço...

[ ]`s

--
*********************************************
Henrique Costa Pereira
Site: http://www.revolucao.etc.br
*********************************************


. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Atenciosamente,
Luiz Agner


------------------------------------------------------------------------------------
Luiz Agner

Instituto Brasileiro de Geografia e Estatística / IBGE
Centro de Documentação e Disseminação de Informações / CDDI

Professor da UniverCidade  /  Escola de Desenho Industrial
Instituto de Artes Visuais  /  IAV
http://www.univercidade.br/iav/index.html

MSN: < agner_ead AT yahoo.com.br>
Gmail: < luizagner AT gmail.com>

BLOG: http://www.agner.com.br

Conheça o livro:
"Ergodesign e Arquitetura de Informação: Trabalhando com o Usuário"
Ed. Quartet, 2006  -  ISBN: 858569680X
Disponível nos sites: Submarino, 2AB e Livraria Cultura Online
------------------------------------------------------------------------------------
. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt





. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Gustavo Gawry
User Experience Analyst
Analista de Experiência do Usuário

www.gawry.com (in portuguese)

. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt


. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Abraços,

............................ Guilhermo
www.guilhermo.com

. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt


. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Gustavo Gawry
User Experience Analyst
Analista de Experiência do Usuário

www.gawry.com (in portuguese)

. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Abraços,

............................ Guilhermo
www.guilhermo.com

. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt


. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt



--
Atenciosamente,
Luiz Agner


------------------------------------------------------------------------------------
Luiz Agner

                 Instituto Brasileiro de Geografia e Estatística / IBGE
                 Centro de Documentação e Disseminação de Informações / CDDI


Professor da UniverCidade  /  Escola de Desenho Industrial
Instituto de Artes Visuais  /  IAV
http://www.univercidade.br/iav/index.html

MSN: < agner_ead AT yahoo.com.br >
Gmail: <luizagner AT gmail.com>

BLOG: http://www.agner.com.br

Conheça o livro:
"Ergodesign e Arquitetura de Informação: Trabalhando com o Usuário"
Ed. Quartet, 2006  -  ISBN: 858569680X
Disponível nos sites: Submarino, 2AB e Livraria Cultura Online
------------------------------------------------------------------------------------

. . . . . . . . . . . . . . . . . . . . . .
Ao responder, elimine o texto não essencial
de mensagens anteriores e evite formatação.

Lista de discussão AIfIA-pt
AIfIA-pt AT lists.ibiblio.org
Arquitetura de Informação em Português
http://lists.ibiblio.org/mailman/listinfo/aifia-pt




Archive powered by MHonArc 2.6.24.

Top of Page