Uma estratégia para engajamento de participantes de eventos online

Devido ao advento da pandemia de COVID-19, eventos acadêmicos passaram a ocorrer em plataformas online. Entretanto, diferente dos eventos presenciais, eventos pela internet limitam a interação entre participantes. Aqui, é apresentada uma estratégia de gamificação usada para ampliar o engajamento dos participantes durante o I Workshop Online de Bioinformática (WOB20). A estratégia, denominada “Taça das Casas”, consistiu em agrupar os participantes, com base em suas áreas de interesse, em quatro grupos distintos que competiram entre si. Dos 2727 inscritos no WOB20, 200 participantes se inscreveram nessa atividade interativa. A atividade consistia em responder uma série de perguntas referentes às palestras ocorridas durante os três dias de eventos. O grupo vencedor deveria acertar a maior quantidade de questões (outliers foram removidos). Os participantes puderam interagir com outros membros do grupo por meio de salas exclusivas de discussão. Ao fim, notou-se uma maior proporção média de mensagens ao vivo entre participantes do evento durante a competição. Isso pode indicar um aumento no engajamento e interação entre participantes. Estratégias como esta podem ser utilizadas para aumentar o interesse em eventos online, proporcionando aos participantes mais possibilidades de interação.

Introdução

Eventos acadêmicos presenciais, como congressos, conferências e workshops, permitem uma maior interação entre participantes. Eles fornecem um ambiente propício para que os participantes conversem sobre pesquisas, palestras do evento, assuntos acadêmicos e outros assuntos do mundo cotidiano. De certa forma, esse tipo de conversa e interação entre pesquisadores sobre o dia a dia nos laboratórios pode ter um impacto positivo em suas carreiras [1].

Em geral, interações em eventos acadêmicos presenciais ocorrem durante as confraternizações, intervalos entre palestras ou durante o coffee break. Eventos online também permitem interações entre participantes por meio de ferramentas de comunicação instantânea (chats de mensagens). Além disso, tem sido relatado que eventos online tendem a reduzir a inibição dos participantes [2]. Mesmo assim, alguns participantes podem se sentir inibidos devido ao medo de se expor em chats públicos. Ainda, as limitações do ambiente web podem restringir o encontro com outros participantes com interesses em comum. Com o advento da pandemia de COVID-19 [3], a grande maioria dos eventos acadêmicos passou a ser realizada em plataformas online.

Em novembro de 2020, um comitê formado por estudantes do Programa Interunidades de Pós-graduação em Bioinformática da Universidade Federal de Minas Gerais (UFMG) organizou o I Workshop Online de Bioinformática (WOB20). Durante três dias, o evento contou com 12 palestras de pesquisadores renomados e três painéis de discussão (mesas-redondas). O evento teve ao todo 2727 inscritos de diversas partes do país e do mundo. O público do WOB20 foi formado principalmente por estudantes de graduação, mestrado e doutorado, além de estudantes do ensino médio e pesquisadores em estágio pós-doutoral com interesse em pesquisas na área de bioinformática. O WOB20 foi transmitido ao vivo pela plataforma de vídeos YouTube através do canal do Comitê Organizador do Curso de Verão em Bioinformática da UFMG (https://www.youtube.com/CVBioinformáticaUFMG).

A fim de engajar os participantes do evento, o comitê organizador definiu uma competição interativa, denominada “Taça das Casas”. Os inscritos no WOB20 que desejassem participar poderiam também se inscrever gratuitamente nessa atividade, que ocorreu em paralelo ao último dia do evento. O objetivo principal da competição foi propor que os alunos se organizassem em grupos e respondessem a perguntas relacionadas às palestras do evento. Aqui é apresentado um breve relato de como essa competição foi implementada e quais as principais perspectivas obtidas.

A seleção

Visando aperfeiçoar as interações entre participantes do WOB20 e da atividade extracurricular proposta, estabeleceu-se um método para divisão dos inscritos em grupos. A estratégia de agrupamento visou: (i) Construir quatro grupos com um número de indivíduos aproximado; (ii) preferencialmente, agrupar indivíduos com interesses em comum; e (iii) apresentar um baixo custo computacional para definição dos membros dos grupos.

Assim, a “Taça das Casas” foi dividida em quatro grupos, denominados como “casas”. Essa ideia foi inspirada na cultura pop e na fauna brasileira. Estudos têm relatado o uso de personagens baseados em animais da fauna brasileira em atividades de ensino [4, 5]. Dessa forma, presumiu-se que isso poderia estimular um maior interesse por parte dos participantes. Foram definidas quatro casas: Cobra, Onça, Jacaré e Capivara (Figura 1).

Para cada “casa”, apresentou-se um brasão com um animal representante. Essa estética foi adotada para atrair a atenção dos participantes e incentivá-los a interagir com outros membros de seu grupo.

Como a divulgação da competição foi realizada durante o último dia do WOB20, não foi necessário realizar uma inscrição prévia para participar da competição. Requisitou-se apenas que os participantes estivessem regularmente inscritos no WOB20 e que informassem nome e endereço de e-mail, usados para contactar os vencedores.

A seguir, os participantes passaram por um processo de seleção para definição de suas casas. O processo de seleção foi definido pela resposta a três questões:

1. Escolha uma “Ômica”:
   1. Genômica
   2. Transcriptômica
   3. Proteômica e/ou Bioinformática estrutural
2. Qual tópico mais te atrai?
   1. Empreendedorismo
   2. Divulgação científica
3. Qual dos seguintes tipos de organismos corresponde a uma área mais interessante de estudo?
   1. Procariotos
   2. Eucariotos

A seleção utilizou um sistema de pontuação simplificado, a qual a seleção na casa seria definida com base em uma resposta específica (Tabela 1). Por exemplo, se um participante escolhesse as opções “genômica”, “empreendedorismo” e “procariotos”, respectivamente, logo seria classificado no grupo “cobra”. Podemos fazer essa classificação com base nas respostas e no sistema de pontuação: o participante teria 2 pontos no grupo cobra, 1 ponto no grupo onça, 1 ponto no grupo jacaré e nenhum ponto para o grupo capivara.

Após a seleção, cada participante recebeu o link para o questionário da competição, um link para uma sala de conversa em particular com outros membros de seu grupo e a senha de acesso.

A atividade

Após ser selecionado em uma das casas, cada competidor recebeu o link para um formulário do Google Forms (https://docs.google.com/forms), contendo 12 questões referentes a cada uma das 12 palestras do evento (material suplementar). As questões consistiam em perguntas relacionadas a tópicos comumente citados durante as palestras. Por exemplo, a décima questão avaliou o entendimento da palestra “Vacinologia reversa e genômica subtrativa no desenvolvimento racional de fármacos e vacinas” (Figura 2). Das 200 pessoas que responderam a essa questão, 87% delas assinalaram a resposta correta.

De fato, as perguntas não poderiam ser consideradas complexas, uma vez que a grande maioria delas envolvia assuntos amplamente citados durante as palestras. Além disso, elas poderiam ser rapidamente respondidas. Estimou-se que cada pergunta demandaria aproximadamente um minuto para ser analisada e respondida. É importante ressaltar que o objetivo da competição não é avaliar o conhecimento dos participantes, mas sim engajá-los a conversar com outros participantes e discutir os temas das palestras. Por isso, foi permitido (e até mesmo recomendado) que os participantes conversassem com outros membros do mesmo grupo sobre as questões da competição. A própria plataforma do YouTube, utilizada para transmissão do evento, também foi usada para permitir a comunicação dentro das equipes. Para cada equipe, adicionou-se um vídeo não listado, exibindo apenas o brasão da casa. Apenas membros selecionados receberam o link para acesso. Assim, os membros da equipe puderam se comunicar por meio da caixa de comentários públicos do YouTube.

O resultado

Ao todo 200 participantes do WOB20 se inscreveram na competição. A grande maioria dos participantes acertou todas as perguntas e conseguiu a pontuação máxima de 12 pontos (Figura 3). Além disso, deve-se ressaltar que a pontuação média foi de 9,88 pontos e a nota mediana foi de 10 pontos.

Para evitar vieses oriundos do desbalanceamento no tamanho dos grupos, foi estabelecido que a casa vencedora seria aquela que obtivesse a maior média interna excluindo 10% dos dados (5% das menores notas e 5% das maiores notas). Essa estratégia foi sugerida para remover outliers, e assim buscar um resultado considerado mais justo. Entretanto, o resultado da média interna usando 90% dos dados não alterou o ranking quando comparado ao uso apenas da média simples (Tabela 2).

Ao final do evento, a casa da onça foi a vencedora. Para incentivar a participação na competição, uma empresa patrocinadora do evento premiou os membros do time vencedor com cupons gratuitos para cursos de programação voltados para a bioinformática.

Avaliando o engajamento

Avaliar o engajamento dos participantes de eventos online é uma tarefa complexa. O relatório estatístico fornecido pelo YouTube, plataforma usada para realização do WOB20, indicou que aproximadamente 2800 usuários únicos assistiram a pelo menos uma palestra do evento (alguns dados desse relatório estão disponíveis no material suplementar). Esses dados corroboram com o total de participantes que inicialmente se inscreveram para requisitar o certificado de participação (2727 inscritos). Como os links de acesso ao evento estavam publicamente disponíveis, muitos espectadores não registrados puderam assistir às palestras.

Por ser um evento à distância, os participantes sentem-se à vontade para assistir apenas às palestras que têm maior interesse. Dados estatísticos do YouTube para o WOB20 indicam que os espectadores assistiram em média entre três e quatro palestras das cinco exibidas a cada dia. Além disso, muitos inscritos preferiram não assistir às palestras ao vivo. Logo, a quantidade de espectadores que assistiram simultaneamente a cada palestra apresentou uma grande variação. A título de comparação, o pico de espectadores simultâneos ocorreu na primeira palestra, quando 815 pessoas assistiam ao mesmo tempo a apresentação ao vivo. Apesar de ser uma boa métrica para avaliar o interesse, o pico de espectadores simultâneos decai a cada palestra. Mesmo em eventos presenciais é observado uma redução no número de participantes no último dia. Em transmissões online, esse é um fenômeno natural proporcionado devido ao redirecionamento incorreto do YouTube para outros vídeos, pela preferência dos usuários em assistir ao evento de forma assíncrona ou pelo cansaço natural dos espectadores por assistir a um evento online.

Outra forma de mensurar a participação em eventos online consiste em analisar as mensagens enviadas no chat durante as palestras. A plataforma do YouTube permite que espectadores enviem mensagens aos palestrantes e a outros espectadores por um chat de mensagens. Usuários utilizam o chat para enviar perguntas, realizar discussões sobre o tema da palestra ou conversar entre si. Algumas perguntas enviadas foram selecionadas pela comissão do evento e as mais relevantes foram direcionadas ao vivo pelos mediadores aos palestrantes.

O pico de mensagens nos chats geralmente ocorre na primeira palestra do dia ou na última, quando os usuários utilizam o chat para cumprimentar outros participantes. Uma alta quantidade de comentários em uma palestra pode ocorrer devido a uma maior desinibição dos usuários, ao se sentirem mais à vontade para comentar e realizar questionamentos a cada palestra. Devido a um decaimento natural no pico de espectadores à medida que o evento ocorre, é previsível que ocorra também um decaimento no número de comentários. De fato, os dados sugerem que isso naturalmente ocorre nos dois primeiros dias. Entretanto, ao analisar a razão entre comentários realizados e o pico de espectadores, pode-se ver um aumento proporcional médio no terceiro dia (Tabela 3).

A Tabela 3 mostra o pico de espectadores e a quantidade de mensagens no chat para cada uma das palestras. Pode-se notar um aumento na média proporcional de comentários durante a competição, o que pode indicar um possível aumento de engajamento proporcionado pela atividade. Apesar da redução no pico de espectadores, vê-se que a média de comentários se mantém ou tem um leve aumento no último dia. Uma análise manual dos comentários do chat realizados ao vivo revelou um fenômeno inesperado e interessante: participantes da competição utilizavam hashtags ao final de cada mensagem para indicar a qual time pertenciam. De fato, esperava-se que as discussões sobre a competição ocorressem apenas nos chats específicos de cada grupo. Entretanto, o interesse pela competição foi levado para o chat principal, o que pode ser um indício da redução na inibição dos participantes que passaram a realizar mais comentários e interagir uns com os outros.

Análise das falhas na organização da atividade

Apesar do aparente sucesso na implementação da competição, algumas falhas no processo organizacional puderam ser detectadas. Uma delas se refere ao desbalanceamento dos grupos. Para ilustrar isso, pode-se comparar o grupo onça, com 94 membros, e o grupo jacaré, com apenas 17. Apesar do uso de um método alternativo para definição do vencedor (média interna removendo 10% dos outliers), esse desbalanceamento pode ter inserido um viés no resultado final. Um modelo de agrupamento baseado em inteligência artificial foi aplicado para escolha dos grupos. Entretanto, alguns requisitos dessa seleção (como por exemplo, o requisito de que membros deveriam ter interesses similares) inseriram a necessidade de que os participantes respondessem a dezenas de perguntas para que o método de agrupamento funcionasse (dados não disponíveis). Isso poderia desincentivar a participação. Assim, utilizou-se uma estratégia baseada em algoritmos de árvore de decisão para selecionar as três perguntas mais importantes para classificação. No entanto, essa estratégia foi construída utilizando apenas algumas respostas de membros do comitê organizador, ou seja, não foi possível estabelecer uma resposta com relevância estatística.

Seria possível obter grupos com quantidades iguais de membros utilizando métodos de seleção aleatórios, mas isso afetaria um dos principais objetivos dessa competição: promover um ambiente para que participantes com interesses acadêmicos em comum possam interagir. Como perspectiva, recomenda-se a implementação de um método de seleção similar ao atual, mas que aplique um sistema simples de balanceamento que considere as inscrições já feitas. Por exemplo, se o classificador indicar que o indivíduo A possui alta similaridade com indivíduos do grupo X, Y e Z, mas se os grupos X e Y já possuírem muitos membros, o classificador deverá optar pelo grupo Z.

Outro problema detectado refere-se à divulgação da competição. A competição ocorreu das 15h às 18h no terceiro e último dia do evento. Isso foi necessário para que os participantes já tivessem algum conhecimento prévio, adquirido durante as palestras dos primeiros dias, sobre os temas da competição. Entretanto, a divulgação da competição foi realizada apenas na primeira palestra do último dia, ocorrida às 14h. Isso limitou a quantidade de participantes quando comparado ao total de inscritos no evento. Assim, sugere-se iniciar a divulgação da competição no início do evento, estabelecendo questionários parciais a cada dia, além de uma atualização diária sobre qual equipe está à frente na competição.

Conclusão

Eventos online permitem que diversas pessoas participem de atividades ao mesmo tempo, mesmo estando em diversas partes do mundo. Entretanto, eles podem ser cansativos, uma vez que há pouco espaço para interação direta entre participantes. Portanto, estratégias para promover engajamento são bem-vindas. Aqui apresentou-se os resultados de uma competição realizada durante o I Workshop Online de Bioinformática da UFMG (WOB20). A competição reuniu, em grupos, participantes com interesse em comum, avaliando questões referentes às palestras assistidas. Notou-se um aumento médio nas interações realizadas entre participantes durante a competição. As estratégias aqui apresentadas podem ser adotadas em eventos online para aumentar o engajamento dos participantes. Sugere-se ainda que esse tipo de competição possa ser adaptado e adotado em eventos presenciais.

Material suplementar

Arquivo suplementar 1. Perguntas e respostas para as 12 questões da “Taça das Casas”.

Arquivo suplementar 2. Metodologia de agrupamento.

Referências

1. Tam V. Finding community during coffee breaks. Science. 2019;366:654–654. doi:10.1126/science.366.6465.654.

2. Hugel M. Virtual Events Vs. In-Person Events: Why You Should Host Your Event Online. https://info.workcast.com/blog/virtual-events-vs-in-person-events. Accessed 22 May 2021.

3. Habas K, Nganwuchu C, Shahzad F, Gopalan R, Haque M, Rahman S, et al. Resolution of coronavirus disease 2019 (COVID-19). Expert Rev Anti Infect Ther. 2020;18:1201–11.

4. Da-Silva E, Coelho L, Rodas T, Nogueira L. QUAL É A IMPORTÂNCIA DOS ANIMAIS NA COMPOSIÇÃO DOS PERSONAGENS DA CULTURA POP? REFLEXÕES A PARTIR DA PREFERÊNCIA DOS ALUNOS DA DISCIPLINA ZOOLOGIA DE ARTRÓPODOS. 2015.

5. Rodas T, Nogueira L, Baffa A, Silveira T, Coelho L, Da-Silva E. PERSONAGENS DA CULTURA POP INSPIRADOS EM ARTRÓPODOS E SUA UTILIZAÇÃO NAS AULAS DE ZOOLOGIA. 2015. doi:10.13140/RG.2.1.4149.7769.