FOOTBALL ANALYTICS: RASTREAMENTO DE JOGADORES ATRAVÉS
DE INTELIGÊNCIA ARTIFICIAL
Túlio Rodrigues Ribeiro1,2* (PGB), Júlia Nogueira Nunes3,4 (IC/PG), Bruno Sousa Gomes5 (IC), Rilder de
Sousa Pires1,6,7 (PP), Erneson Alves de Oliveira1,6,7,8 (PO)
1. Universidade de Fortaleza - Professor do Centro de Ciência e Tecnologia
2. Universidade de Fortaleza - Doutorando em Informática Aplicada - Bolsista FEQ/CAPES
3. Universidade de Fortaleza - Graduada em Análise e Desenvolvimento de Sistemas - Bolsista FEQ
4. Universidade de Fortaleza - Pós-Graduanda em Ciência de Dados
5. Universidade de Fortaleza - Graduando em Ciência da Computação - Bolsista CNPq
6. Universidade de Fortaleza - Professor do Núcleo de Ciência de Dados e Inteligência Artificial
7. Universidade de Fortaleza - Professor do Programa de Pós Graduação em Informática Aplicada
8. Universidade de Fortaleza - Professor do Mestrado Profissional em Ciências da Cidade
Resumo
Este artigo apresenta os avanços de uma pesquisa de doutorado voltada para o
desenvolvimento de uma ferramenta de football analytics utilizando técnicas de Aprendizado
Profundo e Visão Computacional. O objetivo é realizar o rastreamento óptico de jogadores a
partir de vídeos das partidas, sem a necessidade de dispositivos GPS. O modelo YOLO foi
aplicado para identificar e rastrear jogadores em uma área específica do campo durante um
trecho de um vídeo de uma partida de futebol. Foi utilizado processamento de imagem para
destacar a metade do campo, evitando a identificação de elementos fora dessa área. As
coordenadas dos jogadores foram extraídas e transformadas em um mapa 2D por meio de uma
matriz homográfica, permitindo uma representação precisa das posições dos jogadores em
campo. Embora o modelo tenha demonstrado eficácia no rastreamento, desafios como a perda
temporária de jogadores em situações de oclusão e a necessidade de intervenções manuais
para distinguir os times e o árbitro foram identificados. Esses desafios destacam a necessidade
de melhorias no modelo, que serão abordadas em etapas futuras da pesquisa, com o objetivo
de aumentar a eficiência da ferramenta em cenários esportivos complexos.m
Palavras-chave: Football Analytics. Aprendizado Profundo. Redes Convolucionais. Visão Computacional. YOLO.25
​
​
​
Introdução
A análise de desempenho no futebol, conhecida como football analytics, tem se tornado
uma área de interesse tanto no mercado nacional quanto internacional, especialmente com o
avanço das tecnologias de Visão Computacional e Aprendizado Profundo (Russell; Norvig,
2020; Tuyls et al., 2021; Mavrogiannis; Maglogiannis, 2022). No entanto, há uma escassez de
ferramentas que realizam, em tempo real, o rastreamento óptico e a análise de desempenho de
jogadores de ambas as equipes em campo, utilizando apenas dados obtidos a partir de vídeos
das partidas. As análises atualmente disponíveis são baseadas em dispositivos GPS, que,
embora eficazes, apresentam limitações, como a impossibilidade de obter dados relacionados à
equipe adversária. Portanto, o desenvolvimento de uma ferramenta que empregue Visão
Computacional para essas análises poderia preencher uma lacuna no mercado de football
analytics.
O desenvolvimento dessa ferramenta representa uma inovação importante, que é não
apenas tecnicamente viável, apoiada por protótipos já existentes que utilizam redes neurais
como o You Only Look Once (YOLO) (Jocher; Chaurasia; Qiu, 2023) e técnicas avançadas de
Processamento de Imagem (Géron, 2019; Szeliski, 2022), mas também relevante para atender
às demandas do mercado e dos clubes de futebol que buscam vantagem competitiva.
Metodologia
O modelo proposto neste projeto tem como objetivo capturar dados provenientes do
rastreamento óptico dos jogadores em campo durante uma partida de futebol. Inicialmente,
serão utilizados vídeos de partidas de futebol com câmera estática, que servirão como entrada
para o modelo, juntamente com quatro pontos de referência no vídeo para calibragem. Em
seguida, o modelo divide o vídeo em quadros para processamento.
Para o desenvolvimento do projeto, foi utilizado um trecho de 1 minuto da final da Copa
do Mundo de 2022 entre Argentina (Time A) e França (Time B), em que a câmera permanece
estática. A partir de cada quadro extraído do vídeo, é realizado um processamento de imagem
que destaca apenas a área correspondente à metade do campo, evitando assim a identificação
de pessoas fora dessa área, como espectadores na arquibancada, de acordo com a Figura 1.
Figura 1 - Quadro com a imagem destacada e as caixas resultantes da predição do YOLO.
Fonte: Elaborado pelo Autor (2024).
A imagem destacada do campo serve como entrada para a rede neural YOLO,
especificamente a versão YOLOv9e, na tarefa de rastreamento, que identifica os jogadores
presentes em cada quadro do vídeo. Destaca-se que o YOLO atribui uma identificação única a
cada jogador detectado na imagem, permitindo o rastreamento contínuo ao longo dos quadros.
Dessa forma, o rastreamento é realizado de maneira consistente, mesmo quando os jogadores
se movem entre os quadros (Jocher; Chaurasia; Qiu, 2023).
Ao final do processamento, o modelo YOLO retorna as coordenadas e um identificador
para cada jogador encontrado na imagem de um determinado quadro. Por meio das
coordenadas, é possível desenhar uma caixa de identificação ao redor de cada jogador e um
ponto central na base dessa caixa que corresponde, aproximadamente, aos pés do jogador
(Figura 1).
Existem dois tipos de coordenadas a serem consideradas: as “coordenadas da imagem”,
que correspondem às posições dos jogadores nos pixels do quadro, e as “coordenadas do
campo”, que se referem às posições reais (x, y) dos jogadores no campo 2D. As coordenadas
dos jogadores obtidas através do YOLO representam suas posições na imagem em
perspectiva, ou seja, as coordenadas na imagem.
Essa abordagem permitiu capturar as posições dos jogadores em cada quadro do vídeo,
embora essas posições estejam relacionadas à imagem, e não diretamente ao campo 2D. Para
realizar a transformação de perspectiva, ou seja, converter as coordenadas do 3D (quadro) para
o 2D (campo), aplicou-se a técnica da matriz homográfica. Essa matriz mapeia os pontos do
quadro original para um mapa 2D, no qual as coordenadas transformadas dos jogadores são
inseridas. O uso dessa técnica possibilitou a obtenção das posições (x, y) de cada jogador em
relação ao campo para cada quadro do vídeo (Szeliski, 2022).
Os processos descritos fazem parte do pipeline de processamento de imagem que
resulta nos dados de rastreamento dos jogadores em campo. Esse pipeline é aplicado em todos
os quadros do vídeo para obter os dados do trecho da partida em questão, os quais podem ser
utilizados para calcular diversas métricas de desempenho.
Ressalta-se que foi utilizado o modelo YOLO padrão sem treinamento específico e que o
mesmo não diferencia as pessoas identificadas no quadro em jogadores de diferentes times ou
em árbitro. Para fazer essa diferenciação, foi realizada uma identificação manual de qual time
era o jogador identificado e a identificação do árbitro.
Resultados e Discussão
Com o objetivo de obter os dados de posição (x, y) dos jogadores no campo durante a
partida, foram aplicadas técnicas de visão computacional e aprendizado profundo para rastrear
os jogadores em um vídeo de uma partida de futebol. Destaca-se que essas informações são
relevantes para os times de futebol, principalmente devido às análises táticas que podem ser
realizadas através desses dados.
A partir das coordenadas dos jogadores no campo, obtidas através do YOLO e da matriz
homográfica, foi gerada uma imagem do campo 2D com todos os jogadores rastreados para
cada quadro do vídeo, conforme mostrado na Figura 2. Cada ponto na imagem representa uma
pessoa, com cores diferentes para distinguir os times e o árbitro (verde para o time A, vermelho
para o time B e amarelo para o árbitro) em um único quadro do vídeo. Em cada quadro, as
posições (x, y) de cada jogador são registradas, permitindo a análise da movimentação dos
jogadores ao longo do tempo. Essa análise possibilita observar a variação de suas posições nos
eixos x e y, além de calcular métricas relacionadas, como velocidade e aceleração.
Figura 2 - Mapa 2D com as posições (x, y) dos jogadores e árbitro.
Fonte: Elaborado pelo Autor (2024).
Essas informações permitem uma análise tanto do desempenho individual dos jogadores
quanto do desempenho coletivo do time, oferecendo insights sobre o comportamento da equipe
durante momentos específicos da partida, como em situações de ataque ou defesa. Dessa
forma, foi gerado um vídeo a partir dos quadros que contêm o desenho do campo e as posições
dos jogadores e do árbitro, o qual foi incorporado ao vídeo original com uma certa
transparência, de acordo com a Figura 3.
Figura 3 - Quadro do vídeo com mapa 2D.
Fonte: Elaborado pelo Autor (2024).
O YOLO apresentou dificuldades em manter o rastreamento contínuo dos jogadores,
especialmente em situações de oclusão, como quando um jogador cruzava com outro no
campo. Nesses casos, o modelo criava novos identificadores ao reconhecer novamente os
jogadores, o que exigiu uma verificação manual dos conjuntos de identificadores para cada
jogador e a subsequente consolidação dessas informações. Outro aspecto relevante foi a
necessidade de identificar manualmente os times e o árbitro, o que adicionou uma etapa
adicional ao processo.
Ao todo, foram rastreados 20 jogadores em campo, sendo 10 de cada time. Os goleiros
foram os únicos jogadores que não foram identificados corretamente; em um dos times, o
goleiro não aparece, e no outro, o goleiro presente não foi identificado pelo YOLO. Para esses
jogadores, foram gerados 28 e 20 rastreadores diferentes, respectivamente. Além dos
jogadores, o árbitro e a Spidercam também foram rastreados, com 4 e 7 rastreadores gerados,
respectivamente.
A Figura 4 compara o tempo em que o modelo YOLO rastreou cada jogador com o
tempo real em que cada jogador esteve presente na área destacada do vídeo. De maneira
geral, o YOLO apresentou um desempenho satisfatório, com o rastreamento se aproximando do
tempo real para vários jogadores. Embora existam diferenças, com uma média de 6,85
segundos e um desvio padrão de 5,01 segundos, essas discrepâncias são compreensíveis,
dado o desafio de rastrear jogadores em situações de oclusão.
Figura 4 - Comparação entre o tempo de rastreamento do YOLO e o tempo real.
Fonte: Elaborado pelo Autor (2024).
O modelo YOLO demonstrou ser eficaz na identificação dos jogadores em campo,
permitindo a transformação de perspectiva necessária para obter as posições dos jogadores ao
longo do vídeo. Contudo, alguns desafios foram observados durante o processo. O modelo
apresentou dificuldades em manter o rastreamento contínuo, necessitando de verificação e
consolidação manual dos identificadores, além de não conseguir identificar o goleiro,
provavelmente devido à maior distância deste em relação à câmera. Esses desafios indicam
áreas que podem ser aprimoradas para aumentar a precisão e a eficiência do rastreamento.
Conclusão
O presente artigo apresentou os avanços obtidos até o momento em uma pesquisa de
doutorado, cujo objetivo é desenvolver métodos de football analytics por meio de técnicas de
visão computacional. Especificamente, a pesquisa busca aplicar o modelo YOLO para o
rastreamento de jogadores em partidas de futebol e realizar a subsequente transformação de
perspectiva, a fim de obter as posições dos jogadores em um mapa 2D do campo. Essas
ferramentas visam fornecer subsídios para análises táticas dos times e avaliação de
desempenho dos jogadores.
Contudo, a etapa inicial, que consiste na obtenção dos dados das posições (x, y) dos
jogadores por meio de visão computacional, tem se mostrado desafiadora. Os resultados
indicam que o modelo YOLO é capaz de identificar com eficácia os jogadores em um cenário
dinâmico, como uma partida de futebol, e permite uma análise detalhada de suas posições ao
longo do tempo. Entretanto, desafios significativos foram identificados durante o processo, como
a dificuldade do modelo em rastrear jogadores em situações de oclusão e a falha na
identificação de jogadores distantes, como o goleiro. Esses problemas exigiram intervenções
manuais, como a verificação e consolidação dos identificadores dos jogadores e a identificação
manual dos times e do árbitro.
Esses desafios revelam áreas de melhoria que serão abordadas nas próximas etapas da
pesquisa, com o objetivo de aumentar a eficácia do modelo em cenários esportivos complexos.
Além disso, a continuação da pesquisa deverá explorar o treinamento específico do modelo
YOLO para este contexto, bem como a integração de técnicas adicionais que possam mitigar as
limitações observadas.
Referências
GÉRON, Aurélien. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. 2. ed.
Sebastopol, CA: O’Reilly Media, 2019.
JOCHER, Glenn; CHAURASIA, Ayush; QIU, Jin. Ultralytics YOLO [Computer software]. 2023.
Disponível em: https://github.com/ultralytics/ultralytics. Acesso em: 15 jun. 2024.
MAVROGIANNIS, Petros; MAGLOGIANNIS, Ilias. Amateur football analytics using computer
vision. Neural Computing and Applications, v. 34, p. 19639-19654, 2022.
RUSSELL, Stuart; NORVIG, Peter. Artificial Intelligence: A Modern Approach. 4. ed. Pearson,
2020. Disponível em: http://aima.cs.berkeley.edu/. Acesso em: 10 jul. 2024.
SZELISKI, Richard. Computer Vision: Algorithms and Applications. Springer Nature, 2022.
TUYLS, Karl; et al. Game plan: What AI can do for football, and what football can do for AI. Journal
of Artificial Intelligence Research, v. 71, p. 41–88, 2021. DOI: https://doi.org/10.1613/jair.1.12505.
Agradecimentos
Agradecemos à Fundação Edson Queiroz e à Universidade de Fortaleza pelo fomento ao
estudo por meio da bolsa de apoio à equipe de pesquisa pelo Edital 61/2023. Este trabalho
também foi realizado com o apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior – Brasil (CAPES) – Código de Financiamento 001, e do Conselho Nacional de
Desenvolvimento Científico e Tecnológico (CNPq) – Brasil.