Em 1983, a indústria de videogames enfrentava o seu “crash”. O mercado norte-americano colapsava sob o peso de títulos de baixa qualidade e uma saturação de hardware. Quando a Nintendo decidiu lançar o Famicom (nosso querido NES) nos EUA, ela não o chamou de videogame, mas de Entertainment System. E o protagonista dessa estratégia não foi Mario, mas sim o R.O.B. (Robotic Operating Buddy).
Este pequeno robô de plástico, que hoje repousa em prateleiras de colecionadores, representa o marco zero de uma obsessão: a necessidade de o console “enxergar” e interagir com o mundo físico. O R.O.B. não era apenas um brinquedo; ele era um receptor de dados ópticos. Ele lia flashes na tela da TV para realizar movimentos mecânicos.
Neste artigo, vamos além da superfície dos botões. Vamos explorar como a Visão Computacional — a ciência de extrair significado de imagens. E ver também alguns sensores que transformaram periféricos em ferramentas transdisciplinares, conectando a sala de estar aos laboratórios de medicina, robótica e educação.
1. A Arqueologia da Luz: O Legado das Light Guns
Antes de falarmos de câmeras de 4K, precisamos entender a simplicidade genial das light guns. Desde o Magnavox Odyssey (1972) até a NES Zapper, a tecnologia era, curiosamente, o inverso do que imaginamos. A arma não “atirava” luz; na verdade a TV que “atirava” na pistola.
O Mecanismo de Interrupção de Varredura
Academicamente, chamamos isso de detecção por fotocélula sincronizada com o feixe de elétrons do CRT (tubo de raios catódicos).
- O Truque: Quando você apertava o gatilho, a tela ficava preta por um único frame, exceto pelo alvo, que ficava branco.
- A Captura: O sensor na arma detectava se estava recebendo luz naquele microssegundo exato.
Essa técnica rudimentar de visão computacional (binária: 0 para escuro, 1 para luz) foi o primeiro passo para que o hardware entendesse as coordenadas espaciais do usuário. É a base do que hoje estudamos como rastreamento de pontos de interesse (keypoint detection).
Se quiser saber um pouco mais da implementação veja aqui: Light Gun Hacking Part 1: Using Namco light guns in Unity – I Code 4 Coffee
2. O Parênteses da “Trindade Computacional”: Gráficos vs. Visão
Para os leitores que acompanham nossa coluna, está notável que parei nossa Trilogia da Computação Gráfica, aqui fazemos uma pausa necessária. Se o Ray Tracing e os Shaders são o esforço da máquina para gerar luz e sombra de forma convincente (Síntese de Imagem), a Visão Computacional é o esforço para decompor a luz e sombra do mundo real em vetores e matrizes (Análise de Imagem). Essa parada foi estratégica, por interesse do assunto e claro, algo completamente relacionado, vamos entender.
No desenvolvimento de jogos modernos, essas duas vertentes se fundem. Imagine um jogo de Realidade Aumentada (AR) no seu smartphone:
- Visão Computacional: A câmera identifica o plano horizontal (chão) através de algoritmos de SLAM (Simultaneous Localization and Mapping).
- Computação Gráfica: A engine (Unity ou Unreal) projeta um personagem 3D sobre esse plano, calculando sombras em tempo real para que ele pareça estar lá.
É uma conversa constante entre o que a máquina vê e o que ela desenha. Uma simbiose que define a presença digital.
3. A Era dos sensores e câmeras
Dos anos 90 e o início dos 2000 marcaram a transição dos sensores de luz para os sensores de imagem (câmeras) e movimento.
A Power Glove que não era da Nintendo
A PowerGlove é uma versão mais modesta e menos funcional da DataGlove, luva de US$ 10.000 idealizado por Tim Zimmerman, e que ganhou vida na VLP Research. A VLP, fundada por Jason Lanier, foi a primeira companhia a desenvolver e vender produtos de realidade virtual.
E aqui começa a história de como isso caiu no colo da Nintendo e virou um grande elemento de marketing do que realmente um acessório. Imagine ter que transformar um equipamento inovador de US$ 10.000 em um produto para o público gamer com preço sugerido de US$ 75? Foi justamente isso que aconteceu. A DataGlove virou a PowerGlove.
Muito antes da Luva ser um acessório para o NES, ela estava na ideia de uma outra empresa, a AGE, para criar um videogame com uma forma bem mais imersiva de interação. A luva seria essa forma de interação.
Mas, competir com a Nintendo naquele momento seria arriscado demais. Aqui a história muda, pois a tecnologia da VLP, licenciada pela AGE, virou um dispositivo compatível com o NES. A fabricação da luva, nesse modo de um produto final, bem mais barato e pronto para atender o mercado gamer, ficou nas mãos da Mattel, que já tinha passado por uma experiência negativa no mercado de jogos, com o console Intellivision. Com certeza, transformar um produto de US$ 10.000 num de US$ 75 não seria uma tarefa fácil, e muita coisa teve que ser alterada – principalmente em termos de tecnologia. A principal mudança técnica aconteceu nos sensores. Os sensores magnéticos deram lugar aos de rastreamento ultrassônico.
Os dois transmissões na luva se comunicam com três estações receptoras que ficavam encaixados em L no televisor. A transmissão entre a luva e as estações acontecia por ultrassom, espectro de frequência inaudível para o ser humano.
Mesmo estando em filme dito “cult” – “O Gênio do Videogame” (The Wizard), lançado em 1989 – A Power Glove falhou miserávelmente como produto, mas contribuiu para que muitos gamers na década de 90 olhassem o mercado de jogos como algo realmente transformador e marcante.
O pioneiro Sega Activator
O primeiro “Kinect” foi um octógono de raios infravermelhos da Sega em 1993. Ele era péssimo funcionalmente, mas visionário conceitualmente, tentando mapear o corpo do jogador sem câmeras.
O Caso Game Boy Camera (1998)
O que parecia um acessório limitado (fotos de 128×112 pixels em 4 tons de cinza) era, na verdade, a democratização do sensor CMOS. Pela primeira vez, o rosto do jogador era digitalizado e inserido no código do jogo.
- Curiosidade Técnica: O sensor do Game Boy Camera era tão sensível que foi utilizado por astrônomos amadores para fazer astrofotografia rudimentar de baixo custo, conectando o Game Boy ao telescópio. Uma prova viva de transdisciplinaridade!
O PlayStation EyeToy, a Visão Baseada em Movimento e a evolução das câmeras
Com o PlayStation 2, a Sony introduziu o EyeToy. Aqui, deixamos de tirar fotos para analisar fluxo óptico (optical flow). O processador do PS2 comparava frames sucessivos para identificar onde havia mudança de pixels, interpretando isso como movimento. Se o pixel na coordenada (x,y) mudasse de cor rapidamente, o jogo entendia que você “bateu” naquela posição. Foi o embrião da interface gestual em massa.
Essa tecnologia evoluiu até o Playstation 5, vamos ver como isso aconteceu:
PlayStation Eye (PlayStation 3 – 2007)
Veio com a intenção de melhorar captura de movimento e voz. E trouxe uma resolução melhorada e maior taxa de quadros em comparação ao EyeToy. Com o PlayStation Eye, a Sony focou em baixa latência e fidelidade. Capaz de capturar até 120 quadros por segundo em resoluções menores, ela era extremamente precisa no rastreamento da esfera brilhante dos bastões do PlayStation Move. Além disso, sua matriz de microfones permitia o cancelamento de ruído e eco, sendo usada para comandos de voz e chat com clareza. Foi essencial para o funcionamento do controle de movimento PlayStation Move, lançado posteriormente em 2010, oferecendo rastreamento mais preciso.
PlayStation Camera (PlayStation 4 – 2013)
Com uma mudança para um design de lente dupla para percepção de profundidade 3D, a PS Camera do PS4 permite que o console calcule a profundidade do ambiente (visão estereoscópica). Isso foi fundamental para o PlayStation VR, pois permitia rastrear as luzes do headset e do controle em um espaço tridimensional 3D. Ela também trouxe o Login por Reconhecimento Facial, tornando o acesso ao console muito mais rápido. Foi fundamental para o rastreamento de luz do PlayStation VR original.
Câmera HD (PlayStation 5 – 2020)
Evolução para captura em 1080p Full HD com foco em criadores de conteúdo. Inclui ferramentas nativas de remoção de fundo para streamers. A Câmera HD do PS5 foi projetada especificamente para Streamers. Ela captura em 1080p e possui ferramentas integradas para remoção de fundo (chroma key virtual), permitindo que você apareça nas suas transmissões sem a necessidade de um PC potente. Importante: se você pretende usar o PSVR original no PS5, você ainda precisará da câmera do PS4 e de um adaptador específico, pois a câmera do PS5 não é compatível com o sistema VR de primeira geração.
O Sensor de Oxigênio do N64
A Nintendo desenvolveu o Bio Sensor para o Nintendo 64, que se prendia à orelha do jogador para medir os batimentos cardíacos. O objetivo era que jogos como Tetris 64 acelerassem ou diminuíssem o ritmo conforme o estresse do jogador.
4. A Revolução Kinect: Luz Estruturada e Time of Flight (ToF)
Nenhum periférico impactou tanto a pesquisa acadêmica quanto o Kinect da Microsoft. Ele dividiu a história da interação em “antes e depois”.
Como ele “vê” em 3D?
O Kinect não era uma câmera simples; era um scanner de profundidade. Ele utilizava duas tecnologias principais em suas versões:
- Structured Light (Kinect v1): O aparelho projetava milhares de pontos infravermelhos invisíveis na sala. Uma câmera infravermelha lia como esses pontos se deformavam sobre os objetos. Se o ponto ficasse menor ou mudasse de posição, o algoritmo calculava a distância (eixo Z).
- Time of Flight (Kinect v2): O sensor emitia um pulso de luz e media quanto tempo ele levava para bater em você e voltar. Sabendo que a luz viaja a $300.000$ km/s, a precisão tornou-se milimétrica.
O Kinect Além dos jogos de dança
O Kinect, ficou muito conhecido por seu uso em jogos de dança, mas foi adotado pela comunidade científica tão rapidamente que a Microsoft teve que lançar um SDK (Software Development Kit) oficial para Windows.
- Na Saúde: Hospitais usaram o Kinect para que cirurgiões pudessem navegar em exames de imagem sem tocar em nada, mantendo o ambiente estéril.
- Na Robótica: Tornou-se o “olho” padrão de robôs domésticos por ser 100x mais barato que um sensor LiDAR industrial na época.
- Na Arqueologia: Utilizado para criar modelos 3D rápidos de artefatos e cavernas.
Mais uma curiosidade que inclusive mencionamos aqui anteriormente, seu codinome era projeto Natal – seguindo a tradição de usar nomes de cidades, homenageando o local de nascimento do diretor Alex Kipman.
5. Brasil: O Berço da Criatividade com sensores
Não podemos falar de tecnologia sem olhar para nossa casa. A comunidade acadêmica brasileira é pioneira no uso desses sensores para fins sociais.
Casos de Sucesso Nacional
No Brasil, pesquisadores utilizam o rastreamento de esqueletos do Kinect, os acelerômetros do Wii Remote e claro Óculos VR com sensores, para criar ferramentas de Fisioterapia Gamificada. Jogos desenvolvidos em universidades brasileiras ajudam crianças com paralisia cerebral ou idosos em recuperação pós-AVC, transformando exercícios repetitivos e dolorosos em desafios lúdicos.
Além disso, a nossa história com periféricos é única. Durante a reserva de mercado, empresas como Dynacom, Gradiente e Tec Toy criaram adaptações locais de pistolas e controles que permitiram que uma geração inteira de brasileiros tivesse contato com o básico da computação, muito antes da internet banda larga.
6. O Futuro: Biometria, Haptics e o Desaparecimento da Interface
Para onde estamos indo? A tendência atual é o “desaparecimento” dos acessórios. Tem pouco tempo que a Xbox descontinuou o Kinect, que no meu ponto de vista é um dos acessórios e recurdo de interação mais interessantes e aplicáveis que tivemos depois do Mouse, Teclado e Joystick, mas nem tudo está perdido. Temos novas tecnologias e aplicações vindo, principalmente com o VR e AR:
- Eye Tracking (PSVR 2): Sensores que acompanham o movimento da retina para renderizar com mais detalhes apenas onde você está olhando (Foveated Rendering). Mais uma vez, Visão Computacional auxiliando a Computação Gráfica.
- Haptics (DualSense): Sensores de pressão e motores de bobina de voz que simulam texturas. O sensor aqui não “vê”, ele “sente” para devolver uma resposta física.
- BCI (Brain-Computer Interface): Startups como a Neuralink e projetos acadêmicos buscam ler ondas cerebrais para que o comando aconteça antes mesmo do movimento muscular.
Pode ser que isso nem venha a acontecer, mas a ideia é incrivelmente aplicável e tem benefícios que vão muito além da diversão, podendo expandir para a acessibilidade e até mesmo treinamento de foco e atenção.
O Nascimento do “Toys-to-Life” e a Tecnologia NFC
Esse trecho é um agradecimento especial, a provocação dessa matéria veio do meu filho amado, Icaro, que conversando comigo me lembrou de acessórios interessantes que temos nos games, como o portal do jogo favorito dele no momento o Skylanders, que na verdade é um leitor que com o uso dos personagens deu uma dinâmica completamente diferente ao game.
O grande trunfo de Skylanders foi a utilização da tecnologia NFC (Near Field Communication). Enquanto outros acessórios da época dependiam de cabos ou conexões ópticas complexas, o Skylanders utilizava um campo de radiofrequência de curto alcance.
- Memória Interna nos Bonecos: Diferente de outros jogos, o progresso do personagem (nível, chapéus e habilidades) não ficava salvo no console, mas sim dentro do próprio boneco. Isso permitia que você levasse seu boneco para a casa de um amigo e jogasse com seu personagem exatamente como ele estava, mesmo que o console dele fosse de uma marca diferente (cross-platform).
- O “Cérebro” do Portal: O Portal of Power não era apenas um leitor passivo. Ele continha um controlador que gerenciava a troca de dados constante entre o chip RFID na base da figura e o jogo, garantindo que, se o boneco fosse retirado, o personagem desaparecesse da tela instantaneamente.
Conclusão: A Provocação da Interface
Os acessórios e sensores nos ensinam que o videogame nunca foi apenas sobre o que acontece dentro da tela, mas sobre como o nosso corpo se traduz para o bit. A transdisciplinaridade dessas tecnologias prova que o entretenimento é, muitas vezes, o laboratório de testes para as inovações que salvarão vidas ou mudarão a indústria no futuro.
Se hoje o seu carro consegue frear sozinho ao “ver” um pedestre, agradeça, em parte, às décadas de pesquisa em câmeras e sensores que começaram com uma pistola de plástico laranja e um robô que empilhava discos coloridos.
Reflexão para o debate: Podemos pensar que o futuro dos games virá com a eliminação total do controle físico em favor de sensores invisíveis e comandos mentais? Com isso estaremos perdendo a “materialidade” da nossa cultura ou estamos finalmente alcançando a imersão total?
Deixe sua opinião nos comentários!
Fontes e Referências:
- História e Preservação:
- The Strong – National Museum of Play: Arquivos sobre o impacto cultural do R.O.B. e da Power Glove.
- Atari Museum: Detalhes técnicos sobre os primeiros joysticks e trackballs.
- Conteúdo de portais
- Técnico e Acadêmico:
- SBGames – Proceedings: Repositório de artigos brasileiros sobre o uso de sensores em saúde e educação.
- Microsoft Research – Kinect Evolution: Documentação técnica sobre Luz Estruturada e ToF.
- Retro Reversing: Engenharia reversa de hardware clássico e sensores ópticos.
- Bancos de Dados de Hardware:
- Console Variations: Catálogo de todas as variações físicas de sensores já lançadas.
- VGMuseum: Imagens e manuais de periféricos obscuros.
- Sega Retro – Peripherals: Tudo sobre as experimentações da Sega com sensores infravermelhos e 3D.
- The Game Console: Evolução visual dos dispositivos de entrada.
- Videogame Database: A maior e mais completa enciclopédia brasileira de hardware e acessórios. Essencial para pesquisar variações nacionais e especificações técnicas.
Professor, Analista de Sistemas, Presidente da UCEG e pai do Icaro.
“Os jogos podem mudar o mundo”
