Hace más de un año me puse a añadir el soporte para Kinect a ARToolKit usando para ello libfreenect. Obtuve buenos resultados pero no tenía tiempo para publicar un código que estuviera lo suficientemente probado. Aunque ahora ya no tiene demasiado sentido porque al menos en Ubuntu se puede usar el Kinect en ARToolKit mediante el video input de GStremaer (ya que Ubuntu crea un dispositivo /dev/videoX al conectarlo, o al menos eso me ha sucedido a mí en Ubuntu 12.04 ACTUALIZACIÓN: He descubierto que esto sucede por el módulo gspca_kinect introducido a partir del kernel Linux 3.0). De todas maneras quería aprender como funciona ARToolKit por dentro. Ahora le he añadido no solo el soporte para la cámara RGB, sino tambien para la cámara IR, el motor y el LED.
La propia naturaleza de la cámara IR hace que usarla con ARToolKit sea muy difícil si el marker no está muy cerca del Kinect, pero oye es divertido programar con libfreenet. Trataré de publicar el código lo antes posible. Cuando lo tenga un poco más depurado.