Hace más de un año me puse a añadir el soporte para Kinect a ARToolKit usando para ello libfreenect. Obtuve buenos resultados pero no tenía tiempo para publicar un código que estuviera lo suficientemente probado. Aunque ahora ya no tiene demasiado sentido porque al menos en Ubuntu se puede usar el Kinect en ARToolKit mediante el video input de GStremaer (ya que Ubuntu crea un dispositivo /dev/videoX al conectarlo, o al menos eso me ha sucedido a mí en Ubuntu 12.04 ACTUALIZACIÓN: He descubierto que esto sucede por el módulo gspca_kinect introducido a partir del kernel Linux 3.0). De todas maneras quería aprender como funciona ARToolKit por dentro. Ahora le he añadido no solo el soporte para la cámara RGB, sino tambien para la cámara IR, el motor y el LED.
La propia naturaleza de la cámara IR hace que usarla con ARToolKit sea muy difícil si el marker no está muy cerca del Kinect, pero oye es divertido programar con libfreenet. Trataré de publicar el código lo antes posible. Cuando lo tenga un poco más depurado.
Can you publish the code or at least write about it so that we can see how you get hold of the Depth data. There are other people who do it on ROS (http://adriangerardcooke.com/kinect-on-ubuntu-12-04/), I will take a look at it, but if you have also done it, it can be useful.
Sorry wrong link, http://www.ros.org/wiki/ar_kinect.
Yes, I’ll publish it ASAP. It’s not very complicated, I based the code in one of the libfreenect basic examples. Hope I can finish it this week or at least publish a working but simple version.
Be aware that it only reads the data from the camera and depth sensor, it does not do any pose estimation or anything related to that.