Et si Nokia préparait une nouvelle technique pour capturer des photos en 3D ?
Nokia a annoncé il y a quelques jours sa nouvelle application Nokia Refocus, permettant de modifier le focus d’une photo après l’avoir capturée. Cela est possible car l’application génère une « carte » des différentes profondeurs de la scène, capture le nombre de photos nécessaires, puis les additionne les unes aux autres… tout cela avec un seul objectif.
Pour l’instant, Nokia n’a pas communiqué plus d’informations que cela sur le procédé… mais une idée m’a traversé l’esprit : et s’il était possible de réutiliser ces données pour générer des photos en 3D ?
En effet, si Nokia Refocus permet de générer une carte des profondeurs de champs, ne serait-il pas possible de réutiliser ces données et de créer une image en 3 dimensions ? Généralement c’est la superposition des deux photos qui permet de calculer ces profondeurs en les croisant, mais il semblerait que ce soit possible avec un seul capteur si je suis bien le concept de Nokia Refocus et de cette « carte » des profondeurs. Après tout, dans le cinéma on arrive bien à convertir des films « classiques » tournés il y a des années en films 3D (ok ce n’est pas de la vraie 3D mais ça y ressemble). Qu’en pensez vous ?
J’en pense qu’il me parait peu probable qu’il soit possible de reproduire une photo 3D avec un seul capteur, sinon les modules comme Kinect ne s’embêteraient pas avec 2 capteurs séparés 😉
A moins d’une astuce mais dans ce cas, le résultat relèverai plutôt du gadget !
Le kinect ne fonctionne pas sur le principe de la stéréoscopie contrairement aux yeux+cerveau humain.
Il utilise un capteur qui balance dans toutes la pièce des infra-rouge et fait de la mesure de temps de vol de tout ces points de mesure afin de reconstituer l’espace en 3D.
Il n’y a d’ailleurs qu’un unique capteur vidéo sur le kinect simplement afin d’agrémenter certain jeux avec la vidéo utilisateur et pour ajouter la reconnaissance de couleur peut être.
Voir l’image de ce site : http://hyperbate.fr/dernier/?p=25675
et comme ça apparaît dans cette vidéo filmé en mode vision nocturne (afin de voir les points infra-rouge) http://www.youtube.com/watch?v=CEep7x-Z4wY
C’est d’ailleurs assez impressionnant le nombre de points de mesures calculés par un kinect : Primesence ( http://www.primesense.com/ ) a du bien optimiser son produit sur ce point.
Pour pouvoir faire de la 3d, il faut en anaglyphe 2 points de vue différents, idéalement espacés de la distance qui sépare le centre de nos yeux. Des morceau visible a l’oeil droit seraient caché à l’oeil gauche, et vice-versa. Ici, on n’aurait qu’un point de vue, même si il y a 50 photos. Il est possible de savoir ce qui serait en avant plan, et en arrière plan, peut-être découper ces plans et les faire un petit peu bouger pour donner une légère impression de 3d, mais cela devrait être minime. (je réfléchissais en écrivant
Comment ont ils fait pour convertir Titanic en film 3D dans ce cas ? Il n’y avait qu’une seule caméra à l’époque et la 3D s’est fait post tournage… sans même avoir de « cartographie » des profondeurs.
Ils se sont fait chier !
Ils ont traités chaque image du film (oui oui, image par image), ils ont remodélisé (en 3D) chaque éléments de chaque image.
Ils ont ajouté virtuellement la 3D dans leur modélisation et ils ont « replaqué » les images d’origine sur les modélisations 3D.
Oui c’est un travail de titan mais le résultat est top 🙂
bin déjà toutes les images numériques sont, à l’insu de leur plein gré, stéréoscopiques ; d’où la possibilité de jouer en 3D sur les jeux vidéos qui ne le sont (la nouvelle librairies graphique calcule les 2 images) … À l’époque des elsa 3Drévélators (http://www.stereo3d.com/revelator.htm), on jouait à tomb raider en 3D, sur le jeux d’origine : on avait l’impression de piloter une barbie ; …
Oui mais pour Titanic on dirait qu’ils ont découpé les personnages et qu’ils les ont avancé
Pas faux… Mais avec plusieurs photos combinées on n’arriverait pas à un meilleur résultat ?
C’est une fausse 3d (« bricolage »).
mais ça ne se fait pas automatiquement par traitement d’image.
par contre avec des applications genre smartcam et avec un mouvement latéral. On peut peut être avoir un effet genre font d’écran d’iOS 7 (avec l’utilisation du gyroscope)
Pas sur que ce soit un axe très porteur, vu le bide qu’a connu un modèle comme le HTC Evo 3D
Je pense que cela est possible avec le refocus.
L’application prend plusieurs clichés avec différents focus arrière/premier plan…
Avec un algorithme supplémentaire elle serait capable de découper les éléments avant et arrière et pourra sûrement créer un rendu 3D.
Non?
Après c’est un tout autre débat mais tant que la 3D sans lunette reste au niveau de la 3DS je n’en voie pas l’intérêt sur un smartphone.
En revanche! Si elle est exploité comme l’application Seene ( http://seene.co/ ) ça pourrait être sympa 🙂
la stéréoscopie demande donc une prise de vue … stéréoscopique … SI tu ne décales pas selon l’axe latéral ta prise de vue, tu n’as pas de stéréoscopie (ferme un œil et tu perd la 3D) ; d’ailleurs il existe plusieurs types d’appareils stéréoscopique : ceux qui ont 2 lentilles : http://www.teawamutu.net/stereoscopic/em3d.html , les adaptateurs 2 lentilles pour apn non 3D http://3dvision-blog.com/tag/3d-lens-adapter/ , le double APN http://www.photo-stereo.com/photo-stereoscopique-apn.html() et ceux qui ont une assistance pour bien prendre les 2 photos (façon panorama) …
Mais peut-être qu’en asservissant l’OIS du capteur pourrait-on prendre ces 2 photos en rafale, l’OIS se chargeant de décaler les 2 prises de vues …
Zut ! c’est publique, plus possible de déposer un brevet logiciel sur le concept 😉
Sharp avait déjà fait un téléphone avec 2 capteurs, le Aquos Phone SH80F, qui fut un bide.
lol ca fait plus d’un an que j’en fait. Un support avec le n8 d’un côté et le 808 à coté, un logiciel gratuit qui traine sur le net et ca donne déjà de très bon résultat que j’envoie sur une télé hd. Quand on fait des diner, on s’amuse avec ca car ca prend 5mn.
Je précise qu’avec cette technique c’est une vrai 3D pas une fausse.
Coucou, aucune chance la 3D est basée sur 2 image pris a quelques centimètres de decalages ce que ne peux pas faire une optique seule !
Tu confond multifocus et 3D le multifocus te permet une mise au point « 3D » car toute l’image sera au point augmentant la profondeur de champ (évite le flou d’arrière plan par exemple)
Secouss a raison, si tu veux de la 3D (stéréoscopique) tu auras obligatoirement 2 objectifs. Sinon, c’est juste impossible 🙂
Voici le résultat (en 2D) de ce que donne la 3D stéréoscopique (qui porte bien son nom) :
http://stereogif.com/
Ok merci pour ce complément d’infos 🙂
Dans le domaine de l’image de synthèse, on peut calculer ce qu’on appelle une pass de Z-Buffer (qui stocke dans des valeurs de gris la distance d’un point par rapport à l’objectif).
Avec des algorithmes bien calibrer, on peut envisager mettre en place une sorte de Z-Buffer associée à une image (c’est, d’ailleurs, certainement de cette manière que fait nokia pour calculer le faux-flou sur ses photos). Reste du coup à mapper l’image d’origine sur le modèle 3D.
Là où cela devient vraiment délicat, c’est sur les zones non vues dans l’image qu’un autre oeil verrait (sur les cotés des objets). Là encore, avec un algorithme bien pensé, on pourrait avec plus ou moins de réussite « boucher » ces oublis.
C’est là une grosse partie du boulot réalisé pour les conversions de film 2D->3D, sachant qu’en plus du boulot manuel, image par image, ils peuvent s’aider d’algorithmes qui utilisent des données fournies d’une image à l’autre (car le mouvement de la caméra permet de fournir des informations supplémentaires).
Bref, est-ce impossible? Pas sûr.
Est-ce que cela pourrait être exploitable? Pourquoi pas;
Est-ce que cela sera aussi bien qu’une prise de vue stéréoscopique? Non, sans doute possible.
Pour un coté gadget, cela peut valoir le coup, j’y vois surtout un intérêt pour justement proposer des films filmés en relief avec une meilleur appréhension du relief (on parle à terme de non pas avoir deux points de vue différents, mais cinq, voire sept ou neuf) pour des appareils ne nécessitant pas de lunettes (barrière parallaxe, comme sur la 3DS). En cas de micro-mouvement de l’oeil, celui-ci tombe sur un point de vue légèrement différent, et donc la perte de l’effet de relief est bien moindre.
Donc Julie, ton analyse n’est pas aussi folle que certains voudraient te le faire croire. 😉
« Dans le domaine de l’image de synthèse »…. Tu imagines ce qu’il faudrait comme algos pour transformer une image 2d en 3d, calculer la profondeur de champ, retranscrire la 3d stéréoscopique, juste pour une photo prise avec un appareil photo dans un téléphone grand public ???
Ajouter 2 caméras dans ton téléphone, non seulement ça coûterait moins cher, mais ça serait plus efficace, en plus d’être plus rapide !
Des fois faut pas s’embêter avec des trucs aussi compliqué 🙂
L’applis Refocus c’est un gadget de Nokia, parmis tant d’autres 😉
La différence netre la vraie 3D et la fausse est que très souvent la fausse ne donne pas vraiment un effet de relief qui sort de l’écran mais un effet de profondeur. Ou bien il faut en arrière plan mettre moin d’effet 3D pour ressembler à de la vrai fausse 3D. En fait selon les plans, ne pas mettre le même relief. je sais c’est compliqué mais moi je me comprends, j’ai fait plein de test à ce sujet 🙂
[HS]
Le prix de la trahison !
Elop makes Microsoft CEO shortlist — report | Mobile World LiveMobile World Live http://mwl.me/1b8D2uv
[/HS]
Question hors sujet de la 3D :
La technique employée par Nokia semble être de prendre plusieurs photos afin d’avoir plusieurs profondeur de champs.
Est ce que quelqu’un a pu tester ou sait ce que ça donne sur des sujets en mouvement ?
Genre est ce que ça marche si on prend une personne qui marche, une foule, une personne qui court ?
L’application n’est pas encore disponible, donc pas de possibilité de tester
Je pense que l’application prend une photo (la référence) avec une ouverture faible (f 5.6 ou plus, selon la taille du capteur) qui permet une profondeur de champs très importante, et plusieurs clichés, certainement en plus basse résolution, avec une ouverture plus importante, ce qui rétrécit la profondeur de champ. Tu mélanges le tout, tu analyses les formes pour détecter ce qui bouge, et tu espères que ça donne un bon résultat 🙂
Bref, la question de la cible en mouvement EST une excellente question, mais il y a fort à parier que cela soit pensé pour éviter les gros soucis. (et de toute façon, les objets en mouvement apparaitront soit flou (de bougé) soit net (car mouvement trop faible) et seront donc pris en compte, hormis leurs bords.
Il y a une application sur le N9 pour ça, qui s’appelle Photocam3D. Pas super pratique, mais quand on s’habitue et qu’on prend le coup de main, ça marche plutôt pas mal.
Je pense que c’est juste inutile et personne n’en veut. Y a eu 2-3 téléphones qui ont essayé il y a 3-4 ans…