Retrouver du son à partir d'une vidéo

Des chercheurs ont réussi à reproduire du son à partir d'une vidéo muette en regardant les vibrations des objets présents dans la vidéo. ( la vidéo est en anglais)

Envoyé par Guss le 12 août 2014 à 00h39

11 commentaires

Tri par popularité

Tri chronologique

+ 0 -

magnussoren Ver (re-)cyclable

ok, le son est une onde..mais de la a traduire une frequence en syllabe articulé..faut un put1 d'algorythme..

Il y a 11 ans

+ 0 -

Jampol3 En réponse à magnussoren

Bah ! J'imagine que s'ils arrivent à "reconstruire" Under Pressure suffisamment proprement pour qu'un algorithme de reconnaissance de chanson le reconnaisse, il doit pas manquer grand chose pour qu'une reconnaissance vocale "comprenne" des paroles prononcées. Et puis, les sons d'exemples peuvent aussi être retravaillés, les fréquences utiles augmentées et les fréquences parasites atténuées, ce qui accroîtrait la "reconnaissabilité" ...

Il y a 11 ans

+ 0 -

satapi En réponse à Jampol3 Vermisseau

Non, ce sera impossible. Ici il faut plus de 5000 fps pour avoir quelque chose de potable. Il y a un exemple a 60fps avec un paquet de chips, mais ça doit être un cas particulier en gros plan d'un matériau connu. Avec un vieux film en 24fps, tu auras au mieux un signal à 12Hz (en dessous de la fréquence audible pour l'homme). Pour info on tourne plus vite dans les 44100/48000 hz pour un bon échantillonnage audio ;)

Il y a 11 ans

+ 0 -

Jampol3 En réponse à satapi

L'exemple a 60fps tire profit du rolling shutter pour détecter le décalage entre le chaque ligne de l'image. 60fps à 1080p ça fait 1/64800s par ligne, en considérant que le DLSR utilisé est au top, si on prend du milieu de gamme avec un "rideau" qui descend en 1/30s ça fait quand même 30*1080=32400 ; 1/32400s par ligne.
Quant à la parole, un échantillonnage à 7/8kHz semble suffire (pas besoin de monter dans des fréquences de plus de 3500Hz), les 44.1kHz pour la musique sont surtout dûs au fait que les valeurs de fréquences sont bien plus disparates et balaient souvent une grande partie du spectre audible.
Et puis le procédé existe déjà avec des micros laser qui détectent les vibrations des fenêtres...

Il y a 11 ans

+ 18 -

Alix LeLoMBriK

Il y a 11 ans

+ 0 -

Mephisto Jeune lombric

Yes! Première étape vers la stéréotomie du professeur Desty Nova... Gally, nous voilà.

Il y a 11 ans

+ 1 -

Chinois11 Ténia koué

maintenant on sait que les paquets de chips c'est pas fait pour enregistrer de la musqiue

Il y a 11 ans

+ 1 -

ouiche

Je suis bluffé ! On va pouvoir récupérer le son dans les films muets ça veut dire ?

Il y a 11 ans

+ 1 -

Guss En réponse à ouiche Corpoworm Interstellar

non, il faut un haut framerate pour le faire ( 3000img/sec par exemple), et les vieux films sont en 24, voir des fois 15 images par secondes, de plus ils ne peuvent utiliser le truc du Rolling shutter, cqr les vieilles caméras ne fonctionnent pas de la même manière qu'une caméra numérique.

Il y a 11 ans

+ 0 -

ouiche En réponse à Guss

Nan mais j'déconnais hein !

Il y a 11 ans

+ 1 -

Guss En réponse à ouiche Corpoworm Interstellar

on sait jamais :D

Il y a 11 ans

Inscrivez-vous ou Connectez-vous pour envoyer un commentaire