Comment Apple a construit une caméra iPhone qui fait de tout le monde un photographe professionnel

Comment Apple pense excessivement à la conception des caméras iPhone?

Cet automne, lorsque des centaines de magnifiques photos d’amis, proches, et leurs animaux de compagnie commencent inévitablement à dominer votre flux Instagram, n’hésitez pas à remercier les maîtres hollandais du 17ème siècle comme Vermeer.

C’est le lendemain de l’événement Apple iPhone du 12 septembre que le vice-président senior d’Apple, Phil Schiller, a expliqué avec enthousiasme les origines de la fonctionnalité “Portrait Lighting” dans le nouvel iPhone 8 Plus et iPhone X. “Nous n’avons pas seulement étudié la photographie de portrait. Nous sommes allés jusqu’à la peinture “, a t-il expliqué.

Comme la caméra dans chaque iPhone qui les a précédés, Apple vénère les caméras de l’iPhone 8 Plus et le prochain iPhone X comme son meilleur. Cette année, la société est particulièrement fière de ceux-ci, qui disposent d’une caractéristique “Portrait Lighting” qui apporte une gamme d’effets professionnels aux très bonnes photos que le système à deux caméras de l’iPhone 7 Plus est capable de prendre.

Le saut de cette année, cependant, se révèle particulièrement significatif. Un certain nombre de premières critiques de l’iPhone 8 sont obsédées par la caméra – TechCrunch, par exemple, a choisi de revoir le téléphone exclusivement en caméra. Et il y a un argument décent que les améliorations apportées aux systèmes de caméras dans le 8 Plus et le X sont quelques-unes des plus grandes mises à jour de la nouvelle ligne. Les effets de l’appareil photo ne dépendent pas des filtres. Ils sont le résultat du nouveau système de caméras double d’Apple qui fonctionne en harmonie avec l’apprentissage de la machine pour détecter une scène, la mapper en profondeur, puis modifier les contours d’éclairage sur le sujet. Tout est terminé en temps réel, et vous pouvez même prévisualiser les résultats grâce à la puissante puce Aion Bionic A11.

Le résultat, lorsqu’il est appliqué à l’échelle d’Apple, a le pouvoir d’être transformateur pour la photographie moderne, avec des millions de shoots amateurs soudainement professionnalisés. À bien des égards, c’est la réalisation la plus complète de la démocratisation des images de haute qualité auxquelles l’entreprise a travaillé depuis l’iPhone 4.

Et pour y arriver, Apple s’est appuyé sur ce qu’il fait le mieux: étude enthousiaste et déconstruction de la forme artistique qu’il souhaite imiter et devancer. Dans le cas des iPhones 8 Plus et X, cela signifiait couler sur la façon dont d’autres ont utilisé l’éclairage à travers l’histoire —  Richard Avedon, Annie Leibovitz, Vermeer.

“Si vous regardez les chefs d’oeuvres des maîtres hollandais et comparez-les aux peintures qui se faisaient en Asie, de façon stylistique, ils sont différents” Johnnie Manzari, un concepteur de l’équipe d’interface humaine d’Apple, a dit. “Nous nous sommes alors demandés pourquoi ils sont différents et quels éléments de ces styles pouvons-nous recréer avec un logiciel?”

Et puis, Apple est allé dans le studio et a tenté de le faire. “Nous avons passé beaucoup de temps à éclairer les gens et à les déplacer —  beaucoup de temps”, dit Manzari. “Nous avions des ingénieurs qui essayaient de comprendre les contours d’un visage et comment nous pourrions leur appliquer de l’éclairage à travers des logiciels, et nous avions d’autres ingénieurs en silicium qui travaillaient pour rendre le processus super rapide. Nous avons vraiment beaucoup travaillé.”

C’est un peu trop, mais cela fait preuve de rigueur — peut-être même monomaniaque — attention au détail qui fonctionne pour Apple quand il est accouplé aux ressources technologiques de l’entreprise, comme l’apprentissage par machine. Décrivant le processus de conception, Schiller s’efforce de noter la collaboration entre les études ésotériques et la technologie pure.

“Il y a l’équipe de Reality Augmented, qui dit: ‘Hé, nous avons besoin de plus de ce que la caméra nous provide, car nous voulons faire de AR (la réalité augmentée) une meilleure expérience et la caméra a un grand rôle dans tout ça’ ‘, explique Schiller. “Et l’équipe qui crée la Face ID, a besoin de la technologie des caméras et du matériel, des logiciels, des capteurs et des lentilles pour prendre en charge l’identification biométrique sur le périphérique. Et donc, il existe de nombreux rôles que l’appareil photo peut jouer, soit comme élément principal – pour prendre une photo – ou comme support, pour aider à déverrouiller votre téléphone ou à activer une expérience AR. Il y a donc beaucoup de travail entre toutes les équipes et tous ces éléments.”

Et lorsque tous ces côtés travaillent ensemble, il est possible de créer un nouveau paradigme pour la photographie par téléphone portable. Lorsqu’on lui a posé des questions sur l’évolution de la caméra de l’iPhone, Schiller reconnaît que la société a travaillé délibérément et progressivement pour une caméra professionnelle. Mais il suit rapidement un addenda qui vous indique tout ce qu’il faut savoir sur Apple et la conception de caméra: Il ne s’agit pas de “faisons une meilleure caméra!” dit-il, mais c’est “quelle caméra pouvons-nous créer? avec quoi nous pouvons contribuer à la photographie?

La campagne publicitaire “Shot on iPhone” omniprésente de l’entreprise , une série de séances de shoots d’iPhone que le magazine Time a couvert, et et les photographes professionnels qui utilisent l’iPhone de la même manière qu’ils le font avec Cannon ou Leica un Canon ou Leica témoignent déjà de ce qu’il peut accomplir. Et les débuts des systèmes de caméras à double objectif mis à jour dans l’iPhone 8 Plus et l’iPhone X semblent réitérer cela. alors qu’en version bêta, Portrait Lighting fonctionne généralement —  bien miraculeusement bien dans certains cas. Ma seule déception a été de ne pas réussir à “La Jeune Fille à la perle” style “Stage Light portrait” de mon chien Dopey Fergus. Il s’avère que le mode portrait est conçu pour les personnes.

Le photographe de mode et d’art Kevin Lu (@sweatengine on Instagram) dit qu’il l’a légitimement impressionné, malgré le problème occasionnel. “Cela ouvre vraiment la porte à beaucoup de possibilités”, observe-t-il.

Ce que fait Apple, c’est utiliser son logiciel pour éclairer une photo, une personne éclairée pourrait , plus largement, enlever la complexité de la façon dont les caméras élégantes que vous auriez généralement besoin pour faire fonctionner ces choses.

“Nous sommes dans un moment où les plus grands progrès de la technologie des caméras se passent autant dans le logiciel que dans le matériel”, explique Schiller. “Et cela s’ajoute  au point fort d’apple par rapport aux entreprises des caméras traditionnelles”

Mais y a t-il quelque chose à perdre lorsque vous utilisez un logiciel pour simplifier et automatiser un processus historiquement artistique? Après tout, il y a un sentiment quelque peu dystopique de pousser le bouton et d’étaler essentiellement le terrain de jeu entre les professionnels et les amateurs.

“Il ne s’agit pas de ruiner les choses”, constate Manzari, notant que les appareils devenant plus professionnels, deviennent souvent plus intimidants. “Il s’agit de l’accessibilité. Il s’agit d’aider les gens à profiter de leur propre créativité.”

Le point de vue de Manzari est qu’il y a beaucoup de grands photographes qui ne sont pas formés professionnellement. Ils n’ont pas besoin ou ne veulent pas traiter un éventail de lentilles et d’outils pour calibrer la mise au point et la profondeur de champ lorsqu’ils font des photos. Ils ne devraient pas non plus le faire. Alors, pourquoi ne pas enlever toutes les complexités techniques et leur donner quelque chose qui peut prendre un bon shoot?

“Je pense que la tentative était moins d’imiter un style spécifique et plus pour essayer de toucher la gamme de styles qui existent, afin que nous puissions trouver quelque chose pour tout le monde, à partir d’éléments de style de base, plutôt que d’un point de conception particulier, “Schiller dit quand j’observe que” Stage Light “ressemble vraiment à Vermeer, quand il brise l’arrière-plan d’un sujet.

“Je pense que la tentative était moins d’imiter un style spécifique et plus pour essayer de toucher la gamme de styles qui existent, afin que nous puissions trouver quelque chose pour tout le monde, à partir d’éléments de style de base, plutôt que d’un point de conception particulier, “Schiller dit quand je remarque que” Stage Light “ressemble vraiment à Vermeer, quand il brise l’arrière-plan d’un sujet.

“En vérité, ce n’était pas”rendre celui-ci ressemblant à X “, dit-il.” C’était plus “, allons-y suffisamment assez pour que chacun ait des choix différents pour des situations différentes qui couvrent les cas d’utilisation clés.” C’est donc l’apprentissage de la façon dont d’autres ont utilisé l’éclairage à travers l’histoire et dans le monde entier. “

Il convient de noter qu’Apple a travaillé pour cela de manière beaucoup moins tapante à l’oeil (flashy) que l’éclairage de portrait. Les caméras sur le 8 Plus et le X, par exemple, détectent la neige en tant que situation et apportent automatiquement des ajustements à la balance des blancs, à l’exposition et ainsi de suite afin que vous ne devez pas vous inquiéter à ce sujet. “Tout est facile,  la caméra fait exactement ce dont il a besoin”, explique Schiller. “Le logiciel sait comment s’en occuper. Il n’y a pas de paramètres à configurer”. Il n’y a pas de paramètres. En d’autres termes, oui, “ça marche”. 🙂

Peut-être que  rien de tout cela ne devrait être une surprise. Non seulement Apple a progressivement travaillé pour ce niveau de photographie avec l’iPhone pendant une bonne décennie, mais le flou des lignes entre le professionnalisme et l’amateurisme — pose une apparence simple et conviviale sur une technologie vertigineuse et complexe — a été une caractéristique de l’innovation d’Apple depuis sa création. C’est le principe de la société derrière la création d’un système d’ordinateur de bureau et d’un système glisser-déposer d’organisation des dossiers et des fichiers . Et c’est la même chose derrière des programmes comme iMovie, iPhoto et GarageBand, qui a donné à tout le monde un intérêt et un peu d’outils de créativité, qui avait l’air presque comme les pros’. À l’intérieur des nouveaux caméras iPhone qui sont tous pris un peu plus loin, aucune interface skeuomorphique pour naviguer, juste un bouton, des lentilles et un nombre d’algorithmes et de processeurs complexes, et des résultats frappants.

“Nous pensons que la meilleure façon de construire une caméra est de poser des questions simples et fondamentales sur la photographie”, dit Manzari. “Qu’est-ce que cela signifie d’être un photographe? Qu’est-ce que cela signifie de capturer une mémoire? Si vous commencez là —  et non pas avec une longue liste de fonctionnalités possibles à cocher — vous finissez souvent avec quelque chose de mieux. Lorsque vous supprimez la complexité de la façon dont fonctionne la caméra, la technologie disparaît. Ensuite, les gens peuvent appliquer toute votre créativité. Et vous obtenez des photographies incroyables. “