iOS 12: как Apple ведет нас в зазеркалье с помощью ARKit 2 |

Однажды, дополненная реальность (AR) будет жить в наших очках или контактных линзах, в фотонах, взломанных на пути к зрительным рецепторам, или встроенных прямо в наш мозг. На данный момент он живет внутри наших iPhone и iPad. Apple, кажется, хочет, чтобы она работала как можно быстрее и с технологией наших нынешних устройств, чтобы она была настолько зрелой, насколько это возможно, к тому времени, когда мы доберемся до того, что будет дальше.

Это подходит мне просто отлично.

Напоминания о последнем ARKit

ARKit — это платформа Apple для понимания того, что видит камера, и отслеживания положения и ориентации этой камеры относительно окружающего мира. Это включает поверхности, объекты и лица, а также их движения и выражения.

ARKit 1.0, представленный всего лишь один год назад в этом месяце, мог обрабатывать однопользовательские интерфейсы и горизонтальные поверхности, а также условия освещения и отображать виртуальные трехмерные объекты на сцене — с использованием шаблонов SpriteKit, SceneKit или Metal — которые ощущались почти как будто они принадлежали в реальном мире.

ARKKit 1.5, выпущенный ранее в этом году, включал поддержку вертикальных и неровных поверхностей, непрерывную автофокусировку и перемещение, чтобы приложения могли возобновить работу из фона.

ARKit 2.0, в настоящее время в бета-версии, включает в себя видео 4: 3 (думаю, iPad); Отслеживание 2D-изображений и обнаружение 3D-объектов, поэтому фотография может перетаскивать увеличение, а реальная модель может ожить благодаря AR; текстуры окружающей среды и отображение, чтобы сделать дополненный вид более реальным; постоянный опыт, так что вы можете убрать эту модель дома сегодня, забрать ее обратно в школу завтра и продолжить там, где вы остановились; улучшенное отслеживание лица, особенно при подмигивании, взгляде и языке — да, язык — движение; и … ждать этого … многопользовательский опыт.

Что нового в ARKit 2.0

В ARKit 2 есть масса интересных технологий, в том числе новый стандартизированный формат файлов для AR под названием USDZ. Он был запущен в сотрудничестве с Pixar и Adobe, поэтому он должен завоевать популярность.

Сетка для отслеживания лица по-прежнему выглядит совершенно научно. Apple отображает его с помощью освещения, которое оценивает интенсивность, направление и цветовую температуру окружающей среды, но также предоставляет коэффициенты сферических гармоник — да, мне тоже пришлось это искать — для приложений, которые в них нуждаются. Это делает рендеринг дополнений похожим на реальный мир вокруг них.

Некоторые находят, что новое отслеживание взгляда жуткое и обнаружение языка немного на чрезмерной стороне. Я недостаточно изучил первое, чтобы сформировать образованное мнение об этом, хотя я буду делать это до осени. Последнее просто забавно, хотя. (На данный момент это также бинарный код, так что не обращайте внимания, пока нет никакой сложной гимнастики.)

Сохранение и загрузка карт — это то, что обеспечивает постоянство и взаимодействие с несколькими людьми. Вместо того, чтобы создавать и затем выбрасывать трехмерную карту мира, ARKit теперь предоставляет ее разработчикам в комплекте с простыми якорями и поддержкой пользовательских якорей для хранения и публикации.

Это много людей, хотя …

Для многопользовательских, поскольку карта мира представляет собой единую реальную систему координат, один человек может инициировать опыт, а затем поделиться им с одним или несколькими другими людьми. Каждый из них разделяет одно и то же пространство AR со своей физической точки зрения. Это достигается благодаря не только более быстрой инициализации в iOS 12, но и благодаря более быстрому и надежному отслеживанию и обнаружению плоскостей.

Тот, где @ijustine полностью надрал мне задницу в многопользовательской рогатке #ARKit. # ios12

Сообщение, опубликованное Рене Ритчи (@reneritchie) 4 июня 2018 года в 16:35 PDT

Обмен опытом осуществляется локально через многоранговые сети Bluetooth и Wi-Fi, что означает, что вы не полагаетесь на облако, что очень важно для производительности и конфиденциальности. Вы можете использовать Интернет, когда вы хотите, а не потому, что вы должны.

Есть также чертовски умная система для карт отражения. При построении карты мира ARKit также использует компьютерное зрение для построения куба или другого представления карты на основе текстуры сцены. Машинное обучение используется для того, чтобы заполнить любые дыры и создать «галлюцинацию» полной карты — если вы не присмотритесь. Затем датчики отражения обнаруживают объекты и применяют эту текстуру, когда и когда это необходимо.

У меня была возможность попробовать опыт LEGO ARKit на WWDC, и это было очень весело. Он использует обнаружение трехмерного объекта, что означает, что объект должен быть как встроен в реальный мир, так и сначала отсканирован в цифровой. Эти объекты должны быть текстурированными, жесткими и не отражающими, по крайней мере, на данный момент.

Реальное здание LEGO сидело на столе, но с помощью iPad я мог взломать его, открыть Джокера и посмотреть, как он быстро поджег его. Затем другой человек, с которым я играл, мог вызвать Бэтмена, посадить его в вертолет и спасти клоунов (?!), В то время как третий установил пожарную машину, чтобы погасить пламя. Я строил LEGO в течение многих лет, в том числе довольно хороший набор Arkham Asylum, и я не хотел бы ничего больше, чем воплощать его в жизнь с моими крестниками в течение нескольких часов каждую неделю.

Я также играл в игру SwiftShot, которая является примером кода для ARKit. У вас есть три катапульты. У вашего противника три катапульты. Последняя стоящая катапульта побеждает. То, что сделало его таким забавным, особенно турнир в последний день WWDC, состояло в том, что несколько человек могут присоединиться и посмотреть, и, когда это происходит, это начинает стирать грани между дополненной реальностью.

Больше, чем просто веселье и игры

Обмен опытом будет трансформировать все: от образования, где учитель может вести классную комнату через расширенные исследования и лаборатории, до предприятия, где команды могут сотрудничать в создании прототипов, производстве, ремонте и итерации.

Так что, да, мы все еще полудемко держим в руках наши телефоны и планшеты, чтобы сделать все это — пока. Но, опять же, в какой-то момент в ближайшем будущем мы не будем. И у Apple будет вся эта технология — и приложения будут иметь весь этот контент и эти услуги — для нас, когда придет время.

Умная фруктовая компания.

Прочитайте полный предварительный просмотр iOS 12: глубокое погружение

IOS

ВЕКТОР | Рене Ричи

Ссылка на основную публикацию