Світові моделі Runway і Niantic: революція у генерації відео та ігрових середовищ

Runway, стартап з генерації відео, який працює з голлівудськими студіями, зокрема Lionsgate, нещодавно запустив продукт, що використовує світові моделі для створення ігрових середовищ, персоналізованих історій та персонажів, які генеруються в режимі реального часу.

“Традиційні відеоматеріали – це підхід грубої сили до генерації пікселів: ви намагаєтеся втиснути рух у кілька кадрів, щоб створити ілюзію руху, але модель насправді не розуміє та не аналізує, що відбувається в цій сцені.”

Попередні системи генерації відео мали фізику, яка відрізнялася від реального світу; світові моделі загального призначення ставлять за мету виправити ці розбіжності та забезпечити більш правдоподібні динамічні взаємодії у віртуальних середовищах.

Для будівництва таких моделей компаніям потрібні величезні обсяги даних про світ – від просторових координат до деталей поверхні та рухів об’єктів, що стає основою для навчання та вдосконалення світових моделей.

Niantic, компанія з Сан-Франциско, збирає дані з 10 мільйонів локацій через свої ігри, зокрема Pokémon Go, який має близько 30 мільйонів щомісячних користувачів, що взаємодіють із глобальною картою.

Niantic працює над Pokémon Go уже дев’ять років, і навіть після того, як гру продали американській Scopely у червні, її гравці продовжують надавати анонімні дані через сканування публічних пам’яток, щоб допомогти побудувати світову модель.

“У нас є хороший старт у цій проблемі.”

Обидва гіганти галузі – Niantic та Nvidia – працюють над заповненням розривів, щоб їхні світові моделі могли генерувати або передбачати середовища. Платформа Omniverse від Nvidia підтримує ці зусилля, створюючи та запускати симуляції для робототехнічних та інженерних застосунків, базуючись на реальних даних з відеоігор та симуляцій.

Головний виконавчий директор Nvidia Дженсен Хуанг заявив, що наступна велика фаза зростання компанії пов’язана з «фізичним штучним інтелектом» (physical AI), і ці нові моделі можуть кардинально змінити галузь робототехніки.

“Наступна велика фаза зростання пов’язана з «фізичним штучним інтелектом» – ці нові моделі революціонізують сферу робототехніки.”

Деякі учені та керівники, зокрема Ян Лекун із Meta, вважають, що візія нового покоління систем ШІ з людським рівнем інтелекту може потребувати близько десяти років.

“Ця перспектива нового покоління систем ШІ, що надають машинам інтелекту рівня людини, може потребувати приблизно 10 років.”

Незважаючи на тривалі дискусії щодо термінів, потенціал світових моделей залишається величезним: вони відкривають можливості обслуговувати інші галузі та посилювати ті знання, які комп’ютери вже зреалізували у роботі з даними та знаннями.

“Світові моделі відкривають можливості обслуговувати інші галузі та посилювати те, що комп’ютери зробили для роботи з знаннями.”

Зростаюча цікавість до світових моделей підкреслює зміщення інвестиційного та наукового фокуса від окремих мовних моделей до всеохоплюючих систем, які об’єднують дані з різних джерел для швидкої адаптації бізнесу та науки до реальних потреб.