Google DeepMind zaprezentował Genie 4 z dźwiękiem i edycją światów — TechCrunch

Google DeepMind zaprezentował model Genie 4 do generowania interaktywnych wirtualnych światów w ramach badawczego wczesnego dostępu. Tworzy on zsynchronizowany dźwięk — muzykę, odgłosy tła i dialogi — oraz pozwala użytkownikom wpisywać polecenia tekstowe bezpośrednio podczas symulacji, aby zmieniać scenę, informuje TechCrunch.

Zmiana sceny podczas symulacji

Za pomocą Genie 4 można w czasie rzeczywistym zmieniać pogodę i kąt widzenia kamery, a także dodawać ludzi lub przedmioty do wirtualnego środowiska. Model potrafi zachować spójność jednej sceny przez maksymalnie dwie minuty — dwa razy dłużej niż jego poprzednik, Genie 3. Twórcy deklarują również ulepszoną fizykę symulacji i bardziej podobne do ludzi postacie.

Model Gemini został ściślej zintegrowany z Genie 4: planuje sekwencję działań i sprawdza klatki, podczas gdy Genie generuje część wizualną. W eksperymencie badawczym związanym z Gemini Robotics model Gemini 4 Argon rozkładał zadania na kroki, a Genie 4 symulował je w czasie rzeczywistym. Takie podejście może być wykorzystywane do testowania scenariuszy dla robotów w symulacji przed ich wykonaniem w rzeczywistym środowisku.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Potencjalne obszary zastosowania

Wśród możliwych zastosowań Genie 4 Google wymienia gry, interaktywną naukę i robotykę. Testerzy, którzy jako pierwsi uzyskali dostęp do produktu, również postrzegają model jako narzędzie do tworzenia prototypów filmów, w tym na etapach poszukiwania pomysłów i przygotowywania storyboardów.

Jednocześnie Google DeepMind przyznał, że model ma ograniczenia: podczas długich symulacji szczegóły i obiekty mogą stopniowo tracić stabilność, a dokładność dźwięku i czytelność tekstu wewnątrz wirtualnego świata nadal wymagają dopracowania. Obecnie Genie 4 jest dostępny dla zaufanych testerów, a w najbliższych tygodniach ma zostać udostępniony subskrybentom Google AI Ultra w Project Genie, a także partnerom z wczesnym dostępem do Gemini API i Google AI Studio.