ENSIPEDIA Games, Purworejo – Jika sebelumnya kita pernah mendengar dengan AI yang bisa menciptakan gambar seni hanya dengan input teks, bagaimana dengan AI yang bisa mengkonversi sebuah teks menjadi video atau bahkan film?
Ya, itu mungkin terdengar menakjubkan. Namun, pengembangan AI text-to-video generation untuk saat ini masih banyak memiliki banyak hambatan dan tantangan seperti biaya komputasi yang besar hingga kurangnya datasets. Tapi, bukan berarti hal tersebut menjadi hal yang tidak mungkin.
Dilansir dari TheNextWeb, seorang computer artist sekaligus komposer bernama Glenn Marshall berhasil menciptakan film pendek berjudul “The Crow” dengan AI nya. Lebih hebatnya lagi, film “The Crow” ini bahkan berhasil memenangkan Jury Award di Cannes Short Film Festival 2022 serta masuk dalam daftar seleksi berbagai festival film.
My AI film 'The Crow' wins Jury Award at Cannes!https://t.co/WHDsI7UzJM pic.twitter.com/Ww1DGyBbxw
— Glenn Marshall (@GlennIsZen) August 24, 2022
Proses pembuatan film “The Crow” ini tidaklah seratus persen hanya dengan mengetikkan input teks deskripsi ke AI dan langsung menjadi sebuah film, melainkan juga menggunakan sebuah footage video atau film yang dijadikan sebagai referensi gambar.
“Saya sangat tertarik dengan AI style transfer menggunakan video footage sebagai sumbernya. Jadi setiap hari saya akan mencari sesuatu di YouTube atau situs stok video, dan mencoba membuat video yang menarik dengan mengabstraksikannya atau mengubahnya menjadi sesuatu yang berbeda menggunakan teknik saya,” kata Marshall kepada TheNextWeb.
“Saat itulah saya menemukan Painted di YouTube — sebuah film pendek dansa live action — yang akan menjadi referensi dasar film The Crow.”
Marshall memasukkan frame video dari film Painted ke CLIP (Contrastive Language-Image Pre-Training), sebuah neural network yang dibuat oleh OpenAI. Dia kemudian menggunakan AI untuk menghasilkan video dengan teks prompt yang dia ketikkan berupa “a painting of a crow in a desolate landscape.”
Video yang dihasilkan dari AI tersebut berhasil menampilkan sebuah gambaran kombinasi dari text prompt yang diinput dengan referensi dasarnya. Penari yang menjadi dasar dari film Painted terlihat seperti berbalut burung gagak dengan visual art seperti sebuah lukisan.
“Inilah yang membuat film ini bekerja dengan sangat baik, karena AI mencoba membuat setiap bingkai aksi langsung terlihat seperti lukisan dengan burung gagak di dalamnya,” ujar Glenn Marshall.
Kedepannya, Marshall ingin menambahkan animasi 3D pada kreasi AI-nya. Dia juga tengah mencoba CLIP-guided video generation, yang mana dapat menambahkan perintah berbasis teks yang lebih detail, seperti camera movements tertentu.
Walau semua hal yang dilakukan Marshall masih terlihat tahap awal dalam pengembangan AI text-to-video generation, namun kita tidak akan tahu kedepannya akan seperti apa. Mungkin suatu saat nanti film bisa saja diproduksi hanya dengan menggunakan AI saja.
