SmartROTO: Sanatçı katkılı makine ögrenmesi ile rotoskop çalışmalarının etkinleştirilmesi

Foundry, DNEG ve University of Bath tarafından geliştirilen SmartROTO projesi, sanatçı-destekli makine öğrenimi sayesinde rotoscoping (çizgi film stilindeki görüntülerin çekimlerden elde edilen gerçek görüntülerin gerçek zamanlı animasyonu) sürecini hızlandırmayı hedeflemektedir. Projenin amacı, sanatçıların bir dizi şekil ve küçük bir anahtar kare seti oluşturmasını sağlamak ve SmartROTO tarafından, aralıklar arasındaki anahtar karelerin belirlenmesini hızlandırmaktır.

Projenin başarısı, veri kümesinin kalitesi, çeşitliliği ve büyüklüğüne bağlı olduğundan, proje süresince veri paylaşımı ve sanatçı katılımı gibi birçok zorlukla başa çıkmaya çalışılmıştır. Şu anda proje tamamlanmış durumda ve makine öğrenimi ile rotoscopingin geleceği hakkında ne öğrendiğimizi öğrenmek için Foundry'nin Araştırma Mühendislik Yöneticisi Ben Kent ile DNEG ve University of Bath üyelerinden oluşan anahtar üyelerle görüşüldü.

Öğrenilen dersler

Ben, Foundry'un A.I.R (AI Araştırması) ekibinin önemli bir üyesi olarak 2019'da projenin başlangıcından bu yana çalışmıştır ve SmartROTO'nun geçtiğimiz 24 aydaki gelişim ve ilerlemesi hakkında derin bir bilgi sahibidir.

“Harika bir öğrenme deneyimi oldu” diyor bize. "Ana öğrenme, rotoskoplamanın çok zor olduğu ve gelecekte insanların mutlaka devreye gireceğidir. SmartROTO gibi bir projeye başlamadan önce rotoskoplama sürecinde dikkate alınması gereken çok sayıda konu var."

“Örneğin, sanatçılar şekillerinin köşelerini ve kenarlarını görüntü özellikleri ve kenarlarına göre zorunlu olarak koymazlar; aksine, şeklin ortasını başka bir yere koymayı tercih edebilirler, bu da daha zor izlenebilen çeşitli kenar durumlarına neden olur. Bu, hareket bulanıklığı olan nesnelerin rotoskoplama ve şeklin yaşam süresinin bazı kısımlarında gizlenmesi gibi diğer zor durumlarla karışınca daha da zorlaşır. ”

“Sonuç olarak, sanatçıların çalışma şekillerini çevreleyerek çalışmak zorunda olduğumuzu anladık. Bu, projenin ilerlemesi hakkında düşündüğümüzden daha fazla sanatçıların gerçekten nasıl çalıştıklarını öğrendik. ”

Projenin ilerlemesi hakkında konuşurken, Ben devam ediyor:

“Sonunda ulaştığımız genel yaklaşım başlangıçta planladığımızla oldukça benzer. Hala makine öğrenimi tabanlı izleme ve şekil tutarlılığı modeli; hala kullanıcının başlangıçta şekillerini ve birkaç başlangıç anahtar çerçevesini ayarladığını hayal ediyoruz. SmartROTO ile bu modeli kullanarak, anahtar çerçeveler arasındaki zamanı ayarlamak ve düzenlemek için aralarında interpolasyon veya izlenen anahtar çerçevelerden daha iyi tahminler yapmaya çalışıyoruz. ”

“Görsel efektlerde rotoskoplama görevinin çok yaygın olduğunu düşündüğümüzde, sanatçıların zamanını %25'e kadar tasarruf etmek mümkünse, bu gerçekten değerli olacaktır.”

Takım çalışmasının önemi

DNEG ve UoB'nin bu amaca ulaşmada ve SmartROTO'nun genel gelişiminde çok önemli rolleri vardı.

Büyük bir, adanmış roto ekibi olan DNEG, öğrenme algoritması için gerçek üretim roto sanatı için gerçekten dev bir veri kümesi sağlamak için benzersiz bir konumdaydı. Veri kümesi, 650.000'den fazla sanatçı animasyon şekli ve 1,25 milyon kullanıcı anahtar çerçevesi içeriyordu. Rotoskopinin kendisi bir sanatsal süreç olarak geldiğinde, stüdyo, SmartROTO'nun rotoskop sanatçısına daha iyi bir iş akışı ve daha iyi bir yaşam kalitesi sağlayabileceğini anlamak için derin bir zenginlik getirdi.

DNEG'nin katılımını denetleyen Ted Waine, R&D Müdürüydü.

“Ürünün özellik kümesini ve Kullanıcı Arayüzü / Kullanıcı Deneyimi'ni belirleyerek projeye liderlik etmeye yardımcı olmaktan memnuniyet duydum” diyor bize.

SmartROTO gibi bir projenin endüstride ne gibi bir etki yaratacağını sormak üzere, Ted düşüncelerini hızlıca özetliyor. 

“Daha hızlı ve daha akıllı roto araçları üreterek, onaylanmış roto mattelerinin teslimatını hızlandırabilir ve sanatçıların kendileri için süreç daha keyifli ve daha az zahmetli hale getirebiliriz” diyor. “Bu doğrudan maliyet tasarruflarına ve önemli olarak roto çalışmasına bağlı olan aşağı akış görevlerinde olumlu bir etkiye yol açar.”

SmartROTO projesinin tamamlanması için işbirliği önemli bir unsurdu ve herkes için etkileşimli, holistik bir araştırma ortamı oluşturdu.

“University of Bath ve Foundry'den araştırma ekipleriyle çalışmak ilham verici” diyor Ted. “ML tekniklerinin çekirdeğindeki matematiğin bu sorun alanını ve nasıl çözüleceğini anlamaları gerçekten etkileyici ve çalışan bir çözüm geliştirme yaklaşımlarını izlemek harika.”

UoB'den Makine Öğrenmesi ve Görsel Hesaplama Okuyucusu Neill Campbell'ın açıklamaları Ted'in noktasını destekliyor:

“Foundry ve DNEG araştırma ekipleriyle doğrudan çalışmak, gerçek fikirlerin paylaşımı ve anlaşılmasıyla harika bir deneyimdir - endüstrinin karşılaştığı ilgili ve zorlu sorunları nasıl çözebileceğimizi ve bunları çözmek için yeni ve heyecan verici teknolojileri getirebileceğimizi, aynı zamanda son kullanıcılarla doğrudan çalışarak onların hayatlarını kolaylaştıracak sonuçlar sunabileceğimizi anlayabiliriz.”

UoB, projenin iki ana alanına odaklandı. İlki, sistemin teknik tasarımına katkıda bulunmak için, son makine öğrenme modellerinin nasıl kullanılacağını ve mevcut iş akışlarına ve boru hattına nasıl entegre edileceğini içeriyordu. İkinci odak alanı, makine öğrenme sistemlerinin nasıl geliştirileceğini araştırmak için uyumlu bir çalışmaydı. Orijinal görüntülerin gizlilik ve / veya Fikri Mülkiyet kısıtlamalarını koruyarak veri kümelerinde eğitilebilecek makine öğrenme sistemlerinin geliştirilmesi. “Örneğin, biz bir belirli görev iyileştirmek için (örneğin, segmentasyon veya nesneleri izleme gibi) veri tabanlarındaki görüntüleri eğitmek istiyoruz ancak kayıt eğitim görüntüleri paylaşılamaz çünkü Fikri Mülkiyet anlaşmaları tarafından korunabilir. Neill yorumlar. 

“Bu çalışmanın bir parçası olarak, her iki şirketin Fikri Mülkiyet kısıtlamalarını tehlikeye atmadan dışarıya (örneğin, şirketler arasında) makine öğrenme sonuçlarının paylaşılmasına izin verecek standart eğitim prosedürlerine birkaç öneri geliştirdik.”

Veri gizliliği sorunu

UoB'nin IP ve veri paylaşım alanındaki çalışmaları, SmartROTO gibi bir projenin başarısı için çok önemlidir. Makine öğrenimi özelliklerini rotoskop gibi işlemlerde kullanmak için stüdyoların hazır erişim sağlaması gereken devasa veri kümelerine sahip olmaları gerekir, çünkü sonuçların kalitesi sistemin eğitildiği veri miktarı, çeşitliliği ve kalitesine bağlıdır. Bu sorunu çözmek, SmartROTO'nun önemli bir direğini oluşturdu.

"Projenin bir parçası, veriyi anonimleştirmekti, böylece stüdyolar potansiyel olarak ortak bir sunucuda paylaşabilirlerdi - yerel olarak eğitecekler ve ağırlıkları merkezi bir yerde güncelleyeceklerdi," 

diyor Foundry'nin Ben Kent. 

"Ve anonimleştirme transferini tam olarak yapmak çok zor olmasına rağmen, potansiyel bir sonuç stüdyoların kendi ağlarını eğitmek için araçlara sahip olmaları ve SmartROTO'yu yapmak için mühendislik yapmaları olabilir. Bu neredeyse stüdyoların kendi verileriyle dolduracakları boş bir siyah kutu gibidir. Sonuçta, bu tümünde, herkes için çalışan bir çözüm bulmaktan bahsediyoruz."

Neill Campbell, bu çözüme ulaşmanın sadece zamanla elde edilebileceğine inanıyor, UoB'nin yaptığı çalışma tarafından desteklenen bir inanç: 

"Heyecan verici olan şey, AI'yı bir görev gerçekleştirmek için eğitmek için kullanılan özel örnek görüntüleri gizlemek için farklı bir kurulumda olmamız. Çünkü bir görevi gerçekleştirmek için çok farklı yollar vardır, amacımız gösterildiğimiz gibi sadece iyi performans gösteren bir yaklaşım değil, geniş bir görüntü aralığında iyi performans gösteren bir yaklaşım seçmektir."

"Bu hedefi gerçekleştirirsek, aslında hem eğitim sürecinden geriye doğru çalışamayacağınız hem de performansın feda edilmeyeceği iki hedefi de gerçekleştiriyoruz," diyor. "Gizlilik konusundaki bu teorik çalışma buzdağının sadece ucu ve bu iletişim bilimleriyle işbirliği içinde çalışmak üzere araştırma bursları başvurmak için açılan birçok yol açtı. Yeni sonuçlar elde edildikçe, bunları endüstriyel ortaklarla kullanmak için pratik uygulamalara dönüştürmeyi umuyoruz."

IP ve veri paylaşımı sorunuyla birlikte, ML çerçevesinin VFX akışına dağıtılması, kendi başına bir dizi zorlukları beraberinde getirir. Geleneksel olarak, yazılım sürüm döngüleri, GPU maliyeti ve dağıtılan ML ağlarının etkileşimsizliği akışa entegrasyonunu zorlaştırmıştır.

Ancak SmartROTO ile bu konuda biraz ilerleme kaydedildi, Ben gururla belirtiyor: 

"SmartROTO ile algoritmik tarafında daha ileri gittik ve ne olması gerektiğini gerçekten iyileştirdik."

 Sonuç, PyTorch'a kaymak oldu - bir makine öğrenimi çerçevesi - bu da VFX akışına ML dağıtmanın daha kolay hale gelmesini sağladı ve Foundry araçlarında gerçek ML özelliklerinin geliştirilmesine yol açtı.

Geleceğe daha akıllı bir şekilde bakıyoruz.

Gelecekte daha akıllı bir geleceğe bakarken, SmartROTO projesinin nereye kadar gittiğini düşünüyoruz?

“Sonuçları görmek için SmartROTO'nun şimdi mi yoksa gelecekte mi devam etmesi gerektiğini görmek için çalışmalarımızı yapmalıyız” 

diyor Ben. Ancak, sonuçlar ne kadar olumlu olursa olsun, SmartROTO'nun ürünleştirilmesi hala uzun bir yol kat edilmesi gereken bir süreçtir, diyor: 

“Hala çok daha fazla iş var - örneğin yeniden eğitim. Rotoskop sürecini ve rotoskoplama kendisini otomatikleştirmek çok zor ve henüz oraya ulaşamadık. Ancak, sanatçılar için ne kadar önemli olduğunu ve zamandan tasarruf potansiyelinin ne kadar büyük olduğunu biliyoruz, bu yüzden umut ediyorum ki gelecekte bunu çözeceğiz. Rotoskoplama VFX'de çok yaygın olduğu için, bunu mutlaka yeniden gözden geçirmek istiyoruz.”

Ana ders öğrendiğimiz şey

    Rotoskoplama çok zor. Makineler yakında sanatçıların yerini almayacak. Ve SmartROTO ile bir şeyler çalışıyor olsa da, şu anda sanatçının güvenebileceği kadar güçlü değil - ve sanatçı deneyimi bizim için önemlidir. SmartROTO, konvansiyonel yaklaşımların yetersiz kaldığı yerlerde kesinlikle değerli bir araç olacak. Giderek daha güçlü GPU'larla, SmartROTO, Nuke veya Noodle gibi rotoskoplama uygulamalarıyla kusursuz bir şekilde entegre olacak. Foundry, UoB ve DNEG, SmartROTO'yu bir adım daha ileri taşımak için birlikte çalışmaya devam etmekten heyecan duyuyor. UoB'nin Neill Campbell'ının yorumlarıyla, CAMERA araştırma merkezimiz aracılığıyla Foundry ve DNEG ile takip eden makine öğrenimi projelerinde çalışmaya devam edeceğiz ve gelecekteki iş akışlarına, ancak aynı zamanda sanal üretim gibi yeni alanlara da yeni araştırmalarımızı entegre etmeyi planlıyoruz. DNEG'in Ted Waine de gelecekteki gelişmelere dönük heyecanlı: "DNEG'in araştırma ekibi, ML algoritmalarını geliştirme alanında da uzmanlık sahibi, tasarımını daha da geliştirmek ve iterasyon yapmak için çalışmaya devam edebilir. Diğer ortaklarla etkileşim devam etmek ve geliştirmeye devam etmek için umut ediyoruz." Foundry, ML'yi sanatçılara erişilebilir hale getirmek için sürekli çalışıyor ve karmaşık algoritmaları kullanarak zor teknik problemleri çözmek için sanatçı dostu bir şekilde kullanılabilir hale getiriyor. Yukarıda belirtildiği gibi, Nuke 13'e ML'yi entegre ettik ve sanatçılara tam yaratıcı ve teknik kontrol sağlamak ve son piksel-mükemmel görüntüye ulaşmak için süreci hızlandırmak için. Foundry'nin araştırma ekibi SmartROTO'yu gerçekleştirmek için çalışırken, bugün Nuke ile CopyCat'a girişin ve ML hızlandırılmış iş akışlarının potansiyelini kendiniz deneyin.