DrawTube

Преобразование в два этапа

1) создание чёрно-белого эскиза - далее объединение эскиза с оригиналом = цветной эскиз

2) создание анимации из эскиза

Видео получается более ровным и стабильным

потом накладывать на него цвет

и только уже на основе первичного эскиза создавать анимацию, тогда картинка будет более менее стабильной

Подключил облачные вычислительные мощности, выбор пал на Yandex Cloud из плюсов понятно как резиденту РФ можно пополнять баланс в отличии от гугла, и жИРНЫЙ минус - отсутствие бесплатных месячных лимитов как в гугле....
Создал 8 серверов (виртуальных машин. На ФЕДОРЕ 16 ядер по 16 Гб ОЗУ на каждой машине в автозагрузке прописал запуск fastsdcpu
Ссылка на исходники https://github.com/rupeshs/fastsdcpu

Цели две
посмотреть как быстро справится и сколько будет стоить по деньгам, благо 4000 рублей приветственных яндекс выдает... позорные 50 долларов.... это конечно не 300 долларов как в буржуйском гугле ну хотябы.....

Первая цель: 3 минутный ролик который преобразует мой 16 ядерный настольный комп за 12 часов, облако яндекса справилось за ОДИН час двадцать минут.... но это не главное, главное сам принцип масштабирования, можно выпросить больше ядер и если дадут можно и за 5 минут видео конвертировать, сократить время - эта возможность есть

Втора цель - ЦЕНА. 8 серверов 16 ядерных в яндоксовском облаке за 1 час 20 минут прмерно обошлись = 100 рублей если округлить, цена одной секунды видео в разрешении 848х384 стоит примерно = 56 копеек
Делать превьювы в 3 секунды бесплатными.... полтора рубля за каждый превьюв....теперь вот думаю, стоит ли овчинка выделки, ну пока от 4000 рублей халявных осталось после испытаний 3400... пока оставлю бесплатными
так что можете тестировать если интересно

https://drawtube.ru/

Изображение стало более узнаваемым, удалось немного стабилизировать границы рисунка.
Последняя проблема - подключить Google Cloud к проекту
Создание 2 сек. ГИФки обходится 5 мин работы одного сервисного процессора

Как распараллелить работу я знаю, а как использовать облачные вычислительные мощности, пока не понял.

Если кто знает хорошее руководство по использованию облачных вычислений посредством API можете скидывать ссылки, буду читать.

Нужно научится программно запустить удаленный сервер, проверить программно что он в рабочем состоянии и уметь отключать, очень важно, чтоб лишних денег не платить.

Добавил в свой скрипт новые возможности

распараллелил обработку кадров, теперь могу подключать неограниченное количество серверов Stable Diffusion, под рукой имеется только два (два компа дома только есть, но мощные компы)

если среднее время обработки кадра 26 секунд, то с двумя машинами получилось 13 сек
всего кадров 1600 примерно (12 кадров в секунду)
одна машина обрабатывала бы видео длиной2 минуты 14 секунд часов 10
две машины справились за 5 часов
это я подсчитал, если бы я арендовал бы две такие машины в облачном сервисе то заплатил бы 20 тысяч рублей за месяц

5 часов аренды получается = 150 рублей стоит арендовать вычислительную мощность
надо теперь научится поминутно аренду через АПИ запускать, наверное такие конторы есть где-то, к сожалению в этой теме пока не разбирался.

А протестировать как оно будет на 50 серверах конвертироваться за 15 минут очень хочется, еще больше хочется узнать сколько это будет стоить в рублях.

в общем пошёл изучать тему - возможно ли где-то поминутно арендовать облачные сервера....

Первый скрипт подготавливает ПРЕВЬЮВ, для того чтобы пользователь мог выбрать какой вид преобразования которое ему подходит

Результат

Дописал скрипты для получения результата

1 - цветное аниме (toonyou_beta6.safetensors)

2 - карандашный чёрно-белый эскиз (anythingelseV4_v45.safetensors)

В качестве теста могу обработать вашу ссылку.
Кто первый в комментариях оставит ссылку на рутуб или вквидео продолжительностью не более 10 секунд протестирую и выложу результат

Тензоры

- toonyou_beta6.safetensors

- anythingelseV4_v45.safetensors

изображения предварительно проходят аппаратную обработку в фотошопе для структуризации
попробую теперь со звуком скрестить, чтобы в автоматическом режиме преобразовывалось