人工智能黑科技 – GragGAN

简介

DragGAN是一种由Max Planck研究所开发的创新型人工智能工具，通过仅需几个点击和拖动操作，能够实现对照片的真实修改。根据一篇研究论文，该工具主要包括两个要素：基于特征的运动监控和一种革命性的点追踪技术。

DragGAN赋予用户交互性，使其能够自主拖动图片中的点，并将其移动至所选择的目标位置。通过基于特征的运动监控，用户可以精确地调整处理点的位置，从而完全掌控图片修改的过程。此外，点追踪技术确保在整个编辑过程中准确地跟踪处理点的位置。

DragGAN超越了传统图片编辑软件的功能范畴。它提供了超越简单像素操作的修改能力，让用户能够在多个对象类型之间应用不同的修改效果。举例来说，它可以重新生成底层项目，而不仅仅是扭曲，甚至可以旋转3D图片。

尽管DragGAN目前仅作为演示版本存在，但它已经引起了那些渴望了解其能力的用户的想象力。它能够在几秒钟内实现逼真和互动的图片修改，成为各种技能水平用户的有前途的工具。

DragGAN通过生成图像的3D模型来改变图片，然后对该模型进行编辑。用户可以调整图像中物体的位置、形状、情感和布局，而不会影响图像的其他部分。DragGAN首先利用卷积神经网络（CNN）从图像中提取特征，然后使用这些特征生成图像的3D表示。接下来，使用第二个CNN来修改3D模型，该CNN通过使用经过人类修改过的图像数据集进行训练。这些修改过的照片用于教导CNN如何修改3D模型。一旦训练完成，CNN就可以用于修改任何图片。

本地安装运行

你可以根据自己的实际情况来选择是使用 pyPI 来安装还是 手动安装或使用 docker 安装

系统要求

  • 此实现支持在 CPU、Nvidia GPU 和 Apple 的 m1/m2 芯片上运行。
  • 使用 GPU 时，1024 型号需要 8 GB 内存。512 型号建议使用 6 GB。

一、使用 PyPI 安装

使用 Conda 来安装需求。

conda create -n draggan python=3.7conda activate draggan

安装 PyTorch

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

安装 DragGAN

pip install draggan# If you meet ERROR: Could not find a version that satisfies the requirement draggan (from versions: none), usepip install draggan -i https://pypi.org/simple/

启动 Gradio 演示

# if you have a Nvidia GPUpython -m draggan.web# if you use m1/m2 macpython -m draggan.web --device mps# otherwisepython -m draggan.web --device cpu

二、手动安装

确保安装了 GPU 和 CUDA。我们使用 Python 3.7 进行测试，其他版本 (>= 3.7) 的 Python 应该也可以，但未经过测试。我们建议使用 Conda 来准备所有需求。

对于 Windows 用户，您可能会遇到一些由 StyleGAN 自定义操作引起的问题，您可以从问题面板中找到一些解决方案。我们还在开发一个更友好的包，无需设置。

git clone https://github.com/Zeqiang-Lai/DragGAN.gitcd DragGANconda create -n draggan python=3.7conda activate dragganpip install -r requirements.txt

启动 Gradio 演示

# if you have a Nvidia GPUpython gradio_app.py# if you use m1/m2 macpython gradio_app.py --device mps# otherwisepython gradio_app.py --device cpu

如果您在下载检查点时遇到任何问题，您可以从下面链接下载并放入文件夹中checkpoints。

aaronb/StyleGAN2 at main

三、使用 Docker 安装

使用 Docker 安装首先需要你已经在你的系统上安装了 docker
另外如果你使用的是GPU，请确保你的系统支持 NVIDIA Docker

使用 docker Hub 镜像运行

 # For GPUdocker run -t -p 7860:7860 --gpus all baydarov/draggan# For CPU only (not recommended)docker run -t -p 7860:7860 baydarov/draggan --device cpu

在本地构建图像的分步指南

1.克隆 DragGAN 存储库并构建 Docker 镜像：

git clone https://github.com/Zeqiang-Lai/DragGAN.git # clone repo cd DragGAN # change into the repo directory docker build -t draggan .# build image

2.运行 DragGAN Docker 容器：

# For GPUdocker run -t -p 7860:7860 --gpus all draggan
# For CPU (not recommended)docker run -t -p 7860:7860 draggan --device cpu

3.一旦您在控制台中看到以下输出，就可以访问 DragGAN Web UI：

 ...Running on local URL: http://0.0.0.0:7860...

访问 http://localhost:7860访问 Web UI。

就是这样！您现在正在 Docker 容器中运行 DragGAN。