Lama-Cleaner

Lama-Cleaner是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复

github地址:

https://github.com/Sanster/lama-cleaner

国内源代码:

http://www.gitpp.com/pythonking/lama-cleaner

Lama-Cleaner的介绍

Lama-Cleaner 是一款基于 SOTA AI 模型的图像修复工具,它能够帮助您轻松地从照片中删除不需要的物体、缺陷、人物等,实现高质量的图像修复。其核心功能是通过稳定扩散驱动技术擦除并替换照片上的任何内容。

以下是使用 Lama-Cleaner 进行图像修复的基本步骤:

1. 准备照片:首先,选择一张包含需要删除物体的照片。

2. 下载并安装 Lama-Cleaner:根据您的操作系统(如 Windows、macOS 或 Linux)下载相应的安装包,并按照安装向导进行操作。

3. 运行 Lama-Cleaner:打开命令行或终端,运行以下命令以启动 Lama-Cleaner:

“`

lama-cleaner –modellama –devicecpu –port8080

“`

4. 访问 Web 界面:在浏览器中输入 `http://localhost:8080`,访问 Lama-Cleaner 的 Web 界面。

5. 选择模型:在 Web 界面中,选择适用于您的图像修复任务的模型。Lama-Cleaner 提供了多种模型,如基础模型、夜间模式等。

6. 预览和调整:在预览区域查看图像修复效果,根据需要调整参数,如强度、模糊度等。

7. 应用修复:满意预览效果后,点击“应用”按钮,Lama-Cleaner 将开始处理照片。处理完成后,您将获得一个修复后的照片文件。

8. 导出结果:在 Lama-Cleaner 的 Web 界面中,您可以将修复后的照片导出为常见的图像格式(如 JPEG、PNG 等)。

通过以上步骤,您可以使用 Lama-Cleaner 擦除照片中的不需要的物体、缺陷、人物等,得到干净整洁的图像。需要注意的是,Lama-Cleaner 可能无法处理所有类型的图像修复任务,对于复杂的情况,您可能需要尝试多次或使用其他图像处理软件。祝您使用愉快!

lama模型介绍

github地址:https://github.com/advimman/lama

从上面两张动图可以看出,lama模型可以删除图片上不需要的元素,并且删除后的图片看起来还比较完整

lama模型结构是这样的:

然后看下面这张对比图,它的原理通俗理解类似,先用一张蒙版把原图中不需要的元素覆盖,然后再由AI模型去修复

因为AI模型学习过很多图片的特征,所以它知道这个黑色蒙版下面可能是什么样子,能根据以前学习的内容将黑色部分恢复出来 。

lama-cleaner使用方法

Lama Cleaner 只需两个命令即可轻松使用 SOTA AI 模型:

# In order to use the GPU, install cuda version of pytorch first.# pip install torch==1.13.1+cu117 torchvision==0.14.1 --extra-index-url https://download.pytorch.org/whl/cu117pip install lama-cleanerlama-cleaner --model=lama --device=cpu --port=8080

就是这样,Lama Cleaner 现在正在http://localhost:8080上运行

Lama Cleaner的操作非常简单,即使没有图像处理经验的用户也可以轻松上手。软件界面简洁明了,所有功能均可通过直观的按钮和选项进行操作,无需进行繁琐的设置和调整。

Lama Cleaner 是一款由 SOTA AI 模型驱动的免费开源图像修复工具,具有以下特点和优势:

1. 完全免费且开源:Lama Cleaner 致力于为用户提供免费的图像修复服务,无需支付任何费用。同时,该项目遵循开源原则,允许用户查看、修改和分享代码。

2. 多样化的 AI 模型:Lama Cleaner 内置了多种 SOTA AI 模型,包括擦除模型(如 LaMa、LDM、ZITS、MAT、FcF、Manga)和擦除与替换模型(如稳定扩散、示例绘制)。这些模型可以满足用户在不同场景下的图像修复需求。

3. 支持多种硬件设备:Lama Cleaner 支持 CPU、GPU 和 M1/2 等硬件设备,适应性强,可在各种环境中运行。

4. 易用性:Lama Cleaner 的界面简洁明了,操作方便。用户只需一键安装即可开始使用,无需复杂的学习过程。

5. 跨平台支持:Lama Cleaner 提供了 Windows 一键安装程序和原生 macOS 应用,满足不同用户的操作系统需求。

6. 高效的图像修复:Lama Cleaner 能够快速去除图像中的各种水印、物体、人物、字体等,同时支持老照片修复和文本替换图像内容等功能。

7. 不断更新:Lama Cleaner 的 GitHub 仓库持续更新,表明该项目受到广泛关注和支持。随着 AI 技术的不断发展,Lama Cleaner 将会引入更多先进的模型,提高图像修复效果。

总之,Lama Cleaner 是一款具有丰富功能、易用性强、支持多种硬件设备和平台的图像修复工具,适用于各种场景。其免费开源的特性以及强大的 AI 模型支持使其成为图像修复领域的热门选择。

Lama Cleaner也支持修复老照片,将受损或者老旧的照片恢复成原来的样子,保留历史的记忆。

更多详情官网

github地址:

https://github.com/Sanster/lama-cleaner

StreamDiffusion

一个为实时图像生成服务设计的开源项目,它基于最新的生成模型技术,旨在提供高性能的图像生成能力

github地址:

https://github.com/cumulo-autumn/StreamDiffusion

项目介绍

StreamDiffusion 是一个为实时图像生成服务设计的开源项目,它基于最新的生成模型技术,旨在提供高性能的图像生成能力。此项目专注于优化扩散模型,使其能够快速生成高质量的图像,并支持多种不同的模型和输出帧率。其背后的技术包括LCM(Latent Diffusion Model)和SDXL Turbo,这些技术的结合使得StreamDiffusion在图像生成领域表现出色。

StreamDiffusion 项目的核心优势在于其高效率,据报道,它能够每秒生成高达110张图像,这对于需要实时生成图像的应用场景来说是一个巨大的进步。此外,StreamDiffusion 不仅仅关注速度,它还通过优化数据处理流程、改进指导机制和提升GPU利用率等多种方式,确保了图像生成的质量。

这个项目对于开发者来说是一个宝贵的资源,因为它提供了一个强大的工具集,使得开发实时图像生成产品变得更加容易。StreamDiffusion 的这些能力,使得它在图像生成社区中受到了广泛的关注,并被视为推动实时图像生成技术发展的重要力量。

主要特征

  1. 流批处理

    • 通过高效的批处理操作简化数据处理。

  2. 无残差分类器指导

    • 改进的引导机制可最大限度地减少计算冗余。

  3. 随机相似性过滤器

    • 通过先进的过滤技术提高GPU利用效率。

  4. IO队列

    • 有效管理输入和输出操作,以实现更顺畅的执行。

  5. KV-Cache 的预计算

    • 优化缓存策略以加速处理。

  6. 模型加速工具

    • 利用各种工具进行模型优化和性能提升。

安装

Step0: 克隆这个存储库

git clone https://github.com/cumulo-autumn/StreamDiffusion.git

Step1:搭建环境

您可以通过 pip、conda 或 Docker 安装 StreamDiffusion(解释如下)。

conda create -n streamdiffusion python=3.10conda activate streamdiffusion

或者

python -m venv .venv# Windows.\.venv\Scripts\activate# Linuxsource .venv/bin/activate

第二步:安装PyTorch

选择适合您的系统的版本。

CUDA 11.8

pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu118

CUDA 12.1

pip3 install torch==2.1.0 torchvision==0.16.0 xformers --index-url https://download.pytorch.org/whl/cu121

详细信息:https://pytorch.org/

第三步:安装StreamDiffusion

对于用户

安装 StreamDiffusion

#for Latest Version (recommended)pip install git+https://github.com/cumulo-autumn/StreamDiffusion.git@main#egg=streamdiffusion[tensorrt]#or#for Stable Versionpip install streamdiffusion[tensorrt]

安装 TensorRT 扩展

python -m streamdiffusion.tools.install-tensorrt

(仅适用于Windows)如果您安装了稳定版本( ),您可能需要额外安装pywin32pip install streamdiffusion[tensorrt]

pip install --force-reinstall pywin32

以下是 StreamDiffusion 的工作原理的简要概述:

1. 扩散阶段:在这个阶段,模型将一个干净的图像逐渐转换成一个噪声图像。这个过程涉及到在图像上逐步添加噪声,直到图像完全变成随机噪声。这个阶段通常使用一个预先训练好的噪声模型来完成。

2. 去噪阶段:在扩散阶段之后,模型尝试从噪声图像中恢复出干净的图像。这通常通过训练一个去噪模型来完成,该模型学习如何从噪声图像中去除噪声并恢复出原始的干净图像。这个去噪模型可以是基于各种神经网络架构的,例如卷积神经网络(CNN)或变分自编码器(VAE)。

StreamDiffusion 通过优化这两个阶段的模型来实现高效的图像生成。它使用了一些技术,如高效的数据处理管道、优化的神经网络架构、以及针对GPU加速的算法,从而提高了生成图像的速度和质量。

此外,StreamDiffusion 还可能使用了一些特定的技术来进一步提高性能,例如:

多尺度生成:在不同尺度上生成图像,可以更快地产生细节。

动态阈值:在生成过程中动态调整噪声阈值,以平衡生成速度和图像质量。

渐进式采样:在生成过程中逐步增加采样点,以减少计算量并提高效率。

总的来说,StreamDiffusion 通过结合高效的算法和优化的神经网络设计,实现了在实时交互环境中快速生成高质量图像的能力。这使得它在需要实时图像生成的应用场景中非常有用,例如视频游戏、虚拟现实和增强现实应用。

github地址:

https://github.com/cumulo-autumn/StreamDiffusion

thumor AI 免费、轻松优化图片

thumor 是一项智能成像服务,可实现按需裁剪、调整大小、应用滤镜和优化照片。

github地址:

https://github.com/thumbor/thumbor

国内源代码:

http://www.gitpp.com/pythonking/thumbor

Thumor的介绍

Thumor 这个名字很有趣,它结合了 “thumb”(拇指)和 “morph”(变形)两个词,意味着这项服务可以对图像进行各种变形处理。这项智能成像服务确实提供了按需裁剪、调整大小、应用滤镜和优化图像等功能,非常方便用户对图片进行个性化处理。

Thumor 是一款由 AI 驱动的开源照片缩略图服务,它具备强大的图像处理能力。通过AI 驱动的图像处理技术使得 Thumor 能够根据用户的需求和场景智能地调整图片。例如,在制作证件照时,Thumor 可以自动将人脸居中,并调整照片尺寸以符合不同证件的要求;在编辑社交媒体头像时,Thumor 可以智能地优化图片质量,使头像更加清晰、美观。

Thumor 的 AI 技术还具有以下优点:

1. 自动化:AI 可以自动识别并处理图像中的关键区域,如人脸、风景等,确保图片在缩放和裁剪过程中保持高质量。

2. 实时预览:在应用滤镜、调整大小等操作时,Thumor 可以实时预览效果,让用户在操作过程中直观地感受到变化。

3. 智能优化:Thumor 的 AI 技术可以根据图像的特性自动优化图片,提高图像质量,使图片在各种场景下都能保持良好的观赏效果。

4. 开源:作为一款开源项目,Thumor 吸引了众多开发者参与,不断推动项目的更新和完善。这意味着用户可以期待 Thumor 未来带来更多创新功能和更好的用户体验。

总之,Thumor 是一款 AI 驱动的开源照片缩略图服务,它凭借强大的图像处理能力为用户提供了个性化、智能化的图片处理服务。随着人工智能技术的不断进步,Thumor 有望在未来成为智能成像服务领域的领导者。

在我国,类似的智能成像服务有很多,如美图秀秀、PicsArt 等。这些软件为广大用户提供了丰富的图片处理功能,包括滤镜、贴纸、文字、涂鸦等,可以满足大家在日常生活、社交和娱乐等方面的需求。

值得一提的是,随着人工智能技术的发展,这些智能成像服务还在不断升级,未来或能提供更多智能化、个性化的图像处理功能。

Thumor 是一款由 Globo.com 提供的开源照片缩略图服务。它是一款智能成像服务,可以实现按需裁剪、调整大小、应用滤镜和优化图像等功能。Thumor 可以帮助用户对图片进行个性化处理,满足他们在日常生活、社交和娱乐等方面的需求。

作为一款开源项目,Thumor 吸引了众多开发者和用户的关注。它在全球范围内得到了广泛的部署和使用,为用户提供了便捷、高效的图片处理能力。与此同时,Thumor 项目也在不断发展和完善,以满足不断变化的市场需求和用户期望。

Thumor 是一款实用的开源照片缩略图服务,它为用户提供了一系列丰富的图片处理功能,使得用户可以轻松地对照片进行定制和优化。随着项目的不断推进,Thumor 很有潜力在未来成为智能成像服务领域的佼佼者。

Thumor 是一款由 AI 驱动的开源照片缩略图服务,其主要应用场景如下:

1. 图片压缩与优化:Thumor 可以自动识别图片中的主要对象,并针对性地进行压缩和优化,使图片在保证质量的前提下,体积更小,加载速度更快。

2. 图片缩略图生成:为网站、应用程序或其他平台生成合适的图片缩略图,提高用户体验。Thumor 可以智能地调整图片尺寸,同时保持图像质量。

3. 图片加水印:为企业、个人或网站添加图片水印,保护图片版权,防止图片被盗用。Thumor 可以根据需求自动调整水印位置、大小和透明度。

4. 图片裁剪与拼接:Thumor 可以智能地裁剪图片,提取所需区域,或将多张图片拼接成一张。这对于图片编辑、设计等领域具有实用价值。

5. 图片增强与处理:通过 AI 技术,Thumor 可以对图片进行智能增强、对比度调整、色彩平衡等处理,使图片更加美观或符合特定场景的需求。

6. 动态图片处理:Thumor 可以处理动态图片(如 GIF、视频截图等),实现图片的实时压缩、优化和转换。

7. 跨平台应用:Thumor 可以轻松集成到各种操作系统、网站和应用程序中,为用户提供便捷的图片处理功能。

8. 人工智能与机器视觉:Thumor 可以与其他 AI 技术和机器视觉应用相结合,实现更多创新性的图像处理场景,如人脸识别、物体检测等。

9. 开发者工具:Thumor 可以作为一款强大的开发者工具,帮助开发者轻松实现图片处理功能,提高项目效率。

10. 教育与培训:Thumor 可以作为图像处理教育的实践工具,帮助学生和开发者掌握图像处理的基本知识和技能。

安装方式

决定您要使用哪个安装选项。

选项 1:点

# thumbor with main dependencies onlypip install thumbor# thumbor with OpenCV dependencypip install thumbor[opencv]# thumbor with all dependenciespip install thumbor[all]

选项 2:二进制

sudo add-apt-repository ppa:thumbor/ppasudo aptitude updatesudo aptitude install thumbor

更多方式请查看安装。

运行它就像点击一样简单:

thumbor

之后,您可以通过https://localhost:8888/unsafe/https://raw.githubusercontent.com/thumbor/thumbor/master/example.jpg访问它

项目名:ImgPilot — 通过提示词及涂鸦生成图片

Github 开源地址:https://github.com/leptonai/imgpilot

在线地址:https://www.imgpilot.com/

ImgPilot 是一个采用了基于通用大模型、个性化微调以及多模态提示工具的 AI绘图工具。

用户只需提供简单的提示语,即可实时生成精彩画面。

通过实时绘制图像的功能,让普通人也能通过简单的涂鸦创作出 AI 大作。

画一个长发的男孩:

画一个我们的功夫熊猫:

再来一个圣诞老人,必须带礼物,没礼物不要来:

一杯在桌子上的啤酒:

视频演示:

,时长00:54

项目特点:

  • 完整的前端和后端代码:该项目提供了前端和后端的全部代码,使用户能够深入了解并定制整个系统。前端代码涉及用户界面和交互,而后端代码涉及服务器端逻辑和数据处理。

  • 本地和云端部署支持:用户可以选择将系统部署在本地环境,也可以选择在云端进行部署。这种灵活性使项目适用于各种使用场景,无论是个人项目还是大规模商业应用。

  • 完全基于开源:该项目完全基于开源技术和代码,用户可以自由地查看、修改和共享源代码。同时,由于支持商业目的使用,用户可以在满足开源许可协议的前提下将系统集成到商业产品中。

安装:

# 安装前端的 web 依赖npm install# 安装服务端的依赖pip install -r requirements.txt -U

启动:​​​​​​​

# 服务端启动,访问地址 localhost:8080lep photon run -n imgpilot -m photon/main.py --local# web 端启动,访问地址 localhost:3000npm run dev

使用的相关项目:

  • Lepton AI(AI 服务框架):https://github.com/leptonai/leptonai

  • Excalidraw(前端绘图工具):https://github.com/excalidraw/excalidraw

  • Real-Time-Latent-Consistency-Model(AI 模型):https://huggingface.co/spaces/radames/Real-Time-Latent-Consistency-Model

原文链接:

一款开源的AI修图工具

AI绘图工具开源,它能够每秒生成高达110张图像

一款免费、开源智能成像服务,可轻松优化照片

免费开源的 AI 绘图工具