共计 876 个字符，预计需要花费 3 分钟才能阅读完成。
ByteEdit：让填充背景更自然和谐的AI扩图和AI消除能力
特效中用到了AI扩图和AI消除的能力，其中AI消除是指消除图像中指定的某个物体或区域，并根据周围的背景来填充消除位置的内容；AI扩图则根据指定的扩展比例来延展原图像的内容。这两个任务本质上都是根据已知图像的内容去填充周围的区域，重点在于如何让填充的内容和原图没有违和感。
为了达到这个目的，首先，技术团队增大了训练数据量级，让模型「看到」更多泛化场景，此外，ByteEdit提出了一种创新的框架，利用反馈学习来增强生成性图像编辑任务。ByteEdit通过集成图像奖励模型来提升美学质量、图像与文本的一致性，并引入密集的像素级奖励模型以增强输出的一致性，让希望填充的区域和非填充区域更加的和谐。此外，提出了一种对抗性和渐进式反馈学习策略，以加快模型的推理速度。
原图
左：奖励模型前生成的图；右：加入奖励模型后的图。
原图
左：奖励模型前生成的图；右：加入奖励模型后的图。
ByteEdit已入选ECCV2024，详见论文主页：
除此之外，“AI治愈绘本”特效可以支持用户上传多张图，在做能力部署时，技术团队针对该场景单独做了一套多服务并行逻辑以及性能加速策略，最大程度保障了在流量高峰期时，能够在最短时间内将风格化结果图、后处理结果图等顺利返回到端上。端上获取多张结果图后，技术团队依托自研的书本3D运动和阴影跟随算法，对书内各个物体的运动曲线进行参数自动化调整，在模拟书本翻页以及内页跳出的过程中，阴影效果可以随书页自然移动，更大程度保留了书页翻动的立体感与自然感，边缘的阴影过渡相对流畅。
近期，抖音特效团队还在国庆期间上线了同样是温暖治愈系的“金秋绘本风特效”，特效投稿已超百万，相关话题播放超过1.8亿。
豆包大模型是字节跳动自研的大语言模型，通过字节跳动旗下云服务平台火山引擎面向企业开放服务。目前豆包模型家族已全面覆盖语言、语音、图像、视频等全模态，全方位满足不同行业和领域的业务场景需求。
