手机号码:15920139670

 

座       机:   020-31605853

VM3.4图像分割模块使用心得(如何选择合适的模型训练?训练及预测需要多少显存最够?有分辨率要求?)

1、图像分割各模式选择流程(共7中模式:图像分割小、中、大,图像比对中、大,自学习比对中、大)

1.png

  • 单图像分割"中"模式目前不支持多分类
  • 自学习模式不要求严格对齐(不同训练图像的前景与背景相似即可)
  • 图像比对模式要求严格对齐(允许一定范围内的波动,图像越对齐效果越好)

 

2、图像分割预测耗时

  •      单图像分割耗时:小模型 < 大模型 < 中模型
  •      图像比对:
      1. 自学习:中 < 大
      2. 比    对:中 < 大
  •      总体比较来看耗时:自学习比对<图像比对<单图像分割
  •      预测耗时除了与模型本身类别有关外,还与图像分辨率、显卡性能有关。一般来说图像分辨率越小,显卡性能越好,预测耗时越短。

注:效果一般为大模型优于中模型及小模型

如下图为2060Super显卡(8G显卡)在两种不同分辨率下的耗时统计:

图片1.png

 

3、训练图像分辨率及显存要求问题

       推理过程中首先会计算加载图片所需的显存大小,若超过电脑显存就会进入切片的逻辑,会按照PC显存的大小,去选择合适的切片方式(任然有最小切片分辨率限制)。单图像分割模式会对预测图像进行横向切片,图像比对模式会对模板及预测图一起进行横向切片。

        一般情况下6G显存可以满足大部分的训练,算法本身并未做分辨率限制。

特殊情况:

  • 图像比对大模型。由于需要将模板图(OK图)和训练图(NG图)一起训练(迭代一次的图片数量为分割模型的两倍),6G显存可能不够(若电脑本身占用较多的显存)需要8G。下本版本优化。
  • 类别数量较多使用自学习比多模型。由于每种类别都需要建立一个模板一起训练,类别越多模板越多,会导致训练的显存增加导致6G显存不够使用,需要更大的显存。下个版本会优化。

 注:图像分割"中模型"训练图像分辨率可以不一致。其余模型软件层做了限制需训练图片保持分辨率一致(为了保证效果,若训练图像分辨率差距过大可能会导致效果较差)。若实际场景中的确无法保证分辨率一致,可以选择云服务器训练,云服务器中图像分割"小、中、大"模型都无做图像分辨率一致限制。

 

4、预测图像分辨率及显存要求问题

       预测模块算法内部会对加载图片进行显存消耗计算,若预测图像的消耗显存大于PC剩余显存,会对图片进行切片。分别对每张切片图像进行预测然后结果拼接。故对于有些较大分辨率的图片预测耗时将会较长,但只需较小显存即可预测。预测最小显存要求为2G,算法限制预测图像最大宽度为14208,最大高度10640。若图片分辨率过大,显存过小,会导致切片切得过小。过小的切片图与训练集图片差异太大会损失一定的性能。

注:实测2G显存笔记本显卡可预测3000W像素彩色图片,耗时为9s😅。