Keras模型一旦确定，在不自己修改keras框架源码的前提下，什么都不会变。换大GPU是唯一出路。
一般我们只能设法去修改模型结构，量化剪枝等手段，自己去修改框架源码，没太大必要。
通常我们为了加快模型的预测速度，模型加载一次就够了。
在模型预测时间太长，通常我们会采用缩小卷积核，减少卷积核数量，增大步长，增大池化单元等手段。也可能会更换一些参数较少的backbone。
或者考虑把模型采用移动端的分离卷积和空洞卷积等手段。
最后我们的模型默认是floaf32的精度来表示的，可以采用适当的量化。用16位,8位，甚至2位精度来表示。只要模型精度没有明显下降，又满足使用场景，就是合理的。
如果有任何这方面的其他问题，欢迎关注我，一起学习。
