소스 검색

small fix for FP16 precision

Dimitri Korsch 4 년 전
부모
커밋
b2d79d0c21
1개의 변경된 파일3개의 추가작업 그리고 0개의 파일을 삭제
  1. 3 0
      cvfinetune/finetuner/mixins/model.py

+ 3 - 0
cvfinetune/finetuner/mixins/model.py

@@ -106,6 +106,9 @@ class _ModelMixin(abc.ABC):
 		if opts.optimizer == "rmsprop":
 			opt_kwargs["alpha"] = 0.9
 
+		if opts.optimizer in ["rmsprop", "adam"]:
+			opt_kwargs["eps"] = 1e-6
+
 		self.opt = optimizer(opts.optimizer,
 			self.clf,
 			opts.learning_rate,