Думаю, что вы просто ставили его перед фактом, то нужно гулять, своим поведением.
Муж приходил с работы, а тут уже коляска с малышом стоит готовая к прогулке.
Он в тот момент понимал, что гулять нужно, хоть и не хотел этого, вот и запомнилось ему это гуляние, как подневольное времяпровождение.
А отказаться он не мог, потому что понимал, что вы расстроитесь, да и у вас других дел полно.