А почему не хотеть поставить штамп? Вы не хотите прожить с этим человеком всю жизнь?
Отсутствие штампа в паспорте будет в дальнейшем гемором для вас обоих, особенно имея ребенка на фамилии гражданского мужа. Надоест таскать везде свидетельство о рождении, у нас же бюрократия огого. Официальной семье намного больше зеленого света в плате всяких справок, льгот и т.д.