健康保険の扶養からは外れているということですが、必ずしも同時に国民年金の第３号被保険者からも外れているとは限りません（特にご主人様の会社の健康保険が組合管掌であれば）。とにかく、一度、お近くの社会保険事務所で加入歴を確認された方がいいと思います。
もし、第３号被保険者からも外れているとすると、この４年間は国民年金保険料の滞納期間となり、この状態が続けば、将来の年金が最悪の場合、受給できなくなる可能性も考えられます。今からでも収められた方がよいでしょう。過去の保険料については、２年前までしか、さかのぼって納めることが出来ませんので、２年よりも前の分については、既に納める事が出来なくなっています。尚、滞納分については、一括納付が原則ですが、場合によっては分割納付も認めてもらえることもあるようですので社会保険事務所で確認してみてください。
滞納していたことによって、ご主人の会社に迷惑が掛かることはないと思います。手続きについては、年金手帳と印鑑を持って社会保険事務所で行ってください。