IRDからメールが届いて申告をしていないのでペナルティーの$50を支払う必要がある、となっていました。

2017年に日本へ完全帰国していてその後は一切仕事をしていません。
帰国時にIRDの申請をしたと記憶していたのですが、Balanceを見ると
2018年　-$250
2019年　$50
2020年　$50
となっていました。
2018年分を受け取ってないことによってそれ以降の申告をしていないことがペナルティーになっている原因でしょうか？
仕事をしていなくても申告しないことによるペナルティーの支払い義務があるのでしょうか？

よく分からなくて説明が分かりにくくて申し訳ありませんが、同じようなことが起こった方や解決策をご存知の方がいらしたら教えていただきたいです。