物によると思います。

何をどう壊していくら払ったか教えていただけますか？

エクスチェンジが、雇用契約であることを知らない人が多いように思います。
それは、エクスチェンジする側も、させる側も同様に。

トピ主さんのように、週何時間相当の掃除と料理をする報酬として、宿泊費（食事も？）を「差し引く」という給与形態での「雇用」です。
なので、雇用法に定められた労働者の最低の権利（有給、最低賃金など）は主張できるのです。ボランティアとは認められません。
例えば、週２０時間労働だとして、最低時給＄１５．７５計算で＄３１５になります。
そこから、宿泊が＄２0０、食事が＄１１５天引きで相殺という感じです。
勿論、雇用ですから納税義務もあるのですが、ここでは税金については触れませんが。
ですので、雇用主（一軒家のオーナー）は、トピ主さんに給与明細と、宿泊費の請求書または給与明細に天引き分としての詳細を明記する必要があります。
勿論、雇用契約書も必要になります。
当然、ワークビザを持っていない人がエクスチェンジをすれば、ビザ違反、ワークビザを持たない人を雇用した側も懲罰の対象になります。

https://www.employment.govt.nz/assets/Uploads/tools-and-resources/documents/FAQs-Working-for-accommodation.pdf

トピ主さんは、ワーホリですか？
海外旅行保険には加入していないのでしょうか？
旅行保険には通常、賠償責任へのカバーが付いていると思います。

ただ、壊した物が「５年前に買ったトースター」とか、経済価値がないものを新品で交換する強要は問題だと思います。

今後もそこでエクスチェンジを続けるならば、上記のリンク先をよく読んで、ちゃんと契約することをお勧めします。