自留地用来倒渣土，如果未经批准且破坏了土地原有用途和生态，确实可能构成破坏林地。下面我详细解释一下这个问题：

首先，我们要明确“自留地”和“破坏林地”的定义。自留地通常指的是农村集体经济组织分配给成员个人长期使用的土地，用于种植农作物、林木等。而破坏林地，则是指非法占用、毁坏或改变林地用途，导致林地生态功能受到严重损害的行为。

现在，我们来看具体情况。如果你将渣土倾倒在自留地上，且没有经过相关部门的批准，那么这一行为就可能构成非法占用土地。特别是当这块自留地原本被用作林地，即种植有树木或具有林业生产潜力的土地时，倾倒渣土会破坏林地的生态功能，如土壤结构、植被覆盖等，从而构成破坏林地的行为。

根据相关法律，如《中华人民共和国刑法》第三百四十二条的规定，违反土地管理法规，非法占用耕地、林地等农用地，改变被占用土地用途，数量较大，造成耕地、林地等农用地大量毁坏的，会构成非法占用农用地罪，需要承担刑事责任。

因此，我建议你不要擅自将渣土倾倒在自留地上，特别是当这块土地原本被用作林地时。如果你需要倾倒渣土，应该事先向相关部门申请并获得批准，确保你的行为符合法律法规的要求。

总之，自留地用来倒渣土是否属于破坏林地，取决于你是否经过了批准以及是否破坏了林地的生态功能。为了避免法律风险，建议你依法依规处理渣土倾倒问题。