结论：到业主家去处理施工当中遗留的建筑，是否构成故意损害他人财物的行为，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：

1. 行为性质判断：

   • 合法处理遗留建筑：如果施工方在业主家处理的是施工遗留的建筑垃圾、临时搭建物等，且这些处理行为是出于清理现场、恢复原状的目的，且没有超出必要的限度，那么这种行为通常不会被认定为故意损害他人财物。因为此时施工方的行为是合法的，且是为了完成施工合同的后续义务。
   • 非法损害财物：如果施工方在处理遗留建筑时，故意损坏了业主的财物，如破坏了业主的装修、家具等，且这种损坏行为并非出于清理现场的必要，那么这种行为就可能构成故意损害他人财物。此时，施工方需要承担相应的法律责任。

2. 主观意图考量：

   • 故意与过失的区别：故意损害他人财物要求行为人具有明确的损害他人财物的意图，而过失损害则是指行为人因疏忽大意或过于自信而导致他人财物受损。在处理施工遗留建筑时，如果施工方能够证明其没有损害业主财物的故意，而是由于疏忽或操作不当导致的损害，那么可能构成过失损害，其法律责任相对较轻。
   • 证据收集：在判断施工方是否具有故意损害他人财物的意图时，证据的收集至关重要。业主可以收集现场照片、视频、证人证言等证据来证明施工方的行为是否故意。同时，施工方也可以提供施工记录、清理方案等证据来证明其行为的合法性和合理性。

3. 法律后果与责任承担：

   • 民事责任：如果施工方的行为构成故意损害他人财物，那么业主有权要求施工方承担民事责任，包括赔偿损失、恢复原状等。赔偿的范围通常包括直接损失和间接损失，如财物的修复费用、因财物损坏而导致的其他损失等。
   • 行政责任与刑事责任：在严重的情况下，如果施工方的行为构成故意毁坏财物罪，那么还可能面临行政责任或刑事责任的追究。根据《中华人民共和国刑法》的相关规定，故意毁坏公私财物，数额较大或者有其他严重情节的，处三年以下有期徒刑、拘役或者罚金；数额巨大或者有其他特别严重情节的，处三年以上七年以下有期徒刑。

建议：

• 对于业主而言，如果发现施工方在处理遗留建筑时有损害财物的行为，应及时收集证据并保留好相关凭证，以便在后续维权时使用。
• 对于施工方而言，在处理施工遗留建筑时，应严格遵守相关法律法规和施工规范，确保行为的合法性和合理性。如果因处理不当导致业主财物受损，应积极与业主沟通协商解决方案，并承担相应的法律责任。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供专业的法律意见。