结论：在您与甲方没有签订合同，且工程施工材料与人工都是您垫付，而甲方不付钱的情况下，您不能直接去拆除已施工的部分。这样的行为可能涉及违法，并可能导致您承担法律责任。以下是从不同角度的详细分析：
一、法律角度
合同关系：
- 尽管您与甲方没有签订书面的施工合同，但根据《民法典》的相关规定，如果双方已经实际履行了合同的主要义务（如您已经进行了施工，甲方也接受了施工成果），那么可以视为双方之间存在事实上的合同关系。
- 在这种合同关系下，您有权要求甲方按照实际完成的工程量支付相应的工程款。
拆除行为的合法性：
- 直接拆除已施工的部分可能构成对甲方财产的破坏，这违反了《民法典》中关于保护他人财产权的规定。
- 如果拆除行为导致甲方遭受损失，您可能需要承担赔偿责任，包括赔偿甲方的直接损失和可能的间接损失。
合法维权途径：
- 您应该通过合法途径来维护自己的权益，如与甲方协商解决、寻求第三方调解、提起诉讼或申请仲裁等。
- 在协商或调解无果的情况下，您可以向法院提起诉讼，要求甲方支付工程款及可能的违约金或利息。
二、实际操作角度
证据收集：
- 在采取任何行动之前，您应该收集并整理好所有与施工相关的证据，如施工记录、材料购买凭证、人工费用支付记录、与甲方的沟通记录等。
- 这些证据将有助于您在后续的协商、调解或诉讼中证明自己的权益。
与甲方沟通：
- 在采取法律行动之前，您可以尝试与甲方进行沟通，了解甲方不付款的具体原因，并尝试达成一个双方都能接受的解决方案。
- 沟通时，您可以明确表达自己的诉求和期望，并听取甲方的意见和反馈。
寻求专业帮助：
- 如果您对法律程序不熟悉或担心自己的权益无法得到充分保障，您可以考虑寻求专业律师的帮助。
- 律师可以为您提供法律咨询、代理诉讼或仲裁等服务，帮助您更好地维护自己的权益。
三、风险警示
- 拆除风险：直接拆除已施工的部分不仅可能违反法律，还可能导致您承担额外的赔偿责任和法律责任。
- 诉讼风险：如果选择通过诉讼来维护自己的权益，您需要做好充分的准备，包括收集证据、准备诉讼材料等。同时，诉讼过程可能耗时较长，且结果存在不确定性。
建议：在面对这种情况时，我建议您保持冷静和理性，通过合法途径来维护自己的权益。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。我会根据您的具体情况提供针对性的法律建议和解决方案。