非全日制劳动合同甲方不可以随便终止合同，但可以在符合法律规定的情况下随时通知对方终止用工。以下是对此问题的详细分析：

一、法律规定

根据《中华人民共和国劳动合同法》第七十一条的规定：“非全日制用工双方当事人任何一方都可以随时通知对方终止用工。终止用工，用人单位不向劳动者支付经济补偿。”这一条款明确赋予了非全日制用工双方当事人随时终止用工的权利，但同时也强调了“随时通知”这一前提，意味着终止用工并非毫无限制，而是需要履行通知义务。

二、不能“随便”终止的原因

1. 保护劳动者权益：非全日制用工往往涉及大量灵活就业者，他们可能依赖这份收入维持生计。如果允许甲方“随便”终止合同，将严重损害劳动者的合法权益。
2. 维护劳动关系稳定：稳定的劳动关系有助于促进就业市场的健康发展。随意终止合同可能导致劳动关系的不稳定，进而影响整个社会的经济秩序。
3. 遵循法定程序：即使是非全日制用工，终止合同也需要遵循一定的法律程序，如提前通知等。这是确保合同终止合法有效的必要条件。

三、终止合同的正确方式

1. 履行通知义务：根据法律规定，甲方想要终止非全日制用工合同，需要提前通知乙方。这既是对乙方的尊重，也是确保合同终止合法有效的关键步骤。虽然法律未明确规定提前通知的具体时间，但出于诚信和公平原则，建议给予对方一定的合理准备时间。
2. 协商处理后续事宜：在终止合同时，双方应就工资结算、工作交接等后续事宜进行协商并达成一致意见。这有助于避免不必要的纠纷和法律风险。
3. 遵守工资结算规定：非全日制用工劳动报酬结算支付周期最长不得超过十五日，且终止用工时，甲方应及时结清乙方工资。

四、特殊情形下的处理

1. 违反法律规定的情形：如果劳动合同的终止违反了法律法规（如歧视、报复等不正当原因），或者侵犯了劳动者的合法权益（如拖欠工资、未缴纳社会保险费等），则可能构成违法终止。在这种情况下，乙方有权通过法律途径维护自己的权益。
2. 协商一致解除：除了随时通知终止外，双方当事人也可以协商一致解除合同。这种情况下，双方可以就解除合同的条件、时间、经济补偿等事项进行协商并达成一致意见。

五、实际操作中的注意事项

1. 保留证据：无论是甲方还是乙方，在终止非全日制用工合同时都应保留好相关证据，如通知记录、工资支付凭证等，以备不时之需。
2. 遵守程序：虽然法律允许随时终止合同，但双方仍应遵守基本的程序和礼仪，确保终止过程的合法性和合理性。

总结与建议：非全日制劳动合同甲方不能随便终止合同，但可以在符合法律规定的情况下随时通知对方终止用工。在终止合同时，双方应履行通知义务、协商处理后续事宜，并遵守工资结算规定。如有特殊情形或疑问，建议直接向我咨询，以便获得更具体、更专业的法律建议。