结论：打散工或零工时，若雇主拒绝支付报酬，该行为可能构成违法，具体取决于双方的法律关系及证据情况。以下从不同角度详细分析：
一、法律关系认定
劳动关系：
- 若散工或零工与雇主之间形成了事实上的劳动关系（如长期、稳定地提供劳动，接受雇主管理，从事雇主安排的工作等），则雇主拒绝支付工资的行为违反了《中华人民共和国劳动法》及《中华人民共和国劳动合同法》的相关规定。
- 根据这些法律，劳动者有权获得劳动报酬，雇主有义务按时足额支付。若雇主拖欠工资，劳动者可以向劳动监察部门投诉，或申请劳动仲裁，甚至提起诉讼来维护自己的权益。
劳务关系：
- 若散工或零工与雇主之间仅是临时性的劳务提供与接受关系，未形成劳动关系，则双方之间的权利义务主要依据《中华人民共和国民法典》中关于劳务合同的规定来确定。
- 在这种情况下，若雇主拒绝支付劳务报酬，同样构成违约行为。劳动者（或提供劳务者）可以依据劳务合同或相关证据，向法院提起诉讼，要求雇主支付应得的报酬。
二、证据收集与维权
证据收集：
- 无论属于劳动关系还是劳务关系，劳动者在提供劳动或劳务时，都应尽量保留相关证据，如工作记录、工资条、聊天记录、录音录像等，以证明自己与雇主之间存在法律关系及雇主拖欠报酬的事实。
维权途径：
- 对于劳动关系中的拖欠工资问题，劳动者可以先向当地劳动监察部门投诉，由劳动监察部门进行调查处理。若处理无果，劳动者可以申请劳动仲裁，对仲裁结果不服的，还可以提起诉讼。
- 对于劳务关系中的拖欠报酬问题，劳动者可以直接向法院提起诉讼，要求雇主支付报酬及可能的违约金或赔偿金。
三、法律后果
对于雇主：
- 若雇主被认定为拖欠工资或劳务报酬，将可能面临法律制裁，包括支付拖欠的报酬、赔偿金、罚款等。在严重情况下，还可能构成拒不支付劳动报酬罪，面临刑事处罚。
对于劳动者：
- 劳动者在维权过程中，应依法行事，避免采取过激行为。若维权成功，将获得应得的报酬及可能的赔偿；若维权失败，也可能因证据不足或法律关系认定不清而承担不利后果。
建议：若您遇到打散工或零工时雇主拒绝支付报酬的情况，请首先收集相关证据，明确双方的法律关系。然后，根据具体情况选择合适的维权途径，如向劳动监察部门投诉、申请劳动仲裁或提起诉讼等。在维权过程中，如有需要，可直接向我咨询相关法律问题，我将为您提供专业的法律帮助。