建设单位若想起诉与其没有劳动或劳务关系的工人，需基于明确的法律事实和证据，且通常需以工人存在侵权行为或违反相关法律规定为前提。以下从不同角度进行分析：

1. 基于侵权行为的起诉

   • 法律基础：如果工人在施工过程中因故意或重大过失，对建设单位的财产造成了损害（如损坏设备、材料等），或者对建设单位的人员造成了人身伤害，建设单位可以依据《中华人民共和国民法典》中关于侵权责任的规定，向法院提起侵权之诉。
   • 证据要求：建设单位需要提供充分的证据证明工人的行为构成侵权，包括但不限于现场照片、视频、证人证言、鉴定报告等，以证明损害事实的存在、工人行为的违法性以及行为与损害结果之间的因果关系。
   • 诉讼程序：建设单位应向有管辖权的人民法院提交起诉状，并附上相关证据材料。法院在受理案件后，将依法进行审理，并根据事实和法律作出判决。

2. 基于违反合同或相关规定的起诉（若存在间接关系）

   • 特殊情况说明：虽然问题中明确指出工人与建设单位没有直接关系，但在某些特殊情况下，如工人是分包商或承包商雇佣的，而分包商或承包商与建设单位之间存在合同关系，且工人的行为违反了该合同或相关规定，建设单位可能间接地基于合同关系对工人提出某种形式的索赔或要求（但通常这种索赔会先向分包商或承包商提出）。不过，严格来说，这并非直接对工人提起诉讼，而是基于合同关系的连锁反应。
   • 直接起诉工人的限制：在大多数情况下，如果工人与建设单位没有直接的合同关系，建设单位直接起诉工人可能会面临法律上的障碍，因为合同关系通常具有相对性，即合同权利义务仅约束合同双方。

3. 其他法律途径

   • 报警处理：如果工人的行为涉嫌犯罪（如盗窃、故意毁坏财物等），建设单位可以向公安机关报案，由公安机关依法进行侦查，并可能由检察机关提起公诉。
   • 劳动监察或行政投诉：如果工人的行为违反了劳动法律法规（如非法用工、拖欠工资等，但这种情况通常涉及工人与雇主之间的关系），虽然这不直接涉及建设单位，但建设单位在发现相关违法行为时，可以向劳动监察部门或相关行政部门进行投诉，以维护行业秩序和自身权益（间接方式）。

建议：

• 在决定起诉前，建设单位应仔细评估法律事实和证据，确保起诉有充分的法律依据和事实支持。
• 考虑与工人或相关方进行协商，尝试通过和解或调解解决纠纷，以节省时间和成本。
• 如果决定起诉，建议寻求专业法律帮助，以确保诉讼程序的顺利进行和诉讼策略的有效性。

如有任何进一步的问题或需要更具体的法律建议，请随时向我咨询。