结论：是否构成骚扰不能仅凭“有人骗钱我打电话”这一行为本身直接判定，需要结合打电话的具体情形、频率、内容以及对方的主观感受等多方面因素综合判断。以下从不同角度为你详细分析：
从法律对骚扰的定义角度
在我国法律中，虽然没有直接对“骚扰”进行明确定义，但通常认为，骚扰是指以言语、文字、图像、肢体行为等方式对他人进行纠缠、扰乱，使他人感到不安、困扰或恐惧的行为。如果打电话给骗钱的人，只是正常地询问情况、要求还款或者向其表明要采取合法手段维权，且打电话的频率合理，没有在对方明确表示拒绝接听后仍持续拨打，一般不构成骚扰。例如，你发现被骗后，第一次打电话给对方，询问他为什么骗钱以及何时还款，这种行为是合理合法的维权行为。
然而，如果频繁地给对方打电话，一天内拨打数十次甚至上百次，或者在电话中使用威胁、辱骂等言语，干扰了对方的正常生活和工作，使对方感到极度不安和困扰，那么这种行为就可能构成骚扰。根据《中华人民共和国治安管理处罚法》第四十二条规定，多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。虽然该条款主要针对的是发送信息，但对于频繁打电话干扰他人正常生活的行为，也可以参照此条款进行处理。
从维权的角度
如果你发现被骗钱，打电话给对方是想要追回自己的损失，这是合理的维权行为。但在维权过程中，也要注意方式方法，不能采取过激的行为。除了打电话，你还可以通过以下合法途径来维护自己的权益：
从对方可能采取的措施角度
如果对方认为你的打电话行为构成了骚扰，他可能会采取一些措施来应对，比如拒绝接听你的电话、将你的号码拉黑，甚至向公安机关报案。如果公安机关认定你的行为构成骚扰，你可能会面临相应的处罚。因此，在打电话给对方时，要谨慎考虑自己的行为是否合法合理，避免给自己带来不必要的麻烦。
建议：在面对有人骗钱的情况时，要保持冷静，通过合法合理的途径来维护自己的权益。如果对打电话是否构成骚扰存在疑问，或者不知道如何正确维权，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议。