结论概述：
- 能否向骗您的人要回钱：这取决于多种因素，包括诈骗行为的性质、诈骗人的财产状况以及您能否提供充分证据等。一般情况下，您有权通过法律途径追讨损失，但具体能否成功要回钱款需视实际情况而定。
- 去诈骗人家里要钱的可行性：不建议您直接去诈骗人家里要钱，这种行为可能涉及非法侵入住宅、寻衅滋事等违法行为，不仅可能无法解决问题，还可能使您陷入法律纠纷。
详细分析：
一、能否向骗您的人要回钱
法律途径：
- 如果您被诈骗，首先应当向公安机关报案，由公安机关立案侦查。在侦查过程中，如果诈骗人被抓获，且其财产足以赔偿您的损失，那么您有可能通过刑事附带民事诉讼或者单独提起民事诉讼的方式追回部分或全部损失。
- 根据《中华人民共和国刑法》的相关规定，诈骗公私财物，数额较大的，会受到刑事处罚。同时，根据《中华人民共和国民法典》的规定，因欺诈行为导致财产损失的，受害者有权要求赔偿。
实际困难：
- 诈骗人可能已经将诈骗所得挥霍一空，或者将财产转移至他人名下，导致即使诈骗人被判刑，您也可能无法追回全部损失。
- 您需要提供充分的证据证明诈骗行为的存在以及您与诈骗人之间的交易关系，这在实际操作中可能存在一定的难度。
二、去诈骗人家里要钱的可行性
法律风险：
- 直接去诈骗人家里要钱可能涉及非法侵入住宅、寻衅滋事等违法行为。非法侵入住宅是指未经允许强行进入他人住宅，或者经要求退出而无理拒不退出他人住宅的行为。寻衅滋事则是指肆意挑衅，随意殴打、骚扰他人或任意损毁、占用公私财物，或者在公共场所起哄闹事，严重破坏社会秩序的行为。
- 如果您的行为被认定为非法侵入住宅或寻衅滋事，您可能会受到行政处罚，甚至可能构成犯罪，面临刑事处罚。
建议做法：
- 您应当通过法律途径来维护自己的权益，如向公安机关报案、提起民事诉讼等。
- 在等待法律程序进行的过程中，您可以保持与诈骗人的沟通，但应当避免采取过激行为。
三、综合建议
- 及时报案：一旦发现被诈骗，应当立即向公安机关报案，并提供尽可能多的证据和信息，以便公安机关能够迅速立案侦查。
- 保留证据：妥善保管与诈骗行为相关的所有证据，如转账记录、聊天记录、合同协议等，这些证据将在后续的法律程序中发挥重要作用。
- 咨询专业律师：在处理此类复杂法律问题时，建议您咨询专业律师的意见。律师可以根据您的具体情况提供针对性的法律建议和帮助。
如果您有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。