结论：您与对方签订的协议是否起作用，取决于协议的具体内容、签订时的真实意图以及是否违反了法律的强制性规定或公序良俗。以下从几个关键角度为您详细分析：

1. 协议内容与真实意图：

   • 有效情形：如果协议内容明确、合法，且双方在签订时均出于真实意愿，没有欺诈、胁迫等情形，那么该协议在法律上通常是有效的。这意味着，如果协议中规定了您因收了对方钱而需承担的责任或义务，且这些责任或义务不违反法律，那么您可能需要按照协议履行。
   • 无效情形：如果协议内容存在模糊、违法或违背公序良俗的条款，或者签订时存在欺诈、胁迫等情形，导致协议并非双方真实意愿的表达，那么该协议可能被视为无效。在此情况下，您无需履行协议中的无效条款。

2. 您作为受害者的角色：

   • 法律保护：作为受害者，您可能享有法律上的特殊保护。例如，如果对方明知您是受害者仍与您签订协议，且该协议对您明显不公平，那么您可能可以主张该协议因显失公平而无效。
   • 责任限制：即使协议有效，如果您能证明自己在签订协议时受到了欺诈或误导，或者您只是作为中间人传递了资金而并未实际参与诈骗行为，那么您的法律责任可能会受到限制。

3. 与骗子的关系及资金流向：

   • 资金追回：如果您能协助对方追回被骗的资金，或者提供有关骗子的关键信息，这可能有助于减轻您的法律责任。同时，您也可以考虑与对方协商，看是否能就协议中的某些条款达成妥协。
   • 共同犯罪风险：需要警惕的是，如果您与骗子存在共谋或明知其诈骗行为仍参与其中，那么您可能构成共同犯罪，需要承担相应的刑事责任。但根据您的描述，您似乎是受害者而非共犯，这一点需要您在后续处理中特别注意证明。

4. 法律建议：

   • 审查协议：首先，建议您仔细审查与对方签订的协议，明确其中的权利义务条款，特别是关于责任承担的部分。
   • 收集证据：收集所有与案件相关的证据，包括转账记录、聊天记录、协议文本等，以证明您的无辜和受害情况。
   • 咨询律师：鉴于案件可能涉及刑事和民事双重责任，建议您尽快咨询专业律师，以便更全面地了解您的法律权利和义务，以及可能面临的法律后果。
   • 协商解决：在律师的指导下，您可以尝试与对方协商解决纠纷，看是否能达成一个对双方都相对公平的解决方案。

后续行动建议：在处理此类复杂案件时，保持冷静和理性至关重要。请务必在律师的指导下进行后续行动，以确保您的合法权益得到充分保护。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。