结论是，能否继续居住取决于协议的具体内容、履行情况以及法律的规定。以下是对这一问题的详细分析：
一、协议的具体内容
首先，需要明确的是，您与对方签订的“同意给对方居住到死”的协议，其具体内容对后续的权利义务有着决定性的影响。如果协议中明确规定了对方在特定条件下（如不住满一定期限则视为放弃居住权）将失去居住权，那么对方的不住行为可能就构成了对协议的违反，您有权根据协议条款来处理。但如果协议中没有此类明确规定，那么情况就会相对复杂。
二、协议的履行情况
对方未履行居住义务：如果对方在协议签订后并未实际居住，且协议中没有规定对方不住则您有权收回居住权，那么从法律上讲，您可能不能直接单方面收回居住权。因为协议一旦签订，就具有了法律约束力，双方都应按照协议内容来履行。
协商解决：在这种情况下，您可以尝试与对方进行协商，看是否能够达成一个双方都能接受的解决方案。比如，您可以提出修改协议内容，或者给予对方一定的经济补偿来换取居住权的收回。
法律途径：如果协商无果，且您认为对方的不住行为已经严重损害了您的利益，那么您可以考虑通过法律途径来解决。但需要注意的是，由于协议内容可能并未明确规定对方不住则您有权收回居住权，因此您在提起诉讼时可能需要提供其他证据来证明对方的不住行为已经构成了对您的损害。
三、法律的规定
合同法的适用：根据《中华人民共和国民法典》中关于合同的规定，合同一旦签订，就具有了法律约束力，双方都应按照合同内容来履行。如果一方违反合同约定，另一方有权要求其承担违约责任。但在这个问题中，由于协议内容可能并未明确规定对方不住则您有权收回居住权，因此您在要求对方承担违约责任时可能会面临一定的困难。
物权法的考虑：如果居住权被视为一种物权（这取决于具体的法律解释和协议内容），那么对方的不住行为可能并不直接导致居住权的丧失。因为物权通常具有对世性和绝对性，除非有明确的法律规定或协议约定，否则物权人不能随意剥夺他人的物权。
四、建议与措施
审查协议：首先，建议您仔细审查协议内容，看是否有关于对方不住则您有权收回居住权的明确规定。
协商与沟通：其次，您可以尝试与对方进行协商和沟通，看是否能够达成一个双方都能接受的解决方案。
寻求法律帮助：如果协商无果，且您认为自己的权益受到了损害，那么您可以考虑寻求专业的法律帮助。作为专业律师，我可以为您提供详细的法律咨询和诉讼服务。
最后，需要强调的是，每个案件都有其独特性和复杂性。因此，在处理类似问题时，建议您根据具体情况来制定合适的解决方案。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。