结论：在赌博拘留放回来后，若警方打电话要求去做笔录，一般情况下不可以拒绝，但存在某些特殊情形可以拒绝或要求延期。
分析说明：
一般情况下的义务：
- 根据《中华人民共和国刑事诉讼法》的相关规定，公民有义务配合司法机关的调查工作，包括接受询问、提供证言等。因此，在赌博案件中，如果警方认为您是案件的证人或相关人员，打电话要求您去做笔录，您通常有义务配合。
可以拒绝或要求延期的特殊情形：
- 身体原因：如果您因身体原因（如疾病、伤残等）无法前往指定地点接受询问，可以向警方说明情况，并提供相关医疗证明，要求延期或改变询问方式（如视频询问）。
- 时间冲突：如果您因工作、学习或其他重要事务无法在警方指定的时间前往接受询问，可以与警方协商，尝试安排其他合适的时间。
- 合法权益受到侵害：如果您认为警方的询问行为侵犯了您的合法权益（如非法搜查、非法拘禁等），您有权拒绝并可以向相关部门投诉或寻求法律援助。但这种情况较为特殊，且需要充分的证据支持。
拒绝配合的法律后果：
- 如果您无正当理由拒绝配合警方的调查工作，警方有权依法采取强制措施，如传唤、拘传等。此外，您的拒绝配合行为也可能影响案件的调查和审理进程，甚至可能对您自身产生不利影响。
行动建议：
- 积极配合：在一般情况下，建议您积极配合警方的调查工作，按照警方的要求前往指定地点接受询问，并提供真实、准确的证言。
- 保留证据：如果您认为警方的询问行为存在不当之处，或者您因特殊原因无法配合询问，建议您保留相关证据（如医疗证明、工作证明等），以便在需要时证明自己的立场和情况。
- 寻求法律帮助：如果您对警方的询问行为有疑问或担忧，或者您认为自己的合法权益受到侵害，可以及时向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。
后续思考依据：
- 在处理此类问题时，需要综合考虑法律规定、案件具体情况以及个人权益保护等多方面因素。因此，在接到警方电话要求去做笔录时，建议您先冷静分析自己的情况和立场，再根据实际情况做出决策。
- 如果您对警方的询问行为有任何疑问或不满，可以通过合法途径表达自己的诉求和意见，但切勿采取过激或违法的行为来对抗警方的调查工作。