结论：责任认定书简易程序未送达，且交警以不签字就不给的方式处理，这样的行政行为在程序上存在问题，该责任认定书在行政案件中可能因程序瑕疵而影响其效力，但具体能否使用还需结合实际情况判断。

分析：

1. 程序合法性：

   • 根据《道路交通事故处理程序规定》，责任认定书应当依法送达当事人。简易程序下，虽然流程可能相对简化，但送达程序仍是必不可少的环节。交警未依法送达责任认定书，违反了法定程序。
   • 交警以不签字就不给责任认定书的方式处理，这种做法同样不符合法律规定。签字是当事人对责任认定书内容的确认，但并非领取责任认定书的必要条件。交警无权以不签字为由拒绝送达。

2. 行政案件中的效力：

   • 在行政案件中，证据的合法性、真实性和关联性是判断其能否被采纳的关键。责任认定书作为交通事故处理的重要证据，其程序合法性直接影响其效力。
   • 如果责任认定书存在程序瑕疵，如未依法送达，那么在行政案件中，其证明力可能会受到质疑。法院或行政机关在审查时，可能会要求交警部门补充送达程序或提供其他证据来佐证责任认定书的真实性。

3. 后续行动建议：

   • 对于当事人：如果收到未依法送达的责任认定书，或者交警以不签字就不给的方式处理，当事人有权向交警部门提出异议，并要求依法送达。同时，当事人也可以保留相关证据，如通话记录、短信等，以备后续维权之需。
   • 在行政案件中：如果责任认定书作为证据被提交，当事人可以指出其程序瑕疵，并要求法院或行政机关不予采纳。如果法院或行政机关采纳了该责任认定书，当事人也可以依法提出上诉或申请复议。

4. 特殊情况考虑：

   • 如果交警部门在后续程序中补正了送达程序，或者提供了其他证据来佐证责任认定书的真实性，那么该责任认定书在行政案件中的效力可能会得到恢复。
   • 另外，如果当事人实际上已经收到了责任认定书（如通过其他途径得知内容），但拒绝签字，这并不影响责任认定书的效力。因为签字是确认行为，而非领取行为。

总结与建议：责任认定书简易程序未送达且交警以不签字就不给的方式处理，这样的行政行为在程序上存在问题。在行政案件中，该责任认定书可能因程序瑕疵而影响其效力。但具体能否使用还需结合实际情况判断。如果你遇到此类问题，建议保留相关证据，并及时向我咨询，以便更好地维护你的合法权益。