在饭店就餐时，如果饭店不给开发票，消费者并不能因此直接拒绝支付餐费。支付餐费是基于消费者与饭店之间的餐饮服务合同关系，这是双方的基本权利和义务，与是否提供发票是两个独立的事项。
然而，消费者有权要求饭店提供正规的发票。如果遭遇不开发票的情况，你可以按照以下步骤来解决问题：
与饭店进行沟通：
- 直接向服务员或管理人员明确提出开具发票的要求，并说明你需要发票用于报销或其他合法用途。
- 如果遇到拒绝，可以向对方解释《中华人民共和国发票管理办法》的相关规定，即销售商品、提供服务以及从事其他经营活动的单位和个人，在收取款项时必须向付款方开具发票。
保留相关证据：
- 确保你保留了所有与就餐和请求开具发票相关的证据，如消费小票、支付记录、对话记录等。
向税务机关投诉：
- 如果饭店仍然拒绝开具发票，你可以向当地税务机关进行投诉。投诉方式包括拨打纳税服务热线12366、通过电子税务局网站或手机APP提交投诉信息，或者直接前往税务机关办公地点反映问题。
考虑法律途径：
- 如果问题仍然无法得到解决，并且你认为自己的权益受到了严重损害，可以咨询专业律师并通过法律途径来进一步维护自己的合法权益。
综上所述，虽然消费者不能直接以饭店不给发票为由拒付餐费，但可以通过上述合法途径来维护自己获取发票的权益。同时，也建议消费者在选择饭店时更加谨慎，优先考虑那些有良好信誉和能够提供正规发票的饭店。