不可以直接拒绝付款。针对你的情况，具体分析如下：

1. 协议约定的重要性：人民调解协议书是双方自愿达成的，具有法律效力的文件。如果协议中明确约定了“凭发票付款”，那么理论上，对方应当提供发票作为付款的依据。

2. 收款收据与发票的区别：收款收据虽然也是证明收款的一种凭证，但它并不等同于发票。发票是由国家税务局监制，用于购销商品、提供或者接受服务以及从事其他经营活动中，开具、收取的收付款凭证。而收款收据则更多是用于内部结算或非正式的交易场合。

3. 你的权利与义务：根据协议约定，你有权要求对方提供发票作为付款的依据。如果对方仅提供收款收据，你有权拒绝付款，因为这不符合协议中的约定。但同时，你也应当考虑到，拒绝付款可能会导致双方关系紧张，甚至引发新的纠纷。

4. 建议的处理方式：

   • 首先，与对方进行沟通，明确表达你对协议约定的坚持，以及收款收据与发票的区别。
   • 如果对方确实无法提供发票，你可以考虑与对方协商，看是否可以以其他方式证明交易的真实性，比如银行转账记录、交易合同等。
   • 如果双方无法达成一致，你可以考虑寻求法律援助或咨询专业机构，以维护你的合法权益。

综上所述，虽然你有权根据协议约定拒绝仅凭收款收据付款，但建议你在处理此事时保持冷静和理性，尽量通过沟通和协商来解决问题。如果你有任何进一步的法律问题或需要更详细的帮助，请直接向我咨询。