可以起诉解除或变更人民调解协议中关于抚养费显失公平的部分。以下是对此问题的详细分析：

一、法律依据

根据《中华人民共和国民法典》的相关规定，民事法律行为在违背公序良俗或显失公平的情况下，当事人有权请求人民法院或仲裁机构予以撤销或变更。在人民调解协议中，如果关于抚养费的约定明显违背了公平原则，例如抚养费数额过低，无法满足被扶养人的基本生活需求，那么该约定就可能构成显失公平。

二、显失公平的认定

1. 抚养费数额明显不合理：如果调解协议中约定的抚养费数额远低于当地实际生活水平或被扶养人的实际需求，那么可以认定为显失公平。
2. 未考虑被扶养人的实际需求：在制定抚养费时，应充分考虑被扶养人的年龄、健康状况、教育需求等因素。如果调解协议未考虑这些因素，导致抚养费无法满足被扶养人的基本需求，那么也可以认定为显失公平。

三、起诉解除或变更协议的途径

1. 向人民法院提起诉讼：当事人可以向人民法院提起诉讼，请求撤销或变更调解协议中关于抚养费的部分。在诉讼过程中，需要提供充分的证据证明调解协议存在显失公平的情况。
2. 申请再审：如果调解协议已经经过人民法院确认并制作了调解书，当事人认为调解书存在显失公平的情况，还可以在法定期限内向人民法院申请再审。

四、实际操作建议

1. 收集证据：在起诉前，应收集充分的证据证明调解协议存在显失公平的情况，如被扶养人的生活费用清单、教育费用清单等。
2. 咨询专业律师：由于涉及法律程序和证据收集等问题，建议当事人在起诉前咨询专业律师，以获取更准确的法律建议和指导。
3. 注意诉讼时效：根据法律规定，当事人请求撤销或变更民事法律行为的诉讼时效期间为一年。因此，当事人应在发现调解协议存在显失公平的情况后及时提起诉讼。

五、可能面临的法律后果

1. 协议被撤销或变更：如果人民法院认定调解协议存在显失公平的情况，可能会判决撤销或变更协议中关于抚养费的部分。
2. 重新协商或调解：在协议被撤销或变更后，双方当事人可以重新协商或申请人民调解委员会进行调解，以达成新的抚养费协议。

建议：如果您认为人民调解协议中关于抚养费的约定显失公平，可以及时收集证据并向人民法院提起诉讼。在诉讼过程中，务必遵循法律程序并咨询专业律师的意见。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。