结论：村上收取2004年之前的农业税和义务工钱是否合理，需结合当时的具体法律法规及政策来判断。若当时法律法规或政策明确规定了相关税费和义务工钱的收取，且村上按照规定执行，则可能是合理的；反之，则不合理。
一、农业税的收取情况
法律法规依据：
- 在2004年之前，我国确实存在农业税制度，这是根据当时的法律法规来征收的。农业税作为国家对从事农业生产、有农业收入的单位和个人征收的一种税，其征收是有法律依据的。
合理性判断：
- 如果村上在2004年之前按照当时的法律法规征收了农业税，且征收程序合法、合规，那么这种收取行为是合理的。
- 然而，如果村上在征收过程中存在违规操作，如超标准征收、未按规定程序征收等，那么这种收取行为则是不合理的。
二、义务工钱的收取情况
政策与规定：
- 义务工钱通常与农村的集体劳动或公益事业相关，其收取是否合理需看当时是否有明确的政策或规定。在某些情况下，农村集体可能会为了完成特定的公共任务或建设而要求村民承担一定的义务工，并可能给予一定的报酬或称为“义务工钱”。但这种报酬的给予和收取需遵循当时的政策或村规民约。
合理性判断：
- 如果村上在收取义务工钱时，有明确的政策或村规民约作为依据，且收取的金额和方式都符合规定，那么这种收取行为可能是合理的。
- 但如果村上在没有明确政策或规定的情况下，擅自收取义务工钱，或者收取的金额和方式存在不合理之处，那么这种收取行为则是不合理的。
三、综合判断与建议
查阅当时法律法规和政策：
- 要准确判断村上收取2004年之前的农业税和义务工钱是否合理，需要查阅当时的法律法规和政策文件。这些文件将明确规定农业税的征收标准、程序以及义务工钱的给予和收取方式。
咨询相关部门或机构：
- 如果对当时的法律法规和政策不熟悉，或者无法获取相关文件，建议咨询当地的农业部门、税务部门或法律服务机构。他们可以提供专业的意见和帮助，以判断村上的收取行为是否合理。
法律途径解决：
- 如果认为村上的收取行为不合理，且侵犯了自己的合法权益，可以通过法律途径来解决。例如，可以向当地的农业部门或税务部门投诉，或者向法院提起诉讼来维护自己的权益。
最后，对于此类历史遗留问题，由于时间久远且涉及当时的法律法规和政策，建议你在处理时保持谨慎和理性。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。