结论：农民用自己的责任田修建晒谷场是否违法，需根据具体情况判断，主要涉及土地用途管制和审批程序两个方面。以下从这两个角度进行详细分析：
一、土地用途管制角度
根据《中华人民共和国土地管理法》的相关规定，国家实行土地用途管制制度，将土地分为农用地、建设用地和未利用地。农用地是指直接用于农业生产的土地，包括耕地、林地、草地、农田水利用地、养殖水面等。责任田作为耕地的一种，属于农用地范畴。
若晒谷场建设未改变土地用途：
- 如果农民在责任田上修建晒谷场，且该晒谷场仅作为农业生产的辅助设施，未改变土地的农用地性质，也未对土地造成永久性损害，那么这种行为通常不被视为违法。但需注意，即使未改变土地用途，也可能需要符合一定的规划和管理要求。
若晒谷场建设改变了土地用途：
- 如果农民将责任田用于非农业建设，如修建永久性建筑物、构筑物等，或者将耕地转为其他非农用地，那么这种行为就违反了土地用途管制制度，是违法的。根据《土地管理法》的规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款。
二、审批程序角度
即使农民修建晒谷场未改变土地用途，也可能需要经过一定的审批程序。具体来说：
符合规划和管理要求：
- 农民在责任田上修建晒谷场，应符合当地的土地利用总体规划和村庄规划，以及相关的农业设施用地管理要求。如果规划或管理要求中明确禁止或限制在责任田上修建晒谷场，那么农民的行为就可能构成违法。
办理审批手续：
- 在某些情况下，即使修建晒谷场未改变土地用途且符合规划和管理要求，农民也可能需要办理相关的审批手续。例如，可能需要向当地自然资源主管部门或农业农村主管部门提出申请，并提交相关的证明材料和设计方案等。未经批准擅自修建晒谷场的，可能面临行政处罚。
法律建议
了解当地政策：
- 农民在修建晒谷场前，应先了解当地的土地利用总体规划、村庄规划以及农业设施用地管理要求等相关政策，确保自己的行为符合规定。
办理审批手续：
- 如果需要办理审批手续，农民应按照规定的程序和要求向相关部门提出申请，并提交必要的证明材料和设计方案等。
咨询专业意见：
- 如果对相关政策或审批程序有疑问，农民可以咨询当地自然资源主管部门、农业农村主管部门或专业律师的意见，以确保自己的行为合法合规。
若您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。