结论：房屋在没有被告知的情况下被乡政府拆除，若要提起行政诉讼，责任主体需根据具体情况判断，可能是乡级人民政府，也可能是县级人民政府，具体取决于拆除行为的实施主体和法律授权情况。以下从不同角度进行分析：
一、拆除行为实施主体与责任归属
乡级人民政府直接实施拆除：
- 如果乡级人民政府在没有合法依据或未履行法定程序的情况下，直接组织并实施了房屋的拆除行为，那么根据《中华人民共和国行政诉讼法》的相关规定，乡级人民政府应当作为被告，承担相应的行政责任。
乡级人民政府受县级人民政府委托实施拆除：
- 在某些情况下，乡级人民政府可能是在县级人民政府的委托或授权下实施拆除行为。如果这种委托或授权是合法且明确的，且拆除行为是在县级人民政府的指示或监督下进行的，那么根据行政诉讼法的原则，县级人民政府可能成为实际的被告或共同被告。但具体还需看委托的合法性及拆除行为的实施情况。
县级人民政府直接决策或指示拆除：
- 如果拆除行为是县级人民政府直接决策或指示乡级人民政府进行的，且乡级人民政府只是执行了县级人民政府的决策，那么在这种情况下，县级人民政府更有可能成为行政诉讼的被告。
二、法律授权与程序合法性
- 法律授权：无论是乡级人民政府还是县级人民政府，实施拆除行为都必须有明确的法律授权。如果缺乏法律授权或超越了法律授权的范围，那么该拆除行为就是违法的，相关政府机关应当承担相应的法律责任。
- 程序合法性：除了法律授权外，拆除行为还必须遵循法定的程序。这包括但不限于通知当事人、听取当事人陈述申辩、进行现场勘查、作出拆除决定并送达当事人等。如果拆除行为在程序上存在违法之处，那么相关政府机关也可能因此承担法律责任。
三、具体法规依据
- 《中华人民共和国行政诉讼法》：该法规定了行政诉讼的基本原则、管辖、诉讼参加人、证据、起诉与受理、审理与判决等，是判断行政诉讼责任归属的主要法律依据。
- 《中华人民共和国土地管理法》及相关实施条例：这些法规对土地征收、房屋拆迁等进行了具体规定，包括拆迁的程序、补偿标准等。如果拆除行为违反了这些规定，那么相关政府机关可能因此承担法律责任。
四、建议与后续行动
- 收集证据：如果您的房屋被非法拆除，首先应当收集相关证据，包括拆除前后的照片、视频、政府文件、通知等，以证明拆除行为的存在和违法性。
- 咨询律师：在收集到足够证据后，建议咨询专业律师（如我），以评估案件的胜诉可能性和赔偿金额，并制定相应的诉讼策略。
- 提起行政诉讼：如果律师认为案件有胜诉可能，您可以向有管辖权的人民法院提起行政诉讼，要求确认拆除行为违法并赔偿损失。
最后，房屋在没有被告知的情况下被乡政府拆除，责任主体需根据具体情况判断。如果您面临此类问题，请直接向我咨询，我将根据您的具体情况提供详细的法律建议和帮助。