针对您提出的“行政部门不以法律而是以文件为依据不作为该去什么地方投诉”的问题，以下是我的详细解答：

1. 投诉渠道的选择：

   • 上级行政机关：首先，您可以考虑向该行政部门的上级机关进行投诉。上级机关通常具有监督下级机关工作的职责，可以对下级机关的不作为或违法行为进行调查和处理。
   • 行政监察机关：行政监察机关是负责监督政府机关及其工作人员依法履行职责的专门机构。如果行政部门存在不作为或违法行为，您可以向当地的行政监察机关（如监察委员会）进行投诉。
   • 政府法制机构：政府法制机构是负责政府法制工作的部门，包括政府规章的制定、行政执法的监督等。如果行政部门的行为违反了法律规定，您可以向政府法制机构反映情况，请求其进行监督和处理。
   • 信访部门：信访部门是接收群众来信来访的机构，也是处理群众投诉和诉求的重要渠道。您可以通过信访部门向相关部门反映问题，并请求其给予答复和处理。

2. 投诉时的注意事项：

   • 明确投诉对象：在投诉时，要明确指出是哪个行政部门不作为，以及该部门的具体行为或决定。
   • 提供证据材料：为了支持您的投诉，最好能提供相关的证据材料，如法律条文、文件规定、现场照片、录音录像等，以证明行政部门的行为确实违反了法律规定。
   • 详细陈述事实：在投诉信中，要详细陈述行政部门不作为的事实经过，包括时间、地点、人物、事件经过等，以便相关部门能够全面了解情况。
   • 表达合理诉求：在投诉时，要明确表达您的合理诉求，如要求行政部门依法履行职责、纠正违法行为、给予赔偿等。

3. 法律背景与依据：

   • 根据《中华人民共和国行政诉讼法》的相关规定，公民、法人或者其他组织认为行政机关和行政机关工作人员的行政行为侵犯其合法权益，有权依照本法向人民法院提起诉讼。虽然这主要是关于行政诉讼的规定，但也体现了对行政机关行为的监督和制约。
   • 同时，根据《中华人民共和国政府信息公开条例》等相关法律法规，行政部门应当依法公开政府信息，保障公民、法人和其他组织的知情权。如果行政部门以文件为依据而不公开法律要求公开的信息，也构成违法行为。

4. 可能的法律后果：

   • 如果行政部门的不作为行为被确认违法，相关部门可能会受到上级机关的批评、责令改正、通报批评等处理；
   • 如果行政部门的不作为行为给您造成了损失，您还有权依法要求行政部门给予赔偿。

总结与建议：针对行政部门不以法律而是以文件为依据不作为的情况，您可以通过向上级行政机关、行政监察机关、政府法制机构或信访部门进行投诉来维护自己的合法权益。在投诉时，要明确投诉对象、提供证据材料、详细陈述事实并表达合理诉求。如果问题得不到解决，您还可以考虑通过法律途径来维护自己的权益。如果您在投诉过程中遇到任何法律问题或需要进一步的法律帮助，请随时向我咨询。