在没有直接证据证明行政机关工作人员不作为的情况下，你仍然可以向纪委进行控告，但需注意控告的方式和内容，尽量提供间接证据或线索来支持你的控告。以下是从不同角度为你提供的分析和建议：

一、控告的基本原则

1. 实事求是：在控告时，应基于事实，不夸大、不歪曲，确保控告内容的真实性。
2. 有理有据：尽管可能缺乏直接证据，但应尽可能提供间接证据或线索，如相关文件、记录、证人证言等，以支持你的控告。

二、控告的具体方式

1. 书面控告：撰写一份详细的控告信，明确指出行政机关工作人员的不作为行为，包括时间、地点、涉及人员、具体事项等，并附上你所能提供的所有间接证据或线索。
2. 口头控告：如果你认为书面控告不够直观或紧急，也可以选择口头控告。在口头控告时，同样要清晰、准确地描述不作为行为，并提供相关线索。
3. 利用网络平台：一些纪委部门可能设有网络举报平台，你可以通过这些平台提交控告信息。在提交时，确保信息的完整性和准确性，并附上相关证据或线索的扫描件或照片。

三、提供间接证据或线索的建议

1. 收集相关文件：如行政机关的公告、通知、决定等文件，可能间接反映工作人员的不作为行为。
2. 记录沟通情况：如果你曾与行政机关工作人员进行过沟通，并尝试解决问题但未果，可以记录下沟通的时间、地点、内容以及对方的反应等，作为间接证据。
3. 寻找证人：如果有其他目击者或知情者，可以请他们提供证言，支持你的控告。
4. 利用媒体报道：如果行政机关工作人员的不作为行为已被媒体报道，可以将相关报道作为间接证据提交给纪委。

四、控告后的跟进

1. 保持沟通：在提交控告后，与纪委部门保持沟通，了解控告的处理进度和结果。
2. 补充证据：如果在控告过程中发现了新的证据或线索，应及时向纪委部门补充提交。
3. 尊重处理结果：无论纪委部门最终的处理结果如何，都应尊重并接受。如果你对处理结果有异议，可以通过合法途径提出申诉或复议。

五、注意事项

1. 避免恶意控告：确保你的控告是基于真实情况，避免恶意控告或诬告陷害他人，否则可能承担法律责任。
2. 保护个人隐私：在控告过程中，注意保护自己的个人隐私和信息安全，避免泄露给无关人员。
3. 寻求法律帮助：如果你对控告流程或法律条款有疑问，可以向我咨询，我会根据你的具体情况提供专业的法律建议。