在行政案件中，如果仅有怀疑对象但无法证实是怀疑对象所为，通常情况下是不能直接给予处罚的。以下是我从多个角度为你进行的分析：

1. 法律原则角度：

   • 行政处罚必须遵循“以事实为依据，以法律为准绳”的原则。这意味着，在作出行政处罚决定之前，必须有确凿的证据证明违法行为是由特定的嫌疑人所为。
   • 如果仅有怀疑而没有确凿的证据，那么给予处罚就违反了这一基本原则，也可能导致行政处罚的合法性和公正性受到质疑。

2. 证据规则角度：

   • 在行政诉讼中，证据是认定案件事实的基础。行政机关在作出行政处罚决定时，必须承担举证责任，即提供足够的证据来证明违法行为的成立。
   • 如果行政机关无法提供确凿的证据来证明怀疑对象实施了违法行为，那么其作出的行政处罚决定就可能被法院撤销或变更。

3. 实践操作角度：

   • 在实际操作中，如果行政机关对某个对象有怀疑但无法证实其违法行为，通常会采取进一步调查的措施，如询问、勘验、鉴定等，以收集更多的证据。
   • 如果经过调查仍然无法证实怀疑对象的违法行为，那么行政机关就不能对其给予处罚，而应该依法作出其他处理决定，如不予处罚、撤销案件等。

4. 法律后果角度：

   • 如果行政机关在证据不足的情况下给予处罚，那么被处罚人可能会依法提起行政复议或行政诉讼，要求撤销或变更处罚决定。
   • 在这种情况下，如果法院认为行政机关的处罚决定缺乏事实依据或法律依据，就可能会判决撤销或变更处罚决定，并可能要求行政机关承担相应的法律责任。

给你的建议：

• 如果你作为行政机关工作人员，在面临此类情况时，应继续深入调查，收集更多证据，以确保处罚决定的合法性和公正性。
• 如果你作为被怀疑对象或相关方，认为行政机关的处罚决定缺乏事实依据或法律依据，可以依法提起行政复议或行政诉讼来维护自己的合法权益。

总之，行政处罚必须建立在确凿的证据基础之上，不能仅凭怀疑就给予处罚。如果你有任何关于行政案件或拆迁安置方面的法律问题，都可以直接向我咨询，我会为你提供专业、全面的法律解答。