贪官被抓后，并不是只退回贪污部分那么简单。

首先，从法律的角度来看，一旦贪官因贪污行为被抓，他必须退回非法所得的全部财物。这是法律对贪污罪这一经济犯罪行为的明确规定，也是对公共财产安全的有力保障。司法机关会启动追赃程序，全力查找、扣押、冻结贪污所得的财物，以确保这些财物被追回并归还给原所有者或相关机构。

其次，退回贪污部分只是贪官需要承担的法律责任之一。除了退赃，贪官还可能面临刑事制裁，包括被判处有期徒刑、拘役、罚金等刑罚。这些刑罚的轻重，会根据贪污的数额、情节以及贪官的悔罪表现等因素来综合考量。

此外，如果贪官在案发前或案发后主动退赃，这将被视为悔罪态度的体现，并在量刑时作为从轻处罚的情节予以考虑。但如果是案发后被查处的赃款赃物，就必须依法追缴，不能私自保留或转移。

最后，需要指出的是，实际能否全部退回贪污款项可能受到多种因素的影响，如款项已被挥霍、难以追踪去向等。但这并不影响追赃工作的开展以及要求退赃的法律规定。司法机关将尽最大努力追回贪污款项，并确保其被归还给受害单位或国家。

综上所述，贪官被抓后，不仅需要退回非法所得的财物，还可能面临刑事制裁。同时，主动退赃可以作为从轻处罚的情节予以考虑，但并不能免除其应承担的法律责任。如果你对此类问题有更多疑问或需要进一步的法律帮助，请直接向我咨询。