不会仅因不去抓药就被取消残疾证。精神残疾证的注销与是否去抓药无直接关系。根据《中华人民共和国残疾人证管理办法》，精神残疾证在以下情况下可能会被注销：

1. 残疾状况变化：当残疾人的残疾状况发生变化，不再符合残疾标准时，发证残联应及时将残疾人证注销。
2. 死亡：残疾人死亡后，其残疾人证也应被注销。
3. 申请注销：残疾人本人或其监护人也可以主动申请注销残疾人证。
4. 滥用或错误：如果残疾人证被滥用或存在严重错误，也可能被注销。

因此，是否去抓药并不是决定精神残疾证是否被注销的因素。如果你或你身边的人有关于残疾证的具体问题，可以直接向我咨询，我会根据具体情况提供详细的法律建议。