因受行政处罚主张违约损害赔偿

我们都知道，行政处罚是国家行政机关为了维护国家法律法规的有效实施，对违反法律法规的行为人进行的一种强制性措施，如罚款、没收、吊销等。但是，有时候，行政处罚不仅会给行为人造成经济上的损失，还会影响其与其他人之间的合同关系，导致合同不能履行或者履行不完全，进而造成合同对方的损失。那么，在这种情况下，合同对方是否有权利向行为人主张违约损害赔偿？如果有权利，那么诉讼时效应当从何时起算？