【案例分析題】?？谑嘘惸绸{駛貨輪在我國(guó)內(nèi)海航運(yùn)時(shí)，被上海市海關(guān)緝私隊(duì)查獲，貨輪上載有我國(guó)禁止進(jìn)口的貨物。上海市海關(guān)對(duì)該貨輪作出處罰決定：該貨輪載有國(guó)家禁止進(jìn)口的貨物，無(wú)合法證明，認(rèn)定該貨物為走私貨物，依《海關(guān)法》給予該貨輪罰款2萬(wàn)元，拘留10日，并沒(méi)收上述走私貨物。陳某以處罰決定認(rèn)定事實(shí)不清、證據(jù)不足為由，向海關(guān)總署申請(qǐng)復(fù)議，請(qǐng)求海關(guān)總署撤銷(xiāo)該處罰決定。海關(guān)總署經(jīng)復(fù)議，除沒(méi)收走私物品的決定予以維持外，將罰款改為5萬(wàn)元，并決定對(duì)陳某處以15日的拘留。如果陳某不經(jīng)過(guò)復(fù)議而直接提起行政訴訟，由誰(shuí)管轄？誰(shuí)是被告？為什么？