如何審核大量網(wǎng)站數(shù)據(jù)？

發(fā)布：2018-11-26 17:25:06 瀏覽：5648

無論是趕集網(wǎng)、58同城等分類信息網(wǎng)站，還是慧聰網(wǎng)、1688等大型B2B電子商務(wù)網(wǎng)站，每天更新的數(shù)據(jù)都是海量的。趕集網(wǎng)淘寶相關(guān)職位招聘頁面，北京地區(qū)僅一天發(fā)布的淘寶相關(guān)職位就有20頁之多，要依靠人工審核每條數(shù)據(jù)是不可能完成的。

這就需要建立一個強大的機審規(guī)則來代替人工審核工作量。具體操作步驟如下:

(1)短信驗證碼確認(rèn)發(fā)布。利用短信驗證碼可以有效避免機器發(fā)布海量垃圾內(nèi)容，如果有短信驗證碼，就能確定是人為發(fā)布。

(2)建立違禁詞庫。網(wǎng)民發(fā)布信息的內(nèi)容不可控，可能會觸及到黃賭毒等法律法規(guī)禁止的相關(guān)內(nèi)容，因此需要違禁詞庫來做初級篩選屏蔽相關(guān)內(nèi)容。當(dāng)網(wǎng)民發(fā)送的內(nèi)容包含違禁詞庫

信息時，自動觸發(fā)刪除或者人工審核程序。違禁詞庫應(yīng)根據(jù)法律法規(guī)政策和時代變化一直不斷地更新、增加內(nèi)容，在最初設(shè)計時需要有足夠多的容量和算法來保證短時間能完成這個審核。

(3)UGC網(wǎng)站內(nèi)容頁一般都設(shè)有投訴舉報入口。當(dāng)有其他用戶投訴舉報該信息時，立即觸發(fā)人工審核機制，對該信息重新審核。

網(wǎng)站建設(shè)SEO人員在優(yōu)化UGC網(wǎng)站時，想要快速審核海量數(shù)據(jù)，可以參考上述方法。