每一筆交易，都要做到各參與者的記錄能夠吻合，沒有偏差。對賬系統(tǒng)的工作，是發(fā)現(xiàn)有差異的記錄，即軋帳；然后通過人工或者自動的方式，解決這些差異，即平帳。

對電商系統(tǒng)來說，每一筆交易，在所有相關(guān)主體側(cè)都要能對得上：

• 交易主體，如果發(fā)起人是個(gè)人，必須能夠從個(gè)人交易歷史記錄中找到這筆交易。但大部分人不會保留電子記錄，所以一般是提供可以下載的賬單或交易記錄，讓用戶自己對去。

• 交易對手，一般是商戶。商戶側(cè)對賬處理同用戶側(cè)，也僅僅提供對賬單。

• 交易渠道側(cè)，這是對賬的重點(diǎn)，一是核實(shí)交易流水，二是核實(shí)交易傭金，畢竟是租用人家通道做結(jié)算的。

那有哪些記錄需要對賬？ 目前主要是兩個(gè)：一個(gè)是交易記錄；一個(gè)是退款記錄。

對賬處理流程

一般來說，對賬流程涉及到如下步驟： 渠道對賬單下載、本地交易記錄準(zhǔn)備、軋賬、平賬。

渠道對賬單下載

銀行、第三方支付、銀聯(lián)等，基本都會提供對賬單下載的功能。不過也有少數(shù)工作做不到位或者太到位的銀行，只提供賬單查詢后臺，不提供對賬單下載功能。

對開發(fā)人員來說，這里有幾個(gè)坑：

• 對賬單格式不一，文本、XML、csv的都有。為了后續(xù)能夠統(tǒng)一處理，在賬單下載完成后，需要進(jìn)行標(biāo)準(zhǔn)化處理。

• 下載方式不一，HTTP、HTTPS、FTP的，都有。下載程序需要按照渠道的協(xié)議來處理。

• 下載時(shí)間不一，一般是凌晨1點(diǎn)后，到中午12才能用的也有。如果在預(yù)定的時(shí)間取不到數(shù)據(jù)，需要注意重試讀取。

• 穩(wěn)定性差。FTP服務(wù)器出問題那是常有的事。渠道側(cè)解決方案往往就是重啟。所以重試機(jī)制是必要的。

看一下第三方支付的對賬單情況：

銀行直連的對賬情況：

技術(shù)選型上，HTTP(S)用apache httpclient即可實(shí)現(xiàn)鏈接池和斷點(diǎn)續(xù)傳， FTP也可以使用Apache Commons Net API。 但不管是哪一個(gè)，都需要設(shè)置重試次數(shù)和鏈接超時(shí)間。重試次數(shù)和間隔的設(shè)置需要小心，重試太頻繁，容易把服務(wù)器打死.；時(shí)間間隔太大，又會阻塞后續(xù)處理步驟。5～10分鐘是一個(gè)合適的重試間隔區(qū)間。

鏈接超時(shí)指在服務(wù)器出現(xiàn)問題時(shí)，連接在指定時(shí)間內(nèi)獲取不到數(shù)據(jù)即自動斷開。這個(gè)很容易被忽略。我們有一次系統(tǒng)出問題，是渠道側(cè)的FTP假死后重啟，導(dǎo)致我們的客戶端掛住，一直在等待重新鏈接。

渠道對賬單標(biāo)準(zhǔn)化

找個(gè)例子大家看看， 比如微信的對賬單，他是csv格式的，包括如下信息：

• 交易時(shí)間：這是在微信側(cè)的支付完成的時(shí)間。 這個(gè)時(shí)間會成為一個(gè)陷阱。

• 公眾賬號ID、商戶號、子商戶號、設(shè)備號： 這些信息需要做驗(yàn)證，確保是自己的單子，不要讓微信把老王家的單子也給發(fā)過來了；

• 微信訂單號、商戶訂單號： 這兩個(gè)是對單的核心。前者是微信側(cè)產(chǎn)生的訂單號，在微信支付接口返回值中有。但是萬一收不到這個(gè)返回值，那在本地記錄中可能就空了。 后者是我們發(fā)送給微信的訂單號，一般用這個(gè)來做對單依據(jù)。兩邊的數(shù)據(jù)中都會有這個(gè)值。

• 用戶標(biāo)識、交易類型、交易狀態(tài)、付款銀行、貨幣種類、總金額、企業(yè)紅包金額： 這幾個(gè)就是對單的核心字段，必須確保雙方是一致的。

• 商品名稱、商戶數(shù)據(jù)包、手續(xù)費(fèi)、費(fèi)率：這些是可選驗(yàn)證。

而某寶的對賬單，采用文本格式，用空格隔開。他們家的就簡單很多，只有商戶訂單號、交易流水號、交易時(shí)間、支付時(shí)間、付款方、交易金額、交易類型、交易狀態(tài)這些字段。

由于每個(gè)渠道的賬單格式都不盡相同， 在得到賬單后，下一步是對賬單做標(biāo)準(zhǔn)化處理，這樣軋帳以及后續(xù)工作就可以統(tǒng)一處理了。標(biāo)準(zhǔn)化后的賬單數(shù)據(jù)可以放在文件系統(tǒng)或者數(shù)據(jù)庫中。這取決于交易數(shù)據(jù)量。每天百萬以上的量，還是使用文件系統(tǒng)，比較合適。數(shù)據(jù)庫操作相對比較慢，也浪費(fèi)資源。

基于文件系統(tǒng)的標(biāo)準(zhǔn)化涉及如下內(nèi)容：

• 文件格式標(biāo)準(zhǔn)化：統(tǒng)一使用csv或者json或者xml格式。如果是使用hadoop或者spark來對賬，使用csv是個(gè)不錯(cuò)的選擇。

• 文件存儲統(tǒng)一化：文件目錄，文件名都需要遵循統(tǒng)一命名規(guī)范。

為了加快處理速度，我們使用hdfs作為文件系統(tǒng)，有利于后續(xù)的對賬的處理。

本地交易記錄準(zhǔn)備

本地交易記錄的準(zhǔn)備，總的來說有如下方法：啥都不做，直接用原始數(shù)據(jù)。鑒于大部分系統(tǒng)使用的是mysql，這也意味著在MySQL上做對賬。對賬時(shí)需要大量的數(shù)據(jù)查找工作，必然會影響線上業(yè)務(wù)。在數(shù)據(jù)規(guī)模較大，比如超過100萬時(shí)，就不太合適了。

當(dāng)然，還有一個(gè)選擇是使用備庫來執(zhí)行對賬，這樣既簡單，也不影響線上業(yè)務(wù)。這是典型的空間換時(shí)間的做法。

如果業(yè)務(wù)大到需要分表分庫才能處理，那對賬數(shù)據(jù)準(zhǔn)備也不一樣。使用分庫也不現(xiàn)實(shí)，因?yàn)榉謳煲话闶前凑罩黧wid，而不是渠道id，來分庫，這樣對賬就需要在多個(gè)庫上進(jìn)行，效率反而降低了。而對分表分庫建立從庫也非常耗費(fèi)資源。這種情況下，需要同步一份數(shù)據(jù)到(hdfs)文件系統(tǒng)中，或者NOSQL數(shù)據(jù)庫上。

由于交易記錄是支付系統(tǒng)核心數(shù)據(jù)，有大量的應(yīng)用，如信用、風(fēng)控等，都需要交易記錄數(shù)據(jù)。這些應(yīng)用對交易記錄的需求還不完全一致，為了提升性能， 交易記錄會使用異步的方式來將數(shù)據(jù)投遞給使用方。交易記錄在入庫時(shí)，投遞消息到消息系統(tǒng)中。使用方監(jiān)聽這個(gè)消息，一旦收到新消息，則從交易記錄庫中查詢數(shù)據(jù)，獲取數(shù)據(jù)并更新到庫中。關(guān)于此類數(shù)據(jù)同步的文章不少，這里就不詳細(xì)介紹。

軋帳

軋帳是按照客戶訂單號來比較本地交易記錄和渠道交易記錄是否一致。從算法角度，是計(jì)算兩個(gè)數(shù)組的差異。在單機(jī)運(yùn)行時(shí)，可以采用的算法不少，這里不詳細(xì)介紹。我們推薦采用mapreduce來軋帳，這有個(gè)優(yōu)勢，可以按照訂單號將渠道提供的記錄和本地記錄shuffle到同一個(gè)reduce處理上，這樣就可以很容易進(jìn)行數(shù)據(jù)比對。軋帳中最大的坑，莫過于切分點(diǎn)的問題。

比如以整0點(diǎn)為切分點(diǎn)，那存在一個(gè)問題，本地23:59發(fā)起的交易，到了渠道側(cè)，可能會在00:01處理，這一筆交易變成第二天的帳了。實(shí)際處理中，一筆交易在渠道側(cè)處理，花上幾分鐘都有可能。對于切分點(diǎn)附近無法確認(rèn)的帳，做一個(gè)時(shí)間窗，在時(shí)間窗內(nèi)的數(shù)據(jù)，留待第二天對賬時(shí)繼續(xù)處理。

平帳

發(fā)現(xiàn)兩邊不一致的數(shù)據(jù)，那應(yīng)該如何處理？數(shù)據(jù)量不大時(shí)，記錄起來，人工甄別就行。但如果數(shù)據(jù)量很大，每天上千條，人工處理就成本太高了。這個(gè)沒有統(tǒng)一的處理方法，需要根據(jù)有問題的數(shù)據(jù)，做個(gè)分析，然后做自動處理。 針對交易記錄的對賬的處理，主要有如下情況：

• 本地未支付，支付渠道已支付。這主要是本地未正確接收到渠道下發(fā)的異步通知導(dǎo)致。 一般處理是將本地狀態(tài)修改為已支付，并做響應(yīng)的后續(xù)處理，比如通知業(yè)務(wù)方等。

• 本地已支付，支付渠道已支付，但是金額不同，這個(gè)需要人工核查。

• 本地已支付，但是支付渠道中無記錄；或者本地?zé)o記錄，支付渠道有記錄。在排除跨日因素外，這種情況非常少見，需要了解具體原因后做處理。

針對退款的對賬處理，主要有如下情況：

• 本地未退款，支付渠道已退款，則以支付渠道為準(zhǔn)，修改本地為已退款狀態(tài)，并出發(fā)后續(xù)處理。

• 本地已退款、支付渠道已退款，但是金額不同，需要人工核查；

• 本地已退款，但是支付渠道無記錄；或者支付渠道有記錄，但是本地沒有。 在排除跨日因素外， 這種情況非常少見，需要了解具體原因后做處理。

總之，對賬工作，即復(fù)雜也不復(fù)雜。需要細(xì)心，對業(yè)務(wù)要有深入的了解，并選擇合適的架構(gòu)。

相關(guān)閱讀：

支付系統(tǒng)設(shè)計(jì)：支付系統(tǒng)的賬戶模型（一）

雷鋒網(wǎng)注：本文由人人都是產(chǎn)品經(jīng)理社區(qū)作者@鳳凰牌老熊（微信公眾號：shamphone）原創(chuàng)發(fā)布。鳳凰牌老熊，程序員 & 架構(gòu)師。先后在中科輔龍、三星（中國）研究院和國內(nèi)一些大型的互聯(lián)網(wǎng)公司工作過。2014年加入愛奇藝，負(fù)責(zé)數(shù)據(jù)倉庫和支付系統(tǒng)的建設(shè)。文章未經(jīng)許可，不得轉(zhuǎn)載。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。