Kalkas嘉衡

運作原理

六個基本元件,一個引擎

嘉衡的一切都由六個部分組成。像賽馬這樣的領域,只是對這六個部分的一份宣告,而非專門編寫的程式;所以同一個引擎今天處理賽馬,之後也能處理估值或股票。

六個基本元件,一個引擎

  1. 1 / 6

    連接器

    是甚麼
    接入任何資料來源,定時拉取或即時串流皆可。它產生寫入後永不改動的觀測資料,每項都記下兩個時間:事實何時為真,以及嘉衡最早何時可以得知。
    為何重要
    預測只可使用當時已可得知的資料。在入口一次過嚴格執行,就消除了回測自我美化最常見的方式:暗中用上未來的資訊。
    以賽馬為例
    排位表、參賽馬匹、價格和正式賽果,使用前都會檢查是否新鮮和完整。
  2. 2 / 6

    實體圖譜

    是甚麼
    觀測資料會對應到具體對象(馬匹、練馬師、公司、國家、天氣區域)以及它們之間的連結。
    為何重要
    跨領域的影響只沿真實連結傳遞。有關某國的新聞,可以經由來自該國的練馬師影響一場賽事,但絕不經由人手編寫的規則。大部分這類故事都得不到權重,紀錄會照實顯示,而不是一廂情願。
    以賽馬為例
    一匹參賽馬連結到牠的練馬師、騎師、馬場,以及當日的場地狀況。
  3. 3 / 6

    問題

    是甚麼
    所有可預測的事情都是一條問題,附有明確的結算規則和截止時間,在問題建立時就已固定。作廢或不明確的結果會如實記錄。
    為何重要
    事後不能改動的規則,才令評分有意義。市場價格只是附在問題上的一項觀測資料。
    以賽馬為例
    這匹馬會否在正式賽果中跑第一?退出或賽事作廢則結算為作廢,永不計分。
  4. 4 / 6

    預測器與聚合器

    是甚麼
    任何以機率回答問題的東西:訓練好的模型、閱讀證據的決策模型,或已剔除抽水的市場本身。聚合器在對數勝率上匯合它們,按各自在同類問題上的評分紀錄加權。
    為何重要
    新的資料來源或模型,只能靠改善已結算的評分來贏得權重。只與市場打和的預測器得不到任何權重。語言模型負責抽取附出處的事實,不能單憑自己的判斷直接預測。
    以賽馬為例
    一個以往績和評分訓練的模型,與剔除利潤後的市場價格混合。
  5. 5 / 6

    策略與執行器

    是甚麼
    策略按授權把預測和價格轉為行動:相對價格的最低差距、注碼大小、風險上限。執行器負責執行:交易所或經紀落單、訊息、Webhook。
    為何重要
    注碼採用 Kelly 比例的一小部分,並先按不確定性收縮差距,每次行動與總額都設上限,另有回撤開關可全面停止。行動有類型、前置條件、試行模式、人與代理共用的審計紀錄,超過指定金額須人手批准。每個領域在紀錄通過門檻前,只作模擬執行。
    以賽馬為例
    當匯合後的機率比價格高出宣告的最低差距時,以模擬方式投注並發出提示。
  6. 6 / 6

    帳本與評估器

    是甚麼
    一本只可追加的紀錄,依次記下觀測、預測、決策、行動和結算,每項都附雜湊值和記錄時間。評估器按預測器、資料來源和問題類別評分。
    為何重要
    評估器計算每一次試驗,另設一個封存窗口獨立評分;截止後才得知的預測、或模型訓練截止日之前已決定的問題,一律不計分。提出改進的研究代理只由這個評估器評分,而且無法讀取或改動它。
    以賽馬為例
    本站的公開紀錄,直接從這本帳本讀取。

紀錄遵守的規則

  • 市場永遠是其中一個預測器。主要指標是對市場的對數評分,其次是扣費後結果,絕不單看準確率。
  • 每個預測都在事件前以時間戳和雜湊值承諾。截止後才得知的資料會被記錄,但永不計分。
  • 每個模型版本都記錄訓練截止日,絕不以截止日前已決定的問題評分。
  • 結算規則在問題建立時就已固定。
  • 挑戰者必須先與現任模型並行試運一段時間,才可取而代之。
  • 每項觀測資料都附有授權和來源紀錄。