Data for Social Good Data for Social Good
  • 最新消息
    • 佈告欄
    • 熱門活動
  • 資料英雄計畫
    • 團隊募集
    • 專案成果
    • 資料英雄榜
  • 媒體報導
  • 聯絡我們
  • 最新消息
    • 佈告欄
    • 熱門活動
  • 資料英雄計畫
    • 團隊募集
    • 專案成果
    • 資料英雄榜
  • 媒體報導
  • 聯絡我們

Guo Guan Ling

  • Home
  • Author Guo Guan Ling
13 三月

預測模型的準確率 99.9% 就夠了嗎?錯,鍵盤打火英雄告訴你該怎麼辦!

  • Posted by Guo Guan Ling
  • Categories 紀錄
  • Comments 0 comment

如何有效運用人力與資源來宣導火災預防觀念,進而降低火災發生率,一直是高雄市消防局終極目標。
有別於火災風險地圖 1.0,消防局冀望能從建築物角度出發,彙整住戶與周遭環境資料以建構出建物火災風險預測模型。經過多次討論,決議以各式建物混雜的鳳山區為例,希望用機器學習方式得到預測模型。資料英雄用8萬筆資料訓練 DNN 模型,哇!準確率幾乎百分之百,這一切都太完美了,對嗎?

錯!建物有上萬棟,但實際在104到105年間發生過火災數量卻不到一百,像這種非均衡的二分類數據 (1:800) 實務上很常見,高準確率的模型往往只預測一種類別,這就是 Accuracy Paradox!
遇到數據失衡時,我們能怎麼辦?
1. 擴大時間範圍,蒐集更多歷年火災資料
新增多筆歷年火災資料,並重複抽樣出比例均衡的小樣本來訓練模型,來避免數據失衡的問題。
2. 用不同抽樣方法來抽取樣本
下面條列一些經驗法則:
a. 在母數少的類別中隨機複製資料
b. 在母數多的類別中隨機刪除資料
c. 考慮隨機和非隨機的抽樣方法,如分層
d. 考慮不同比例的抽樣方式
3. 嘗試不同類型的演算法
試試其他演算法,如決策樹算法、CART 以及隨機森林等等,或許其他演算法能有效分類。
4. 調整權重因子
確定只能使用的演算法是適當的且無法採樣時,可藉由調整權重或是增加懲罰因子,來平衡數據類別。
5. 嘗試用不同角度或創新想法
考慮是否可以將其拆分為類似的小問題,如把大數據分成許多小類別數據。
許多方法都可嘗試,這次,資料英雄該如何快速找到最佳的方法來破解難題呢?敬請期待。

Read More

分類

  • 佈告欄
  • 紀錄
  • 資料英雄計畫

近期文章

  • D4SG 333短期方案-錄取公告
  • [提案招募] D4SG 333 短期方案
  • D4SG Fellowship 冬季班暫停公告
  • 智慧防洪,韌性城市
  • 空汙追追追

標籤

OCHA workshop 便民看板 兒少保護 家暴預警 就業輔導 急轉診 排班管理 文字雲 水土保持 法律扶助 火災風險 畜牧廢水 社會救助 空汙 結巴 緊急醫療優化 脫離貧窮 資料工作坊 資料英雄計畫 農地種電 開放資料 防洪 隨機森林 韌性城市 高風險家庭

彙整

  • 2020 年 十月
  • 2020 年 五月
  • 2019 年 十二月
  • 2019 年 八月
  • 2019 年 二月
  • 2019 年 一月
  • 2018 年 十二月
  • 2018 年 十一月
  • 2018 年 七月
  • 2018 年 六月
  • 2018 年 二月
  • 2018 年 一月
  • 2017 年 十二月
  • 2017 年 六月
  • 2017 年 五月
  • 2017 年 三月
  • 2017 年 二月
  • 2017 年 一月
  • 2016 年 十二月
  • 2016 年 十一月
  • 2016 年 八月
  • 2016 年 七月
  • 2016 年 六月
  • 2016 年 一月

D4SG資料英雄計畫 ©2014-2019