AI人工智慧正在改變你我的醫療行為
2021-01-07 14:39 聯合新聞網 / 常春月刊
本文摘自《常春月刊》454期
文/鍾碧芳
近來,數位科技正逐步與醫療緊密結合,試圖將人工智慧的發展應用在醫療上,這在21世紀第二個十年當中是最被看重的一環;經過多年的應用測試下,如何透過人工智慧讓醫療變得更安全、錯誤更少、更精準,又能在最短時間內處理並解決病人的資訊,讓醫療效果更高、費用更低廉,是所有醫療領域最迫切得到的理想目標。
臺北醫學大學附設醫院(以下簡稱北醫)近年在院長陳瑞杰的領導下,積極導入智慧醫院,他認為在進行人工智慧前,全院數位化是必經過程。「這幾年北醫團隊在數位化的建置上已經趨於完整,無論從掛號、報到、繳費、加護病房,甚至到給藥系統等,都可見人工智慧(AI)的蹤跡,能提升整體醫療服務與照護品質。」
動脈取血栓,延長腦中風黃金救援時間
數據是人工智慧很重要的基礎,透過技術能達到過去做不到的部分,陳瑞杰舉北醫的急救為例,以前腦中風的患者必須要搶在6小時內注射靜脈血栓溶解劑;但在數位化後有了革新,現在可以擴大到在24小時動脈取栓治療,等於是用更科學的方法找到更好的治療成效。
北醫所運用的是以電腦斷層或核磁共振影像,加上電腦自動分析軟體(RAPID)來了解病患的腦中風狀態,依此得知患者腦內壞掉組織後的存活機率,如阻塞的範圍、大小等預測。這彌補了過去光靠時間來判定病患狀況,讓醫學治療的路徑產生改變,在北醫,這樣的案例已經執行了50多例,成效良好。
重症照護平台,提早預測敗血症機率
而由北醫自行研發的「TED- ICU AI重症照護平台」,則能自動蒐集、整合、分析重症病患的生理數據,讓醫師與護理人員能即時掌握各項病歷資訊,這不但能省去醫護人員填寫資料的時間,讓醫療團隊更有效率專注於照護工作,透過大數據的分析與AI演算模型平台的建立,還可計算病人得到敗血症的機率。
陳瑞杰表示,對於加護病房內常見的幻覺性疾病「譫妄症」,也能提出預測及解決方法,達到及早發現提早給藥,舒緩病患的不安,也能降低死亡率。
智慧藥盒,安心用藥零風險
當然,AI技術運用的範圍不只限於醫院端,於病人端同樣也能得到好處。陳瑞杰說,北醫於2018年底所引進的智慧藥盒,是專門為慢性病與長者量身打造,對慢性病患或長期獨居的長者,智慧藥盒能提供很大的幫助。
北醫的智慧藥盒系統能存放400種以上不同的藥物,各自有其專屬的RFID,當機器收到病患用藥資訊之後,會將正確藥品掉落在藥盒之中,再利用影像辨識系統,依據藥品的大小、形狀、色澤與反光度等資訊進行比對後再進行包裝,接著再由專任藥師進行複驗,可達分錯藥的零風險。
智慧藥櫃,提升藥品管理效率
此外,在醫療照護方面,北醫也打造了智能藥品庫存管理系統。陳瑞杰指出,目前北醫的智慧藥櫃與自動化藥局能夠清點全院的藥物,無論是加護病房或全院一般病房內,都全面建置智慧藥櫃(ADC),能依照醫囑與藥師覆核後,給藥時由護理師直接到病房藥櫃就能取藥。
這讓取藥變得更為精準,能減少人員的疏失,讓拿錯藥的機率降低為零,同時也因為將常用的藥物做了分類,清點藥物時,也能達到百分之百的準確,庫存可降到最低,不只精簡流程,也節省了每月的盤點人力。
數位治療需達到精準預防的效果
隨著大數據的整合日趨重要,過去許多疾病必須花時間找答案,現在已能透過數位治療加以實踐,就像過去認為高血壓的藥物必須一天照三餐吃,但經過資料收整研究後發現,一天吃一顆,效果一樣好,加上不會忘記,用藥順從度提高;但是每天一次是早上或晚上吃比較好,某些藥物如中風、血壓藥,若能放在晚上吃,不僅藥量可以減少,效果也比白天吃來得好。
陳瑞杰認為,雖然目前國內人工智慧仍處於研究與開發階段,醫院端運用最多的仍在於X光影像處理與加護病房等,但要真正達到精準醫療,進而提升到預防醫學上,仍必須要收集更多的資料。
比如預測癌症的發生,必須要思考病患的基因與環境表現,他形容這兩者就像命與運;醫院端需要靠病患提供生活端的資料,唯有收集的資料正確,才能得知藥物對病患的使用效果。
而這些都是數位化與人工智慧結合後,能看到對病患端的好處,當然在醫院端方面,也因為數位化後,不只醫療供給、醫療服務或治療上都會越來越精準,再往上提升,自然就能做到精準預防。
數位孿生概念,是智慧醫療的願景
不過陳瑞杰感嘆,目前雖然科技進步,但對於人工智慧所需要的數據端資料收集與應用上,仍有很長的路要走,不僅是法規、資安、隱私等問題都有待克服。到目前為止,人工智慧在智慧醫療的應用仍限於輔助工具,如何將醫界與病患的資料作串聯與系統性的應用,仍是最大的難題。
他提及,軟體工程師、PTT創辦人杜奕瑾董事長所推行的聯邦式學習,或許是很好的思考方向,不但能將去中心化的醫療資料與數據有效串連,也能給予醫療足夠的AI資料應用,同時又能保有醫院本體的資料自主性。
此外,他認為未來人工智慧結合智慧醫療的願景,應該會朝著「數位孿生」(digital twin)的概念走,白話一點說,就是能在茫茫人海中找到跟自己很像的孿生兄弟姊妹,幫助自己看到未來的樣貌,或疾病的過程,提供自己老年後的參考。但一切都必須有數據,累積的越多,自然就更準確。
未來,人工智慧與智慧醫療結合將有無限可能,不過陳瑞杰認為現階段最重要的是,如今北醫已經將手邊的資源做最大的利用,畢竟醫院的價值與品質同樣重要,而數位化、人工智慧都是工具,用來達成全人醫療為核心的目標,如何做到「視病猶己」才是目前最需要努力的方向。
資料來源:https://udn.com/news/story/7016/5155255?fbclid=IwAR2cH3OfnaDPpuR0Y43YltxyJNcPbAxKDbMdAwCBixIemq6FfbX8vGP89dw
「機器學習工程師ptt」的推薦目錄:
- 關於機器學習工程師ptt 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
- 關於機器學習工程師ptt 在 科技大觀園 Facebook 的最佳解答
- 關於機器學習工程師ptt 在 科技主婦carolchen Facebook 的最佳解答
- 關於機器學習工程師ptt 在 Re: [請益] 想從零開始轉行當AI軟體工程師- 看板Soft_Job 的評價
- 關於機器學習工程師ptt 在 面試深度學習/機器學習工程師- 科技業板 - Dcard 的評價
- 關於機器學習工程師ptt 在 Re: [心得] 2021 外商資料科學求職心得 - PTT 熱門文章Hito 的評價
- 關於機器學習工程師ptt 在 機器學習工作ptt-健康保健養身飲食相關資訊-2022-11(持續更新) 的評價
- 關於機器學習工程師ptt 在 機器學習工程師PTT,大家都在找解答。第3頁 的評價
- 關於機器學習工程師ptt 在 機器學習工程師ptt的推薦與評價,PTT、DCARD 的評價
- 關於機器學習工程師ptt 在 機器學習工程師ptt的推薦與評價,PTT、DCARD 的評價
- 關於機器學習工程師ptt 在 機器學習工程師薪水ptt :: 全台第三方支付網 的評價
- 關於機器學習工程師ptt 在 自上而下的學習路線:軟體工程師的機器學習 - GitHub 的評價
- 關於機器學習工程師ptt 在 [心得] 新鮮人軟軔面試心得 - PTT評價 的評價
- 關於機器學習工程師ptt 在 台積電機器學習工程師PTT的問題包括PTT、Dcard、Mobile01 的評價
- 關於機器學習工程師ptt 在 台積電機器學習工程師PTT的問題包括PTT、Dcard、Mobile01 的評價
- 關於機器學習工程師ptt 在 台積電機器學習工程師PTT的問題包括PTT、Dcard、Mobile01 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt - prxrc.pl 的評價
- 關於機器學習工程師ptt 在 Ai 工程師ptt 的評價
- 關於機器學習工程師ptt 在 EP83|軟工AI》維元:高風險的資料科學工作者 - YouTube 的評價
- 關於機器學習工程師ptt 在 [請益] 玉山銀行機器學習工程師面試- 看板Soft_Job - PTT網頁版 的評價
- 關於機器學習工程師ptt 在 [討論] 深度學習的朋友未來都是在哪些產業呢- tech_job 的評價
- 關於機器學習工程師ptt 在 bi 工程師ptt - 非本科未來想做AI工程師工作板 - diapp.cz 的評價
- 關於機器學習工程師ptt 在 [心得] 2020 深度學習面試心得EngineerChen PTT批踢踢實業坊 的評價
- 關於機器學習工程師ptt 在 深度學習ptt - amfizjoterapia.pl 的評價
- 關於機器學習工程師ptt 在 Re: [徵才] Kuchi 徵機器學習工程師- 看板Soft_Job 的評價
- 關於機器學習工程師ptt 在 天瓏資訊圖書- 不可不讀的機器學習面試寶典 - Facebook 的評價
- 關於機器學習工程師ptt 在 AI/ML/DL/CV 相關面試心得(長文) 的評價
- 關於機器學習工程師ptt 在 我花了兩年,從不懂Python變成了AI工程師 - PTT新聞 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 請益玉山銀行機器學習工程師面試PTT 網頁版- 玉山銀行徵才ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt - 鋒川實業有限公司 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt - 公司團保 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 深度學習ptt - bellabresilienne.fr 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt - 跳繩一分鐘幾下 的評價
- 關於機器學習工程師ptt 在 五星級溝通術,你的成功巨浪 - Google 圖書結果 的評價
- 關於機器學習工程師ptt 在 演算法工程師ptt 的評價
- 關於機器學習工程師ptt 在 超越多顯卡多機器:分散式機器學習超速實戰 的評價
- 關於機器學習工程師ptt 在 亞馬遜逆向工作法: 揭密全球最大電商的經營思維 - Google 圖書結果 的評價
- 關於機器學習工程師ptt 在 請益玉山銀行機器學習工程師面試Ptt 網頁版 的評價
- 關於機器學習工程師ptt 在 請益玉山銀行機器學習工程師面試Ptt 網頁版 的評價
- 關於機器學習工程師ptt 在 雜訊: 人類判斷的缺陷 - 第 11 頁 - Google 圖書結果 的評價
- 關於機器學習工程師ptt 在 期貨當沖ptt - 期貨簡易當沖術順勢被動操作,逆勢主動操作 的評價
- 關於機器學習工程師ptt 在 無題 的評價
- 關於機器學習工程師ptt 在 Soft_Job - [請益] 大四畢業前機器學習規劃 - MYPTT 的評價
機器學習工程師ptt 在 科技大觀園 Facebook 的最佳解答
【AI導入廚房?】
#你以為的AI #來點真的AI吧
下面這個 PTT 笨板的故事在說,因為餐點不夠美味,會議中被要求將 AI 導入廚房的電機工程師,最後竟然用人工+智慧解決了這個問題(欸?!)
[無言] AI廚房
https://www.ptt.cc/bbs/StupidClown/M.1579743544.A.D60.html
雖然 AI 在進行深度學習的過程,也經常讓人摸不著腦袋,例如調整不同的參數,找出機器學習最有效率的演算方式,竟然就可以讓機器自己學會新的語言,請戳文章↓↓
#對抗式學習 #到底怎麼辦到的 #臺灣前沿研究
機器學習工程師ptt 在 科技主婦carolchen Facebook 的最佳解答
今年冬天來的好慢啊~12月天白天還可以穿短袖,眼看聖誕節就快要到了!今天小孩們還在提醒說他們的聖誔月曆還沒買,聖誔樹可以拿出來了囉😬
2018又要過去了,這過去一年來也帶著孩子共同做了不少冒險而又有趣的事,第一次跟小孩在歐洲自駕旅行!還有今月一月時我們全家一起去東京的輕井澤滑雪😍
講到這個滑雪,今年的一月還是Carol人生第一次滑雪呢!今年的一月的東京親子遊,我決定計劃除了老套行程的廸士尼之外😬還希望全家來體驗台灣沒有做過的事👉就是前往東京近郊輕井澤滑雪場,來場與雪地有約!😙
但Carol 知道這滑雪,可不是說滑就滑!出發前還是需要學習一下,,結果找到我們內湖有一間滑雪學校,但是採用機器模擬教學!但又看到ptt上有網友說,其實新竹的小叮噹人造滑雪場,更接近實際的滑雪場!😄
於是我們家四個人在接近要出發滑雪時,就參加了小叮噹人造滑雪場的課程!原來這滑雪還是有許多的眉角滴,從穿雪鞋到跌倒如何站起來,都是有專業的方法!
Carol最記得第一次在,人造滑雪場滑下去時,我好像一顆不受控的保臨球一樣,往前衝下去,還往一群人中間衝過去(糗了糗了🤣)
我還大聲嘶喊: 大家~快閃閃閃.......結果也是跌的東倒西歪~😂
索性到了日本輕井澤的,王子大飯店的滑雪場之後, 我們四個人也還是跌........😂但至少在台灣已有學到最重要的跌倒如何站起來!😆
不過我們家對滑雪最有興趣的,大概是Carol跟喬克!所以我就帶著喬克坐著纜車上去,我們母子二個人再一起滑下來!
隨著跌倒再爬起來的經驗,突然我感覺到這滑雪好像小時候的四輪溜冰鞋,小時候我還會穿溜冰鞋,溜到雜貨店去幫中藥娥買雞蛋耶~突然間Carol打通任督二脈💪
於是大概提醒一下喬克,之前上課的一些技巧,後來我們二個到最後是一起從新手區的最上方從頭滑到尾,而沒有失誤抵達終點!😄
滑雪跌倒就好像一碗大挫冰從臉上倒下去,很驚訝但不認輸!唯有站起來繼續練習,才能享受到滑雪奔馳的樂趣!到最後我們母子二個滑出心得及興趣來,我們二個可以來去自如的在新手區,控制滑雪的速度快慢及方向!😄🤣
後來工程師及小甜心,在我們的鼓勵下又繼續練習!尤是是小甜心在今年一月才五歲的小小年紀,竟最後也成功了!也沒有跌倒滑完全程,完成這不可能的任務👏(因為我有要求小甜心全家一起學的運動,都要學!不可逃避😬)
所以我們深深中了滑雪的毒,滑雪真的會中毒耶!那種迎風而來的速度感及抵達目的地的成就感,真的是今年2018一種全新的體驗!而且全家一起同樂,真的好有趣!💕
希望有一天Carol可以挑戰,日本規模最大的北海道的二世谷滑雪場!💪
#今天煮了宜蘭夜市口味的當歸羊肉湯,大家喜歡吃嗎?+1😊
機器學習工程師ptt 在 面試深度學習/機器學習工程師- 科技業板 - Dcard 的推薦與評價
我今年應屆碩士畢業(非電資)準備來找工作,因為實驗室是做ai相關,所以想找相關職位,不知道有沒有人有面試的相關經驗可以分享?會考程式題嗎? ... <看更多>
機器學習工程師ptt 在 Re: [心得] 2021 外商資料科學求職心得 - PTT 熱門文章Hito 的推薦與評價
本文分享的工作類型,將以機器學習演算法應用為主,不包含資料分析師(Data Analyst )、軟體工程師(Software Engineer)、或者機器學習 ... ... <看更多>
機器學習工程師ptt 在 Re: [請益] 想從零開始轉行當AI軟體工程師- 看板Soft_Job 的推薦與評價
來用自己的例子勸退一些想跳機器學習的人
首先是數學程度,
我是數學系的,什麼線代,微積分,機率,統計的都很熟其實工作也會用到,
描述一些比較有印象的工作用過的數學,
比較有趣關於微積分的經驗:
老闆把問題用一個式子 exp(-rx)*((1/delta)*sqrt(A))*exp(-x^2/(A))來解釋,
並要對x積整個實數範圍。
在場大家都面面相覷我就被要求積了。
但這其實不難積,就高斯積分,有背整理一下秒解,
沒背也不難推。我大學微積分沒在背的所以是當場直接推,然後才繼續那場會議。
機率統計就那些常見的像是:
在一堆數據中給一些想法假設然後檢定,
或是想辦法對一直變動pattern的資料去建對應的機率模型。
但我具體數學程度到哪,舉兩個例子一個是深度學習WGAN一個是經典的random forest。
https://arxiv.org/pdf/1701.07875.pdf 這是WGAN。
https://link.springer.com/article/10.1023/A:1010933404324 這是RF。
基本上裡面的純數推導我幾乎都理解,
WGAN用到實分析跟線性規劃,
RF則是機率。
以上大概描述一下我的數學程度。
接著是我的電腦技能,
我熟悉的語言有C++跟PYTHON,基本上各有兩年以上的工作實務經驗。
python就絕大部份公司機器學習用的語言不解釋。
C++曾被公司要求所有演算法都要自己刻,這之中還包刮神經網路,
連 backpropagation 都要自己刻,
然後資料結構演算法,計算機組織,作業系統都讀過。
至於程度到哪我也不好說,我自知去參加程式比賽會被電死,但基本程度應該是有。
資料結構的程度至少是在刷題的時候不會卡在"天啊這個是什麼資料結構",
跟曾經在工作被要求刻了一個紅黑樹,雖然我現在忘了而且skip list太好用。
演算法就刷題的時候不會無止境一直設條件,
會嘗試用一些演算法想法比如 divide and conquer or dp 來解題。
計組作業系統就是那些什麼cpu pipeline 記憶體管理緩存設計都懂。
資料庫則是公司用什麼我就學什麼。
機器學習的部分就是幾乎現在大家喊得出名字的我都可以實作,
有要證明的模型我都可以證明,不過需要回憶準備一下哈哈因為模型太多沒全記。
大致用書來表示一下我懂得大概範圍好了。
https://www.deeplearningbook.org/
deep learning 的經典不解釋。
https://www.cs.cmu.edu/~tom/mlbook.html
machine learning 也算經典但很老的一本了。
https://www.tenlong.com.tw/products/9787302275954
各種經典的機器學習模型的推導書,雖然這個作者幾乎只是翻譯論文,但翻的還滿好的。
新技術太多我就不提了我都有在追。
以上大致描述一下我的程度,目前的結果是我近半年完全找不到工作XD
不管國內國外,丟履歷都沒回覆,基本上連面試機會都沒有。
搞得現在只能送foodpanda,
真的是能力不足阿...
希望這慘痛的經歷能拯救還想再跳AI的人阿。
==================================================
發現太多人執著實作的部分,其實要求手刻的只有一家公司,雖然我也在那邊做很久
除了那間公司其他的我也是用包啦,Tensorflow,cntk 之類的都會用。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.88.3 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1636524507.A.D68.html
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:12:47
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:23:19
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:31:53
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:42:43
改丟國內的國內也都沒回覆,慘
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:54:17
爛的資料神經網路無法處理因為神經網路是強逼近,就垃圾進垃圾出
但數學反倒可以找到很好的方向,
比如說我處理過那種雜訊很多就算了,哪些是雜訊還都不知道的數據。
方法就把資料換個方便我弄成隨機過程的樣子,
然後抽特徵的時候隨機,根據大數法則我可以期待他會逼近一個我要的值,
且也可以淡化雜訊的影響畢竟是隨機取,最終效果很好這樣
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 15:16:24
我只是想表示這麼基本的東西我都有公司也是不要阿
真的要說的話不然你試著準備一下那個WGAN的中為什麼Wasserstein比原本的GAN的cost function 還要好的證明然後試試?
最好還要問李航那本書沒有的,像是PCA為什麼是用特徵值,還有上面說的RF為什麼可行
L1 L2 為什麼會有那些效果怎麼用數學分析,BLABLABLA的
哀我真的只是想勸退還想進AI的人啦
這個東西真的水很深而且缺很少啦
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 17:34:07
不過主要是我都把時間拿來唸書了。
我沒在經營github,我是不知道自己的讀書心得丟那有沒有用,
我應徵時到是有附一些讀書的筆記,
像是上面提到的GAN的一些東西,為什麼強大,為什麼難訓練,WGAN為什麼強大,
能怎麼修正的一些整理都一起寄過去,展現我不是嘴巴說說有在讀書,是真的有在讀深入的
且工作上工也有用到,但一樣沒用哈哈哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:04:21
所以我才真心建議不要再跳進AI了,沒想像地這麼美好
本職學能持續精進,有需要再碰就好了。
其實我在找工作,現在大部分的缺都是傾向:他們方法有了。
機器學習工程師就是架構一個data pipeline,然後建模型訓練,接著實際應用。
最終就是要自動化。實際有關機器學習的問題去跟公司的data scientist 討論即可,本質?
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:11:18
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:13:02
kaggle還要考慮我手邊的的裝備,所以能做的題目大概也都是那些普通的題目
最主要的問題就是我學經歷不夠,所以我相信現在有想跳AI的一定都是一樣的狀態
所以這篇的重點一直都是:拜託,別在專門跳機器學習的領域,好好點高自己的技能比較實?
而不是討論我為什麼沒工作沒面試阿。一直討論我為什麼沒工作不是很好笑嗎= =
現在就是僧多粥少,不只如此,那些還不是僧只是剃光頭阿。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:56:44
不過撇開這個,我是有考慮分析不少事情。
而結論是:
那個時間成本不如拿去刷題,從SDE的路進公司,在從公司內部轉比較有機會。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 19:02:56
其實我不強啦哈哈我不是四大數學系的哈哈,我只是愛讀書而已。
其實專案量化成績是有啦,但我不知道是不是命運使然還是怎樣。
我舉的這個例子,是我進公司之前他們搞了快兩年都沒結果,因為一直在用傳統的CNN做
真的是各種花俏CNN,連deepfake都被拿來用
但我進去觀察一下資料就覺得不適合,所以花了很多時間在搞數學方法
然後撇開新創有的沒的雜事和動不動就換目標,七八個月後也是不容易地搞出來了。
然後老闆很高興地拿去做了一些事,後續的一些計畫也開始在動時,老闆走了...
結果業務端好像都是老闆在搞,老闆一去世公司就炸掉了。
所以這個就沒下文啦,後續是有人私底下要跟我買,我覺得麻煩也不道義就沒賣了。
但我其實不想講太細節就是因為這看起來超像嘴砲,所以想著重在方法跟技術知識面而已
不過就算被當嘴砲也沒差反正人生是我自己的哈哈
所以我比較願意刷題而起也滿享受的。但請注意我知道這之中的差異,
KAGGLE"可能"會讓我"多一點"面試的機會,而刷題會讓我現階段往SDE的方向走。
我刷題是為了增強自己的能力,而不是為了"機器學習相關工作的面試"
不過話說回來我真的覺得太聚焦我的狀況了
直接說我目前的打算,我還想工作只是為了存點應急錢去唸博士,
現在應該就是不會在嘗試存應急錢直接去唸博士,我也確定我愛研究,
我直覺判斷我讀博時intern應該會好找,應該啦。
所以大家別在聚焦在這個啦哈哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 22:11:49
當時我處理的影像超稀疏的。gan難train是在那個模型非常
容易被一個函數分開,也就是可以找到完美的discriminato
r,這是這兩個機率support的問題,而且條件還不用是這兩
個support不相交,只要幾乎處處不相交就可以,這個至少廣
大的實驗告訴我們非常容易發生。所以本質上只要是那個co
st function,初始值不好不管做甚麼調整丟什麼模型進去都
會遇到這個問題。然後可能是我的處理的影像真的太稀疏,
應該是可以理解成這個pattern的support超小,基本上根本
train不起來。所以我那時的想法是就是想要一個理論上直接
可行的結果。這樣我不用把模型弄得巨爆幹複雜,設計一堆
有的沒的只為了能先train,與其想辦法各種嘗試引導訓練,
抽象地說就是想辦法找一個先驗讓兩個pattern的support能
重合。不如直接一個理論可行的再去處理wgan模型的問題,因
為比較具體有方向。順便說之前的別組也是各種花式加self
-attention在decoder和encoder中也是沒用,至於原因因為
不是我做的我沒去也不想去深思,或許也可以就是~可能有錯
,多包涵啦。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 01:46:54
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 01:56:19
我稍微想到可能比較有創意(?)你可以嘗試的方法。
從sample的特徵下手,而且我會傾向不用up sample因為我不喜歡人工數據XD。
雜訊很多的情況就上面有提到,從sample中隨機取特徵,然後創個新sample。
但因為我的問題是哪些是雜訊也不知道,
所以這樣的好處是資料都是是自然環境產生的,
我不用去考慮這樣取是不是會有bias,反正隨機數拉高一定會逼近我要的樣子。
注意如果特徵彼此之間獨立性高,這樣做會有問題,
依我的經驗我還想不到哪些可能的題目可以用這個XD
然後是特徵少且彼此獨立性高且樣本數也很少的話,
這種的就麻煩因為你的資訊本來就少,大概只能用加雜訊的方式去up sample了,
然後是特徵少且獨立性高然後樣本高,那這樣我會採down sample,
我現在直觀想到就 greedy 地去做。
先根據你的問題,觀察哪個特徵最重要(簡單的方法就隨機森林),
從這個特徵來看聚的狀況,但注意這個聚集狀況可以用不同的方式來定義,
就是用不一樣的距離公式來嘗試,
把這個群體中sample數偏高的類別刪掉一些,
基本假設就是因為這個特徵影響大,
那又特別多的sample聚集在一起的東西可能影響會太大有bias
同樣地你可以反過來從不重要的特徵下手去砍,這樣對整個資料的影響會最小
然後反過來特徵多且獨立性高樣本數多,因為這種狀況可能會有為度災難的可能
所以會特徵一起砍
觀察不重要的特徵的聚的狀況,
直接砍掉這個特徵,並砍掉不平衡的那個地方,然後一直持續到樣本平衡
特徵多且獨立性高樣本少,其實會發現樣本少就是麻煩,
所以我一樣會砍最沒影響往上的特徵,然後觀察從最重要往下的特徵的群,
去砍裏面不平衡的那方
不過樣本數少可能會有問題,我應該還是傾向up sample就是
然後我現在想的到的終極狀況之一是特徵沒有特別的群聚現象,
因為這個太抽象可能個別問題有不同的方法XD
在目前抽象的假設下我只能建議加雜訊 up sample
或是隨機去 down sample
以上你參考一下,但畢竟我不知道你做的題目,
所以我盡量先考慮比較一般只考慮抽象特徵的情況了
但對某些特定題目不一定可行你要小心使用哈哈
最後我上面除了雜訊那個都假設獨立性高,這個可以很簡單地用PCA達成,
所以如果你想要維持原本的特徵,不用獨立性高的假設其實應該差別也不大
對不起我昨天其實滿累得沒注意到你應該就是問樣本數很少還稀疏的情況,
樣本數少的時候方法想得很混。
如果樣本數少,並假設超級極端狀況99%比1%。
一樣觀察特徵附近(注意這個"附近"一樣是根據你的距離定義,根據不同問題是用的距離定義),
因為資訊實在太少,基本只能假設這個樣本附近可能會有同樣的標注。
所以從附近去生成樣本,
如果這個某個標注還在另外一個標注的某個聚落附近,你也可以考慮降低這個聚落的影響,
就是在這個聚落去砍掉多數的樣本。
其實概念上都差不多,就是根據你的問題,看有沒有某些前提資訊可用,然後去resample。
根據你的問題,這個特徵的選法就不同,探討聚落的方式也不同(像是KNN,T-SNE)。
若是你用的是隨機森林的方法,你甚至可以考慮把這個算法啟發化。
其他的方式想啟發化也不是不行,但是就是沒有tree model這麼乾淨俐落就是
以上就是我目前想的到的處理方法哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 21:46:44
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 21:58:18
※ 編輯: stmilk (223.137.88.3 臺灣), 11/12/2021 12:27:45
... <看更多>