久久综合九色欧美综合狠狠,伊人热热**放WWW,成A人片亚洲日本久久,久久不见久久见免费影院日本,97久久精品人人做人人爽,久久综合狠狠综合久久综合88,午夜欧美精品久久久久久久,九九综合九色综合网站,欧美高清在线精品一区,久久精品国产99国产精品,狠狠色噜噜狠狠狠狠AV不卡,欧美激情一区二区久久久,精品无码久久久久国产

歡迎來到思途醫(yī)療科技有限公司官網(wǎng)!

醫(yī)療器械生產(chǎn)企業(yè)合規(guī)技術(shù)咨詢服務(wù)

注冊備案 · 臨床試驗 · 體系建立輔導(dǎo) · 分類界定 · 申請創(chuàng)新

186-0382-3910
186-0382-3910
全部服務(wù)分類
當(dāng)前位置: 首頁 > 資訊中心 > 法規(guī)文件

人工智能醫(yī)療器械注冊審查指導(dǎo)原則(2022年第8號)

來源:醫(yī)療器械注冊代辦 發(fā)布日期:2022-03-09 閱讀量:

人工智能醫(yī)療器械注冊審查指導(dǎo)原則(2022年第8號)(圖1)

國家藥監(jiān)局器審中心關(guān)于發(fā)布人工智能醫(yī)療器械注冊審查指導(dǎo)原則的通告(2022年第8號)


2022-03-09 09:10

為進(jìn)一步規(guī)范人工智能醫(yī)療器械的管理,國家藥監(jiān)局器審中心組織制定了《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》,現(xiàn)予發(fā)布。

特此通告。


附件:人工智能醫(yī)療器械注冊審查指導(dǎo)原則.doc


國家藥品監(jiān)督管理局
醫(yī)療器械技術(shù)審評中心
2022年3月7日


附件

人工智能醫(yī)療器械注冊審查指導(dǎo)原則

本指導(dǎo)原則旨在指導(dǎo)注冊申請人建立人工智能醫(yī)療器械生存周期過程和準(zhǔn)備人工智能醫(yī)療器械注冊申報資料,同時規(guī)范人工智能醫(yī)療器械的技術(shù)審評要求,為人工智能醫(yī)療器械、質(zhì)量管理軟件的體系核查提供參考。

本指導(dǎo)原則是對人工智能醫(yī)療器械的一般要求。注冊申請人需根據(jù)產(chǎn)品特性和風(fēng)險程度確定本指導(dǎo)原則具體內(nèi)容的適用性,若不適用詳述理由。注冊申請人也可采用其他滿足法規(guī)要求的替代方法,但需提供詳盡的支持資料。

本指導(dǎo)原則是在現(xiàn)行法規(guī)、強(qiáng)制性標(biāo)準(zhǔn)體系以及當(dāng)前科技能力、認(rèn)知水平下制定的,隨著法規(guī)、強(qiáng)制性標(biāo)準(zhǔn)體系的不斷完善以及科技能力、認(rèn)知水平的不斷發(fā)展,本指導(dǎo)原則相關(guān)內(nèi)容也將適時調(diào)整。

本指導(dǎo)原則是供注冊申請人、審評人員和檢查人員使用的指導(dǎo)文件,不涉及行政審批事項,亦不作為法規(guī)強(qiáng)制執(zhí)行,應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。

本指導(dǎo)原則作為數(shù)字醫(yī)療(Digital Health)指導(dǎo)原則體系的重要組成部分,采用和遵循醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動醫(yī)療器械、醫(yī)療器械人因設(shè)計、醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查等相關(guān)指導(dǎo)原則的概念和要求。

本指導(dǎo)原則是人工智能醫(yī)療器械的通用指導(dǎo)原則,其他含有或涉及人工智能技術(shù)的醫(yī)療器械指導(dǎo)原則可在本指導(dǎo)原則基礎(chǔ)上結(jié)合具體情況進(jìn)行有針對性的調(diào)整、修改和完善。

一、適用范圍

本指導(dǎo)原則適用于人工智能醫(yī)療器械的注冊申報,包括第二類、第三類人工智能獨(dú)立軟件和含有人工智能軟件組件的醫(yī)療器械(包括體外診斷醫(yī)療器械);適用于自研軟件的注冊申報,現(xiàn)成軟件組件參照執(zhí)行,不適用于外部軟件環(huán)境。

本指導(dǎo)原則也可用作人工智能醫(yī)療器械的體系核查參考。質(zhì)量管理軟件若采用人工智能技術(shù)實現(xiàn)其功能或用途,亦可參考本指導(dǎo)原則的適用要求。

二、主要概念

(一)人工智能醫(yī)療器械

本指導(dǎo)原則所述人工智能醫(yī)療器械是指基于“醫(yī)療器械數(shù)據(jù)”,采用人工智能技術(shù)實現(xiàn)其預(yù)期用途(即醫(yī)療用途)的醫(yī)療器械。

醫(yī)療器械數(shù)據(jù)是指醫(yī)療器械產(chǎn)生的用于醫(yī)療用途的客觀數(shù)據(jù),如醫(yī)學(xué)影像設(shè)備產(chǎn)生的醫(yī)學(xué)圖像數(shù)據(jù)(如X射線、CT、MRI、超聲、內(nèi)窺鏡、光學(xué)等圖像)、醫(yī)用電子設(shè)備產(chǎn)生的生理參數(shù)數(shù)據(jù)(如心電、腦電、血壓、無創(chuàng)血糖、心音等波形數(shù)據(jù))、體外診斷設(shè)備產(chǎn)生的體外診斷數(shù)據(jù)(如病理圖像、顯微圖像、有創(chuàng)血糖波形數(shù)據(jù)等);在特殊情形下,通用設(shè)備(非監(jiān)管對象)產(chǎn)生的用于醫(yī)療用途的客觀數(shù)據(jù)亦屬于醫(yī)療器械數(shù)據(jù),如數(shù)碼相機(jī)拍攝的用于皮膚疾病診斷的皮膚照片、健康電子產(chǎn)品采集的用于心臟疾病預(yù)警的心電數(shù)據(jù)等?;卺t(yī)療器械數(shù)據(jù)包括醫(yī)療器械數(shù)據(jù)的生成、使用等情況,其中使用情況含單獨(dú)使用醫(yī)療器械數(shù)據(jù),或者以醫(yī)療器械數(shù)據(jù)為主聯(lián)合使用非醫(yī)療器械數(shù)據(jù)(如患者主訴信息、檢驗檢查報告結(jié)論、電子病歷、醫(yī)學(xué)文獻(xiàn)等)。

人工智能是指機(jī)器表現(xiàn)出與人類智能相關(guān)行為的能力,通常是指通過感知周圍環(huán)境做出合理行動以達(dá)到預(yù)期目標(biāo)的計算機(jī)軟件或系統(tǒng)。機(jī)器學(xué)習(xí)是指與人類學(xué)習(xí)行為相關(guān)的人工智能,通常是指通過整理現(xiàn)有數(shù)據(jù)和/或獲取新數(shù)據(jù)以提升性能的計算機(jī)軟件或系統(tǒng)。機(jī)器學(xué)習(xí)雖是人工智能的子集,但卻為人工智能的核心領(lǐng)域,當(dāng)前二者對于醫(yī)療器械而言含義基本相同,故本指導(dǎo)原則從醫(yī)療器械安全有效性評價角度出發(fā)對二者不做嚴(yán)格區(qū)分,統(tǒng)一采用人工智能進(jìn)行表述。

基于非醫(yī)療器械數(shù)據(jù)的醫(yī)學(xué)人工智能產(chǎn)品,或者采用人工智能技術(shù)實現(xiàn)非醫(yī)療用途和非醫(yī)療器械功能(詳見醫(yī)療器械軟件指導(dǎo)原則)的醫(yī)療器械均非人工智能醫(yī)療器械。醫(yī)學(xué)人工智能產(chǎn)品是否按醫(yī)療器械管理,根據(jù)相應(yīng)分類界定指導(dǎo)原則進(jìn)行判定,必要時申請醫(yī)療器械分類界定。

(二)人工智能醫(yī)療器械類型

從醫(yī)療器械軟件角度,人工智能醫(yī)療器械可分為人工智能獨(dú)立軟件和人工智能軟件組件,故其類型劃分可參考醫(yī)療器械軟件指導(dǎo)原則相關(guān)維度。

人工智能醫(yī)療器械從用途角度可分為輔助決策類和非輔助決策類。其中,輔助決策是指通過提供診療活動建議輔助用戶(如醫(yī)務(wù)人員、患者)進(jìn)行醫(yī)療決策,如通過病灶特征識別、病灶性質(zhì)判定、用藥指導(dǎo)、治療計劃制定進(jìn)行輔助分診、輔助檢測、輔助診斷、輔助治療等,相當(dāng)于用戶的“助手”。反之,僅提供醫(yī)療參考信息而不進(jìn)行醫(yī)療決策即為非輔助決策,包括流程優(yōu)化、診療驅(qū)動,前者如成像流程簡化、診療流程簡化等,后者如成像質(zhì)量改善、成像速度提高、自動測量、自動分割、三維重建等,相當(dāng)于用戶的“工具”。此外,輔助決策和非輔助決策從實時性角度均可細(xì)分為實時和非實時,前者風(fēng)險通常高于后者。

人工智能醫(yī)療器械從功能角度大體上可分為處理功能、控制功能、安全功能。其中,處理功能又可分為前處理功能和后處理功能,前處理功能是指采集人體解剖、生理信息生成醫(yī)療器械數(shù)據(jù)過程的處理功能,如成像流程簡化、成像質(zhì)量改善、成像速度提高等;后處理功能是指利用醫(yī)療器械數(shù)據(jù)生成診療信息或進(jìn)行醫(yī)療干預(yù)過程的處理功能,如診療流程簡化、自動測量、自動分割、三維重建、病灶特征識別、病灶性質(zhì)判定、用藥指導(dǎo)、治療計劃制定等??刂乒δ苁侵缚刂?驅(qū)動醫(yī)療器械硬件運(yùn)行的功能,如閉環(huán)控制、機(jī)械臂運(yùn)動控制等。安全功能是指保證醫(yī)療器械安全性的功能,如風(fēng)險預(yù)警、急??刂频?。

人工智能醫(yī)療器械從算法角度具有多種類型劃分維度。從學(xué)習(xí)策略角度可分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),前者需要對訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注,如線性回歸、邏輯回歸、決策樹、樸素貝葉斯、K近鄰、支持向量機(jī)等經(jīng)典回歸、分類算法,后者無需對訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注,如K均值、主成分分析等經(jīng)典聚類、降維算法,前者對于數(shù)據(jù)標(biāo)注的要求高于后者。從學(xué)習(xí)方法角度可分為基于模型的算法和基于數(shù)據(jù)的算法,前者采用統(tǒng)計模型、規(guī)則推理等方法,后者主要采用大數(shù)據(jù)方法,前者對于訓(xùn)練數(shù)據(jù)量的要求低于后者。從可解釋性角度可分為白盒算法和黑盒算法,前者特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),后者自動完成特征提取,難與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),前者可解釋性優(yōu)于后者。

上述類型劃分維度相互交叉,例如:前處理和后處理均可采用不同類型的人工智能算法實現(xiàn)輔助決策、非輔助決策用途,有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)既可采用基于模型的算法、基于數(shù)據(jù)的算法,又可采用黑盒算法、白盒算法。同時,同一維度亦不存在嚴(yán)格的劃分界線,例如:在用途方面,通過圖像識別技術(shù)進(jìn)行流程優(yōu)化則需考慮診療驅(qū)動相關(guān)要求,自動測量結(jié)果若為醫(yī)療決策重要指標(biāo)(如血流儲備分?jǐn)?shù)FFR)則屬于輔助決策范疇;在功能方面,控制功能、安全功能可與處理功能相結(jié)合,前處理過程可包含后處理功能;在算法方面,某些算法既可用于有監(jiān)督學(xué)習(xí)又可用于無監(jiān)督學(xué)習(xí),有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)可結(jié)合為半監(jiān)督學(xué)習(xí);基于模型的算法亦需數(shù)據(jù)的支持,基于數(shù)據(jù)的算法亦可生成模型;白盒算法和黑盒算法可組合使用成為灰盒算法。

同樣,人工智能醫(yī)療器械從成熟度角度可分為成熟和全新兩種類型,其中成熟是指安全有效性已在醫(yī)療實踐中得到充分證實的情形,全新是指未上市或安全有效性尚未在醫(yī)療實踐中得到充分證實的情形。人工智能醫(yī)療器械的算法、功能、用途若有一項為全新則屬于全新類型,反之屬于成熟類型。

人工智能醫(yī)療器械可同時采用多種、多個人工智能算法,在前處理、后處理過程中實現(xiàn)輔助決策、非輔助決策用途。因此,注冊申請人需結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能以及所用算法的類型特點(diǎn)、技術(shù)特征、組合形式開展相應(yīng)產(chǎn)品質(zhì)控工作,以保證產(chǎn)品的安全有效性。

(三)人工智能算法更新

人工智能算法特別是基于數(shù)據(jù)的算法,具有快速迭代更新的特性。人工智能算法更新屬于軟件更新范疇,故遵循軟件更新的基本原則及要求:人工智能算法更新若影響到人工智能醫(yī)療器械的安全性或有效性則屬于重大軟件更新,應(yīng)申請變更注冊;反之,人工智能算法更新若未影響到人工智能醫(yī)療器械的安全性和有效性則屬于輕微軟件更新,通過質(zhì)量管理體系進(jìn)行控制,無需申請變更注冊,待下次變更注冊時提交相應(yīng)注冊申報資料。

人工智能算法更新可分為算法驅(qū)動型更新和數(shù)據(jù)驅(qū)動型更新。其中,算法驅(qū)動型更新是指人工智能醫(yī)療器械所用算法、算法結(jié)構(gòu)、算法流程、算法編程框架(詳見后文)、輸入輸出數(shù)據(jù)類型等發(fā)生改變,通常屬于重大軟件更新。此外,算法重新訓(xùn)練即棄用原有訓(xùn)練數(shù)據(jù)而采用全新訓(xùn)練數(shù)據(jù)進(jìn)行算法訓(xùn)練,亦屬于算法驅(qū)動型更新。

數(shù)據(jù)驅(qū)動型更新是指僅由訓(xùn)練數(shù)據(jù)量增加而發(fā)生的算法更新。數(shù)據(jù)驅(qū)動型更新是否屬于重大軟件更新原則上以算法性能評估結(jié)果(基于相同的測試集和算法性能評估指標(biāo))為準(zhǔn),算法性能評估結(jié)果若發(fā)生顯著性改變則屬于重大軟件更新,即算法性能評估結(jié)果與前次注冊(而非前次更新)相比存在統(tǒng)計學(xué)差異,反之屬于輕微軟件更新。

人工智能醫(yī)療器械其他類型的算法更新、軟件更新以及重大軟件更新判定原則詳見醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。

軟件版本命名規(guī)則原則上應(yīng)涵蓋算法驅(qū)動型更新和數(shù)據(jù)驅(qū)動型更新,明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉常見典型情況。軟件版本命名規(guī)則的基本要求詳見醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。

三、基本原則

(一)基于算法特性

人工智能技術(shù)從發(fā)展驅(qū)動要素角度是基于模型/數(shù)據(jù)和算力的算法,其中模型/數(shù)據(jù)是人工智能技術(shù)的基礎(chǔ),算力是人工智能技術(shù)的保證,算法是人工智能技術(shù)的核心。

由于算力所用計算資源本身不屬于監(jiān)管對象,計算資源的監(jiān)管要求取決于其所屬的計算平臺類型。故從監(jiān)管角度出發(fā),人工智能醫(yī)療器械安全有效性評價基于其預(yù)期用途、使用場景、核心功能,以算法特性為核心重點(diǎn)關(guān)注其泛化能力,以模型/數(shù)據(jù)為基礎(chǔ)重點(diǎn)關(guān)注其質(zhì)控情況,同時從風(fēng)險管理角度兼顧算力不足與失效的影響。

人工智能算法的類型不同,其算法特性、適用場景也不同,評價重點(diǎn)亦有所側(cè)重;同時,不同類型的人工智能算法可組合使用,需結(jié)合各算法特性和算法組合形式進(jìn)行整體評價。因此,注冊申請人需結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能選擇與之相適宜的人工智能算法或算法組合,基于算法特性并結(jié)合風(fēng)險管理開展相應(yīng)驗證與確認(rèn)工作。

以深度學(xué)習(xí)為例,其是指通過訓(xùn)練具有多個隱層的神經(jīng)網(wǎng)絡(luò)而獲得輸入輸出映射關(guān)系的人工智能算法,亦是基于海量數(shù)據(jù)和高算力的黑盒算法,既可用于有監(jiān)督學(xué)習(xí)又可用于無監(jiān)督學(xué)習(xí)。因此,對于采用深度學(xué)習(xí)技術(shù)的人工智能醫(yī)療器械,基于其預(yù)期用途、使用場景、核心功能,重點(diǎn)關(guān)注其算法泛化能力、數(shù)據(jù)質(zhì)控、可解釋性等問題,同時,深度學(xué)習(xí)若與其他類型的人工智能算法組合使用,還需基于各算法特性重點(diǎn)關(guān)注算法組合的整體評價問題。

人工智能新算法研究處于深入發(fā)展階段,如基于小樣本數(shù)據(jù)、基于弱標(biāo)注數(shù)據(jù)、基于非結(jié)構(gòu)化數(shù)據(jù)、黑盒算法透明化等算法。人工智能醫(yī)療器械若使用人工智能新算法,亦需基于算法特性并結(jié)合風(fēng)險管理開展相應(yīng)驗證與確認(rèn)工作,以保證產(chǎn)品的安全有效性。

(二)風(fēng)險導(dǎo)向

人工智能醫(yī)療器械的風(fēng)險水平亦可用軟件安全性級別進(jìn)行表述,軟件安全性級別越高,其生存周期質(zhì)控要求越嚴(yán)格,注冊申報資料越詳盡,同時由于全新類型的潛在未知風(fēng)險多于成熟類型,故需結(jié)合成熟度予以綜合考慮,具體要求詳見醫(yī)療器械軟件指導(dǎo)原則。

人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預(yù)期用途、使用場景、核心功能進(jìn)行綜合判定,其中預(yù)期用途主要考慮用途類型、重要程度、緊迫程度等因素,使用場景主要考慮使用場合、疾病特征、適用人群、目標(biāo)用戶等因素,核心功能主要考慮功能類型、核心算法、輸入輸出、接口等因素。亦可根據(jù)風(fēng)險管理所確定的風(fēng)險等級進(jìn)行判定,軟件安全性級別與風(fēng)險等級的分級可以不同,但二者存在對應(yīng)關(guān)系,因此可根據(jù)風(fēng)險等級來判定軟件安全性級別,但應(yīng)在采取風(fēng)險控制措施之前進(jìn)行判定。

人工智能醫(yī)療器械的主要風(fēng)險從算法角度包括過擬合和欠擬合,其中過擬合是指算法對于訓(xùn)練數(shù)據(jù)過度學(xué)習(xí)而將非普遍規(guī)律作為重要特征,欠擬合是算法對于訓(xùn)練數(shù)據(jù)學(xué)習(xí)不充分而遺漏重要特征,均會降低算法泛化能力。從用途角度,輔助決策主要包括假陰性和假陽性,其中假陰性即漏診,可能導(dǎo)致后續(xù)診療活動延誤,特別是要考慮快速進(jìn)展疾病的診療活動延誤風(fēng)險,而假陽性即誤診,可能導(dǎo)致后續(xù)不必要的診療活動;非輔助決策從算法設(shè)計目標(biāo)能否得以實現(xiàn)角度,亦可參考輔助決策分為假陰性和假陽性。此外,進(jìn)口人工智能醫(yī)療器械還需考慮中外差異風(fēng)險,如人種、流行病學(xué)特征、臨床診療規(guī)范等差異。

注冊申請人應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能開展風(fēng)險管理活動,采取風(fēng)險控制措施將風(fēng)險降至可接受水平,并貫穿于人工智能醫(yī)療器械全生命周期過程。

(三)全生命周期質(zhì)控

注冊申請人應(yīng)結(jié)合質(zhì)量管理體系要求,參考軟件、人工智能相關(guān)標(biāo)準(zhǔn)和良好工程實踐,建立人工智能醫(yī)療器械生存周期過程,開展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工作,將風(fēng)險管理、可追溯分析貫穿于生存周期全程,形成記錄以供體系核查。

上市前開展充分、適宜、有效的驗證與確認(rèn)活動,保證算法泛化能力滿足用戶需求,識別可預(yù)見風(fēng)險并將其降至可接受水平,明確產(chǎn)品使用限制(含技術(shù)限制,下同)和必要警示提示信息。上市后持續(xù)開展算法泛化能力研究,同時結(jié)合用戶投訴、不良事件和召回等情況識別前期未預(yù)見的風(fēng)險,并采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平。此外,根據(jù)產(chǎn)品更新需求,經(jīng)評估后實施更新活動,開展與之相適宜的驗證與確認(rèn)活動,保證算法泛化能力持續(xù)滿足用戶需求。

四、人工智能醫(yī)療器械生存周期過程

人工智能醫(yī)療器械生存周期(又稱生命周期)過程可基于軟件生存周期過程予以建立,具體要求詳見醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量管理規(guī)范及其現(xiàn)場檢查指導(dǎo)原則。

考慮到有監(jiān)督深度學(xué)習(xí)是當(dāng)前人工智能醫(yī)療器械的主流算法,故本指導(dǎo)原則以有監(jiān)督深度學(xué)習(xí)為例詳述人工智能醫(yī)療器械生存周期過程質(zhì)控要求,主要包括需求分析、數(shù)據(jù)收集、算法設(shè)計、驗證與確認(rèn)、更新控制等階段。其他類型的人工智能算法可參照執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。

(一)需求分析

需求分析以用戶需求與風(fēng)險為導(dǎo)向,結(jié)合產(chǎn)品的預(yù)期用途、使用場景、核心功能,綜合考慮法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求,重點(diǎn)考慮數(shù)據(jù)收集、算法性能、使用限制等要求。

為保證數(shù)據(jù)質(zhì)量和控制數(shù)據(jù)偏倚,數(shù)據(jù)收集需考慮數(shù)據(jù)來源的合規(guī)性、充分性和多樣性,數(shù)據(jù)分布的科學(xué)性和合理性,數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性。數(shù)據(jù)來源在合規(guī)性(如個人信息保護(hù)法)基礎(chǔ)上保證充分性和多樣性,以提高算法泛化能力,例如:根據(jù)產(chǎn)品的預(yù)期用途和使用場景盡可能多采集數(shù)據(jù),如來源于多家、多地域、多層級的代表性臨床機(jī)構(gòu),以及多家、多種、多參數(shù)的代表性采集設(shè)備。數(shù)據(jù)分布的科學(xué)性和合理性需結(jié)合目標(biāo)疾病流行病學(xué)特征予以考慮,包括但不限于疾病構(gòu)成(如分型、分級、分期)、人群分布(如健康、患者,性別、年齡、職業(yè)、地域、生活方式)、統(tǒng)計指標(biāo)(如發(fā)病率、患病率、治愈率、死亡率、生存率)等情況,以及目標(biāo)疾病并發(fā)癥與類似疾病的影響情況。數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性需結(jié)合數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注的人員、設(shè)備、過程等影響因素予以考慮,具體要求詳見后文。

算法性能需結(jié)合醫(yī)療實際和產(chǎn)品定位,綜合考慮假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性、實時性等性能指標(biāo)的適用性及其要求,兼顧不同性能指標(biāo)的制約關(guān)系,如假陰性與假陽性等。同時,結(jié)合當(dāng)前醫(yī)療水平情況,考慮金標(biāo)準(zhǔn)或參考標(biāo)準(zhǔn)的確定依據(jù)、實現(xiàn)方法和質(zhì)控要求,以保證算法性能評估的準(zhǔn)確性,必要時納入數(shù)據(jù)收集過程。

使用限制需考慮產(chǎn)品禁用、慎用等場景,準(zhǔn)確表述產(chǎn)品使用場景,提供必要警示提示信息。

(二)數(shù)據(jù)收集

數(shù)據(jù)收集基于合規(guī)性要求,主要考慮數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求,以保證數(shù)據(jù)質(zhì)量和算法訓(xùn)練效果。

1.數(shù)據(jù)采集

數(shù)據(jù)采集需考慮采集設(shè)備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求,并建立數(shù)據(jù)采集操作規(guī)范。數(shù)據(jù)采集亦可使用歷史數(shù)據(jù),需結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式。若適用,數(shù)據(jù)采集需經(jīng)倫理委員會批準(zhǔn)。

采集設(shè)備質(zhì)控包括采集設(shè)備的兼容性和采集特征等要求。兼容性基于數(shù)據(jù)生成方式(直接生成、間接生成)考慮采集設(shè)備的兼容性要求,如采集設(shè)備的名稱、型號規(guī)格、制造商、性能指標(biāo)等要求,若無需考慮兼容性要求詳述理由并予以記錄。采集特征考慮采集設(shè)備的采集方式(如常規(guī)成像、增強(qiáng)成像)、采集協(xié)議(如MRI成像序列)、采集參數(shù)(如CT加載電壓、加載電流、加載時間、層厚)、采集精度(如分辨率、采樣率)等要求。

采集過程質(zhì)控包括人員管理、采集流程、采集質(zhì)量評估等要求。人員管理考慮采集人員、審核人員的選拔(如職稱、工作年限、工作經(jīng)驗、所在機(jī)構(gòu),若有國外人員則需明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過準(zhǔn)則、一致性)等要求。采集流程考慮人員職責(zé)、采集步驟、結(jié)果審核等要求。采集質(zhì)量評估考慮評估人員、評估方法、評估指標(biāo)、通過準(zhǔn)則等要求,并記錄評估結(jié)果。

數(shù)據(jù)采集若使用歷史數(shù)據(jù),需列明采集設(shè)備及采集特征要求,并開展數(shù)據(jù)采集質(zhì)量評估工作。

采集的數(shù)據(jù)應(yīng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私,數(shù)據(jù)脫敏需明確脫敏的類型(靜態(tài)、動態(tài))、規(guī)則、方法以及脫敏內(nèi)容的確定依據(jù)。

脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫,不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中需加以區(qū)分(下同)。原始數(shù)據(jù)庫需考慮樣本規(guī)模的充分性、樣本多樣性等問題。

2.數(shù)據(jù)整理

數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗需明確清洗的規(guī)則、方法、結(jié)果,數(shù)據(jù)預(yù)處理需明確處理的方法(如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化等)、結(jié)果。數(shù)據(jù)整理所用軟件工具(含腳本,下同)均需明確名稱、型號規(guī)格、完整版本、制造商、運(yùn)行環(huán)境,并進(jìn)行軟件確認(rèn)。

數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫,需明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為單一數(shù)據(jù)、數(shù)據(jù)序列(由多個單一數(shù)據(jù)組成,如結(jié)構(gòu)序列、功能序列、時間序列)。樣本量需考慮樣本規(guī)模的充分性,明確樣本總量及其確定依據(jù)。樣本分布需考慮樣本的科學(xué)性和合理性,依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素明確疾病構(gòu)成的數(shù)據(jù)分布情況。

3.數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注作為有監(jiān)督學(xué)習(xí)數(shù)據(jù)質(zhì)控的關(guān)鍵環(huán)節(jié),需建立數(shù)據(jù)標(biāo)注操作規(guī)范,明確標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估等要求。

標(biāo)注資源管理包括人員管理和基礎(chǔ)設(shè)施管理。人員管理考慮標(biāo)注人員、審核人員和仲裁人員的選拔(如職稱、工作年限、工作經(jīng)驗、所在機(jī)構(gòu),若有國外人員則需明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過準(zhǔn)則、一致性)等要求。基礎(chǔ)設(shè)施管理考慮標(biāo)注場所(真實場所或模擬場所,模擬場所可根據(jù)產(chǎn)品實際情況調(diào)整模擬程度,詳述調(diào)整理由并予以記錄)、標(biāo)注環(huán)境條件(如空間、照明、溫度、濕度、氣壓)、標(biāo)注軟件(名稱、型號規(guī)格、完整版本、制造商、運(yùn)行環(huán)境、軟件確認(rèn))等要求。

標(biāo)注過程質(zhì)控包括人員職責(zé)(如人員資質(zhì)、人員數(shù)量、職責(zé)分工)、標(biāo)注規(guī)則(如臨床指南、專家共識、專家評議、文獻(xiàn)分析)、標(biāo)注流程(如標(biāo)注對象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、結(jié)果審核)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數(shù)據(jù)、操作)等要求。

標(biāo)注質(zhì)量評估包括評估人員、評估方法、評估指標(biāo)、通過準(zhǔn)則等要求,并記錄評估結(jié)果。

數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫,樣本類型可分為數(shù)據(jù)塊(如圖像區(qū)域、數(shù)據(jù)片段)、單一數(shù)據(jù)(由多個數(shù)據(jù)塊組成)、數(shù)據(jù)序列(由多個單一數(shù)據(jù)組成)。標(biāo)注數(shù)據(jù)庫的樣本量、樣本分布等要求及風(fēng)險考量與基礎(chǔ)數(shù)據(jù)庫相同。

數(shù)據(jù)標(biāo)注可使用自動標(biāo)注軟件,但自動標(biāo)注結(jié)果不得直接使用,應(yīng)由標(biāo)注人員審核后方可使用;同時,自動標(biāo)注軟件亦需明確名稱、型號規(guī)格、完整版本、制造商、運(yùn)行環(huán)境等信息,并進(jìn)行軟件確認(rèn)。

4.數(shù)據(jù)集構(gòu)建

基于標(biāo)注數(shù)據(jù)庫構(gòu)建訓(xùn)練集(用于算法訓(xùn)練)、調(diào)優(yōu)集(若有,用于算法超參數(shù)調(diào)優(yōu))、測試集(用于算法性能評估),明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集原則上需保證樣本分布具有均衡性,測試集、調(diào)優(yōu)集原則上需保證樣本分布符合真實情況,訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗證。

為解決樣本分布不滿足預(yù)期的問題,可對訓(xùn)練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進(jìn)行擴(kuò)增,原則上不得對測試集進(jìn)行數(shù)據(jù)擴(kuò)增,對抗測試(詳見后文)除外。數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對象、范圍、方式(離線、在線)、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò)等)、倍數(shù),在線擴(kuò)增亦需予以記錄,擴(kuò)增需考慮數(shù)據(jù)偏倚的影響及風(fēng)險,如部分?jǐn)?shù)據(jù)擴(kuò)增倍數(shù)過大、數(shù)據(jù)擴(kuò)增倍數(shù)不均衡等。若采用生成對抗網(wǎng)絡(luò)(詳見后文)進(jìn)行數(shù)據(jù)擴(kuò)增,需明確算法基本信息以及算法選用依據(jù)。

數(shù)據(jù)經(jīng)擴(kuò)增后形成擴(kuò)增數(shù)據(jù)庫,需列表對比擴(kuò)增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫在樣本量、樣本分布(注明擴(kuò)增倍數(shù))等差異,以證實擴(kuò)增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

(三)算法設(shè)計

人工智能算法作為人工智能醫(yī)療器械的核心,其設(shè)計主要考慮算法選擇、算法訓(xùn)練、算法性能評估等要求。對于黑盒算法,算法設(shè)計應(yīng)開展算法性能影響因素分析,同時建議與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),以提升算法可解釋性。

1.算法選擇

算法選擇提供所用算法的名稱、類型(如有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí),基于模型、基于數(shù)據(jù),白盒、黑盒)、結(jié)構(gòu)(如層數(shù)、參數(shù)規(guī)模)、輸入輸出數(shù)據(jù)類型、流程圖、算法編程框架、運(yùn)行環(huán)境等基本信息,并明確算法選用依據(jù),包括選用的理由和基本原則。

若組合使用集成學(xué)習(xí)、遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等,亦需提供算法基本信息以及算法選用依據(jù),詳見后文。

2.算法訓(xùn)練

算法訓(xùn)練需基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),考慮評估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方式、訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線等要求。

評估指標(biāo)建議根據(jù)用戶需求進(jìn)行選擇,輔助決策可選擇敏感性、特異性等指標(biāo),非輔助決策可選擇圖像質(zhì)量、測量準(zhǔn)確性等指標(biāo)。訓(xùn)練方式包括但不限于留出法和交叉驗證法,若組合使用聯(lián)邦學(xué)習(xí)(詳見后文)亦需明確算法選用依據(jù),并提供算法基本信息。訓(xùn)練目標(biāo)根據(jù)醫(yī)療情況詳述目標(biāo)確定依據(jù),提供受試者工作特征(ROC)曲線或其衍生曲線、混淆矩陣及其衍生參數(shù)等證據(jù)予以證實。調(diào)優(yōu)方式明確優(yōu)化策略和實現(xiàn)方法。訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線用于證實算法訓(xùn)練的充分性和有效性,若無法提供則需詳述理由并提供替代證據(jù)。

3.算法性能評估

算法性能評估作為軟件驗證的重要組成部分,需基于測試集對算法設(shè)計結(jié)果進(jìn)行評估,綜合考慮假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性、實時性等適用評估要求,以證實算法性能滿足算法設(shè)計目標(biāo),并作為軟件驗證、軟件確認(rèn)的基礎(chǔ)。亦可基于第三方數(shù)據(jù)庫(詳見后文)開展算法性能評估。

同時,開展算法性能影響因素分析以提升算法可解釋性,詳述影響算法性能的主要因素及其影響程度,如采集設(shè)備、采集參數(shù)、疾病構(gòu)成、病變特征等因素,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。

此外,根據(jù)產(chǎn)品實際情況開展壓力測試(詳見后文)、對抗測試等測試,以全面深入評估算法性能。

(四)驗證與確認(rèn)

1.軟件驗證

軟件驗證是指通過提供客觀證據(jù)認(rèn)定軟件開發(fā)、軟件更新某一階段的輸出滿足輸入要求,包括軟件驗證測試(單元測試、集成測試、系統(tǒng)測試)、設(shè)計評審等系列活動。

軟件驗證基于軟件需求予以開展,保證軟件的安全有效性,并作為軟件確認(rèn)的基礎(chǔ)。

2.軟件確認(rèn)

軟件確認(rèn)是指通過提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的,包括軟件確認(rèn)測試(用戶測試)、臨床評價、設(shè)計評審等系列活動。根據(jù)產(chǎn)品實際情況,軟件確認(rèn)方式可單一使用,亦可組合使用。

軟件確認(rèn)測試基于用戶需求,由預(yù)期用戶在真實或模擬使用場景下予以開展,亦可基于測評數(shù)據(jù)庫(詳見后文)予以開展。

臨床評價基本原則詳見醫(yī)療器械軟件指導(dǎo)原則,基于核心功能或核心算法,結(jié)合預(yù)期用途和成熟度予以綜合考慮:非輔助決策類功能基于核心功能開展同品種醫(yī)療器械比對,全新的功能、算法和用途原則上均需開展臨床評價;輔助決策類功能基于核心算法開展同品種醫(yī)療器械比對,所選同品種醫(yī)療器械的臨床證據(jù)原則上需基于臨床試驗(含回顧性研究,下同),全新的功能、算法和用途原則上均需開展臨床試驗。具體要求詳見醫(yī)療器械臨床評價等通用指導(dǎo)原則,以及人工智能醫(yī)療器械臨床評價等專用指導(dǎo)原則。

同時,開展算法性能比較分析,若各類測試場景(含臨床評價)算法性能變異度較大,詳述原因并基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。

最后,結(jié)合算法訓(xùn)練、算法性能評估、臨床評價等結(jié)果開展算法性能綜合評價,針對訓(xùn)練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設(shè)計目標(biāo)、算法性能變異度過大等情況,對產(chǎn)品的適用范圍、使用場景、核心功能進(jìn)行必要限制。

(五)更新控制

人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新,均應(yīng)當(dāng)按照質(zhì)量管理體系的要求,開展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗證與確認(rèn)活動,將風(fēng)險管理、可追溯分析貫穿于更新全程,形成記錄以供體系核查。

對于算法更新,無論算法驅(qū)動型更新還是數(shù)據(jù)驅(qū)動型更新,均應(yīng)開展相應(yīng)驗證與確認(rèn)活動,如算法性能評估、臨床評價等,以保證算法更新的安全有效性。對于軟件更新,具體要求詳見醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械獨(dú)立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查指導(dǎo)原則。

此外,算法更新、軟件更新均需考慮引入回滾機(jī)制,以保證醫(yī)療業(yè)務(wù)的連續(xù)性,特別是對風(fēng)險較高的軟件。

總之,人工智能醫(yī)療器械所含的每個人工智能算法或算法組合,均需獨(dú)立開展需求分析、數(shù)據(jù)收集、算法設(shè)計、驗證與確認(rèn)、更新控制等活動,同時考慮人工智能算法組合的整體評價要求,以保證產(chǎn)品的安全有效性。

前期已開發(fā)的人工智能醫(yī)療器械若不滿足本指導(dǎo)原則的適用要求,應(yīng)開展差距分析并予以記錄,明確產(chǎn)品使用限制和必要警示提示信息。必要時采取補(bǔ)救措施,以滿足質(zhì)量管理體系要求,并保證產(chǎn)品的安全有效性。

五、技術(shù)考量

(一)注冊單元與檢測單元

人工智能醫(yī)療器械的注冊單元與檢測單元劃分原則詳見醫(yī)療器械軟件指導(dǎo)原則,人工智能獨(dú)立軟件、人工智能軟件組件分別參照獨(dú)立軟件、軟件組件的要求。

若軟件核心功能(即軟件在預(yù)期使用場景完成預(yù)期用途所必需的功能)相同,但核心算法(即實現(xiàn)軟件核心功能所必需的算法)類型不同,則每類核心算法所對應(yīng)的核心功能均需檢測,即檢測對象為核心功能而非核心算法。

(二)網(wǎng)絡(luò)安全與數(shù)據(jù)安全

人工智能醫(yī)療器械需結(jié)合預(yù)期用途、使用場景、核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò)安全特性,確定網(wǎng)絡(luò)安全能力建設(shè)要求,以應(yīng)對網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅,如算法編程框架漏洞攻擊、數(shù)據(jù)污染等。具體要求詳見醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。

除此之外,還需在人工智能醫(yī)療器械全生命周期過程中考慮數(shù)據(jù)安全問題,包括上市前設(shè)計開發(fā)階段和上市后使用階段。數(shù)據(jù)轉(zhuǎn)移需明確轉(zhuǎn)移方法、數(shù)據(jù)污染防護(hù)措施、數(shù)據(jù)銷毀等要求。數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、算法性能評估、軟件驗證等內(nèi)部活動需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染。數(shù)據(jù)標(biāo)注、軟件確認(rèn)等涉及外方的活動需明確數(shù)據(jù)污染防護(hù)措施,特別是在開放網(wǎng)絡(luò)環(huán)境下。各數(shù)據(jù)庫(集)均需進(jìn)行數(shù)據(jù)備份,明確備份的方法、頻次、數(shù)據(jù)恢復(fù)方法。數(shù)據(jù)采集、上市后使用需考慮醫(yī)療機(jī)構(gòu)關(guān)于網(wǎng)絡(luò)安全與數(shù)據(jù)安全的接口要求。

(三)移動計算與云計算

人工智能醫(yī)療器械若使用移動計算、云計算等技術(shù),則遵循相關(guān)指導(dǎo)原則要求。具體而言,移動計算相關(guān)要求詳見移動醫(yī)療器械指導(dǎo)原則,云計算相關(guān)要求詳見醫(yī)療器械軟件指導(dǎo)原則,移動計算與云計算的網(wǎng)絡(luò)安全相關(guān)要求詳見醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。

(四)人因與可用性

建議加強(qiáng)人工智能醫(yī)療器械的人因設(shè)計以提升可用性,將用戶錯誤使用的風(fēng)險降至可接受水平,特別是軟件用戶界面。具體要求詳見醫(yī)療器械人因設(shè)計相關(guān)指導(dǎo)原則。

(五)壓力測試

本指導(dǎo)原則所述壓力測試是指采用罕見或特殊的真實數(shù)據(jù)樣本開展的算法性能測試,側(cè)重于評估算法泛化能力的極限。

注冊申請人需根據(jù)產(chǎn)品實際情況開展壓力測試,以全面深入評估算法性能,必要時可引入對抗樣本開展對抗壓力測試。若未開展相應(yīng)測試或測試結(jié)果不佳,均需對產(chǎn)品的適用范圍、使用場景、核心功能進(jìn)行必要限制,并在說明書中明確產(chǎn)品使用限制和必要警示提示信息。

(六)對抗測試

本指導(dǎo)原則所述對抗測試是指基于真實數(shù)據(jù)樣本利用數(shù)據(jù)擾動、生成對抗網(wǎng)絡(luò)等技術(shù)產(chǎn)生對抗樣本,并采用對抗樣本開展的算法性能測試,側(cè)重于評估算法的魯棒性/健壯性。

若條件具備,建議注冊申請人開展對抗測試,以全面深入評估算法性能。若未開展相應(yīng)測試或測試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

(七)第三方數(shù)據(jù)庫

第三方數(shù)據(jù)庫可用于算法性能評估,但其類型、用途等情況各不相同,未必能夠完全滿足軟件確認(rèn)測試的要求。因此,使用第三方數(shù)據(jù)庫進(jìn)行軟件確認(rèn)測試,需評估其滿足軟件確認(rèn)測試的充分性、適宜性和有效性。

可用于軟件確認(rèn)測試的第三方數(shù)據(jù)庫即為測評數(shù)據(jù)庫。測評數(shù)據(jù)庫除滿足數(shù)據(jù)庫通用要求(如數(shù)據(jù)管理、網(wǎng)絡(luò)安全與數(shù)據(jù)安全、可擴(kuò)展性)外,還應(yīng)滿足以下專用要求。

1.權(quán)威性:測評數(shù)據(jù)庫的數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注及其質(zhì)控工作由相應(yīng)臨床專業(yè)領(lǐng)域的權(quán)威機(jī)構(gòu)(如國家臨床醫(yī)學(xué)研究中心等)負(fù)責(zé),以保證數(shù)據(jù)準(zhǔn)確性;標(biāo)注人員、審核人員、仲裁人員需具備與其崗位職責(zé)相匹配的臨床實踐經(jīng)驗,以保證數(shù)據(jù)質(zhì)量。

2.科學(xué)性:測評數(shù)據(jù)庫的數(shù)據(jù)樣本均為臨床真實數(shù)據(jù),不得進(jìn)行數(shù)據(jù)擴(kuò)增;樣本分布符合目標(biāo)疾病流行病學(xué)特征情況,樣本總量基于目標(biāo)疾病流行病學(xué)統(tǒng)計指標(biāo)、測試抽樣誤差控制要求,通過統(tǒng)計學(xué)計算予以確定;單次測試原則上根據(jù)測評數(shù)據(jù)庫樣本分布情況等比例隨機(jī)抽取測試樣本,且其樣本量滿足測試抽樣誤差控制要求。

3.規(guī)范性:測評數(shù)據(jù)庫的數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)更換、數(shù)據(jù)管理、數(shù)據(jù)安全保證、數(shù)據(jù)備份等數(shù)據(jù)治理活動以及測評活動均需建立質(zhì)控程序文件,并滿足可追溯性要求。

4.多樣性:測評數(shù)據(jù)庫的樣本需來源于多家、多地域、多層級的代表性臨床機(jī)構(gòu)以及多家、多種、多參數(shù)的代表性采集設(shè)備,以保證數(shù)據(jù)多樣性能夠滿足算法泛化能力評估要求;若條件具備,測評數(shù)據(jù)庫可包含適當(dāng)比例的罕見或特殊的臨床真實數(shù)據(jù)樣本,以便開展壓力測試深入評估算法泛化能力的極限。

5.封閉性:測評數(shù)據(jù)庫需封閉管理,樣本總量需遠(yuǎn)大于單次測試樣本量,測評活動亦需封閉管理,以保證算法性能評價的客觀性、公正性、公平性。

6.動態(tài)性:測評數(shù)據(jù)庫需定期補(bǔ)充或更換一定比例的數(shù)據(jù)樣本,以保證其具備持續(xù)的科學(xué)性、多樣性和封閉性以及數(shù)據(jù)的時效性;數(shù)據(jù)補(bǔ)充或更換的頻率、比例需有確定依據(jù),并滿足規(guī)范性要求。更換出庫的數(shù)據(jù)樣本由測評數(shù)據(jù)庫責(zé)任方自行確定其處理方案。

基于測評數(shù)據(jù)庫,利用數(shù)據(jù)擾動、生成對抗網(wǎng)絡(luò)等技術(shù),可衍生出對抗測評數(shù)據(jù)庫。若條件具備,建議基于測評數(shù)據(jù)庫建設(shè)對抗測評數(shù)據(jù)庫,以全面深入評價算法性能。

注冊申請人可依據(jù)上述專用要求對第三方數(shù)據(jù)庫進(jìn)行篩選,若第三方數(shù)據(jù)庫能用作測評數(shù)據(jù)庫(含對抗測評數(shù)據(jù)庫,下同)則可用于軟件確認(rèn)測試,并在產(chǎn)品注冊申報時按醫(yī)療器械主文檔登記事項要求提交測評數(shù)據(jù)庫評估材料。

公開數(shù)據(jù)庫因不具備封閉性而不能用作測評數(shù)據(jù)庫,但可用于算法性能評估,若用于算法訓(xùn)練需重新進(jìn)行質(zhì)量評估。使用公開數(shù)據(jù)庫需根據(jù)其使用情況開展必要評估工作,并在注冊申報資料中予以說明。

其他類型第三方數(shù)據(jù)庫可參照測評數(shù)據(jù)庫和公開數(shù)據(jù)庫的要求予以使用,同時考慮其適用場景、數(shù)據(jù)質(zhì)量評估、時效性等要求。

(八)白盒算法

白盒算法的特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),可解釋性高,通常為基于模型的算法。

對于此類算法,有監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。同理,無監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求亦參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,其中數(shù)據(jù)標(biāo)注不適用,其余不適用內(nèi)容詳述理由并予以記錄。

此類算法無論有監(jiān)督學(xué)習(xí)還是無監(jiān)督學(xué)習(xí),均需明確特征信息,如特征分類(如人口統(tǒng)計學(xué)、生物學(xué)、形態(tài)學(xué))、特征屬性(如形態(tài)、紋理、性質(zhì)、尺寸、邊界)、特征展現(xiàn)方式(如形狀、尺寸、邊界、顏色、數(shù)量)等信息。

(九)集成學(xué)習(xí)

集成學(xué)習(xí)是指產(chǎn)生多個基學(xué)習(xí)器并以某種結(jié)合策略將基學(xué)習(xí)器進(jìn)行集成的人工智能算法。集成學(xué)習(xí)從不同角度具有不同類型劃分維度,如同質(zhì)和異質(zhì)的基學(xué)習(xí)器集成算法、串行和并行的集成算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用集成學(xué)習(xí)算法,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)集成學(xué)習(xí)類型及其算法特性提供算法驗證與確認(rèn)資料。

(十)遷移學(xué)習(xí)

遷移學(xué)習(xí)是指將在某領(lǐng)域或任務(wù)學(xué)習(xí)到的模型應(yīng)用于不同但相關(guān)的領(lǐng)域或任務(wù)的人工智能算法,如將在自然圖像領(lǐng)域?qū)W習(xí)形成的模型應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域。遷移學(xué)習(xí)主要包括基于特征和基于模型的算法,并可與深度學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用遷移學(xué)習(xí)算法,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)遷移學(xué)習(xí)的類型及其算法特性提供預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測試等資料。

(十一)強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是指基于行動與環(huán)境的交互,實現(xiàn)行動從環(huán)境所獲累積獎勵最大化的人工智能算法,采用“試錯”的學(xué)習(xí)策略。強(qiáng)化學(xué)習(xí)從不同角度具有不同類型劃分維度,如有模型與無模型的算法、基于策略和基于價值的算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用強(qiáng)化學(xué)習(xí)算法,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)強(qiáng)化學(xué)習(xí)類型及其算法特性提供算法驗證與確認(rèn)資料。

(十二)聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)是基于多個數(shù)據(jù)源協(xié)同建立學(xué)習(xí)模型的人工智能算法,即每個數(shù)據(jù)源獨(dú)立進(jìn)行本地數(shù)據(jù)學(xué)習(xí),通過交換數(shù)據(jù)模型共同建立學(xué)習(xí)模型,實為分布式算法訓(xùn)練技術(shù),亦屬于隱私計算技術(shù)。聯(lián)邦學(xué)習(xí)主要包括橫向聯(lián)邦(基于樣本)和縱向聯(lián)邦(基于特征)等算法,并可與遷移學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用聯(lián)邦學(xué)習(xí)算法等隱私計算技術(shù)進(jìn)行算法訓(xùn)練,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)聯(lián)邦學(xué)習(xí)等隱私計算技術(shù)的算法類型及其算法特性提供算法驗證與確認(rèn)資料。

(十三)生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)是通過生成器和判別器的互相博弈學(xué)習(xí)而產(chǎn)生與真實數(shù)據(jù)類似樣本的人工智能算法,主要用于數(shù)據(jù)擴(kuò)增、對抗測試的樣本生成(詳見前文),并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增、對抗樣本生成,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)生成對抗網(wǎng)絡(luò)類型及其算法特性提供算法測試資料。此時,建議開展對抗測試。

(十四)持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)

持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)具備自學(xué)習(xí)能力,部署后可通過持續(xù)學(xué)習(xí)用戶數(shù)據(jù)而進(jìn)行產(chǎn)品快速更新。此時,用戶亦成為產(chǎn)品開發(fā)者,與注冊申請人共同承擔(dān)產(chǎn)品質(zhì)量責(zé)任和法律責(zé)任;同時,此種更新對于產(chǎn)品安全有效性的影響具有高度不確定性,特別是基于數(shù)據(jù)的無監(jiān)督學(xué)習(xí)。

因此,在當(dāng)前法律法規(guī)體系和技術(shù)水平條件下,持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)應(yīng)關(guān)閉自學(xué)習(xí)功能,或者雖開放自學(xué)習(xí)功能但不得投入使用,即用戶始終使用產(chǎn)品原有功能,自學(xué)習(xí)功能僅用于算法訓(xùn)練或醫(yī)學(xué)科研。

注冊申請人應(yīng)按照質(zhì)量管理體系要求,對自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新的安全有效性進(jìn)行驗證與確認(rèn),必要時申請變更注冊,待批準(zhǔn)后方能將自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新投入使用。

(十五)人工智能算法編程框架

人工智能算法編程框架(以下簡稱算法框架)從開發(fā)者角度可分為自研算法框架和現(xiàn)成算法框架,其中自研算法框架即注冊申請人自行研發(fā)的人工智能算法框架,屬于自研軟件;現(xiàn)成算法框架是指注冊申請人所使用的由第三方開發(fā)的人工智能算法框架,視為現(xiàn)成軟件,現(xiàn)成算法框架開發(fā)者視為醫(yī)療器械供應(yīng)商。

算法框架更新包括產(chǎn)品更新(即更換算法框架)、版本更新、補(bǔ)丁更新,其中產(chǎn)品更新、非效率型版本更新對于人工智能醫(yī)療器械而言屬于重大軟件更新,效率型版本更新(即運(yùn)算效率單純提高)、補(bǔ)丁更新對于人工智能醫(yī)療器械而言通常屬于輕微軟件更新,除非影響到人工智能醫(yī)療器械的安全性或有效性。算法框架同時發(fā)生多種類型的更新,同樣遵循風(fēng)險從高原則。

算法框架可參照自研軟件、現(xiàn)成軟件相關(guān)要求提交相應(yīng)注冊申報資料,均需明確算法框架的名稱、類型(自研算法框架、現(xiàn)成算法框架)、型號規(guī)格、完整版本、制造商等信息。算法框架若基于云計算平臺,相關(guān)要求詳見前文關(guān)于云計算的要求。

(十六)人工智能芯片

人工智能芯片作為計算資源的組成部分,本身不屬于監(jiān)管對象,根據(jù)其所屬的計算平臺類型考慮監(jiān)管要求。對于人工智能獨(dú)立軟件,人工智能芯片作為通用計算平臺的組成部分,不屬于產(chǎn)品結(jié)構(gòu)組成,按照運(yùn)行環(huán)境予以考慮。對于人工智能軟件組件,人工智能芯片作為醫(yī)用計算平臺的組成部分,屬于產(chǎn)品結(jié)構(gòu)組成,與產(chǎn)品進(jìn)行整體評價。

無論何種情況,使用人工智能芯片均需在注冊申報資料中明確其名稱、型號規(guī)格、制造商、性能指標(biāo)等信息。

六、算法研究資料

(一)算法研究報告

算法研究報告適用于人工智能算法或算法組合的初次發(fā)布和再次發(fā)布,包括算法基本信息、算法風(fēng)險管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗證與確認(rèn)、算法可追溯性分析、結(jié)論等內(nèi)容,不適用內(nèi)容詳述理由。

1.算法基本信息

明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù)。

其中,算法類型從學(xué)習(xí)策略、學(xué)習(xí)方法、可解釋性等角度明確算法特性。算法結(jié)構(gòu)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。算法框架明確所用人工智能算法框架的基本信息,包括名稱、類型(自研算法框架、現(xiàn)成算法框架)、型號規(guī)格、完整版本、制造商等信息;若基于云計算平臺,明確云計算的名稱、服務(wù)模式、部署模式、配置以及云服務(wù)商的名稱、住所、服務(wù)資質(zhì)。運(yùn)行環(huán)境明確算法正常運(yùn)行所需的典型運(yùn)行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片需明確其名稱、型號規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述人工智能算法或算法組合選用的理由和基本原則。

2.算法風(fēng)險管理

明確算法的軟件安全性級別(輕微、中等、嚴(yán)重)并詳述判定理由。提供算法風(fēng)險管理資料,明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)污染與數(shù)據(jù)偏倚(如數(shù)據(jù)擴(kuò)增)等風(fēng)險的控制措施。若無單獨(dú)文檔可提供軟件風(fēng)險管理資料,并注明算法風(fēng)險管理所在位置。

3.算法需求規(guī)范

提供算法需求規(guī)范文檔,若無單獨(dú)文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。

4.數(shù)據(jù)質(zhì)控

提供數(shù)據(jù)來源合規(guī)性聲明,列明數(shù)據(jù)來源機(jī)構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件(或科研合作協(xié)議)編號等信息。

提供數(shù)據(jù)采集操作規(guī)范文檔,根據(jù)數(shù)據(jù)采集方式明確采集設(shè)備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求。

概述數(shù)據(jù)整理情況,明確數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。

提供數(shù)據(jù)標(biāo)注操作規(guī)范文檔,明確標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估、數(shù)據(jù)安全保證等要求。

若適用,提供數(shù)據(jù)擴(kuò)增情況說明,明確擴(kuò)增的對象、方式、方法、倍數(shù)等信息。

依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素,提供原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、標(biāo)注數(shù)據(jù)庫、擴(kuò)增數(shù)據(jù)庫關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

若數(shù)據(jù)來自公開數(shù)據(jù)庫,提供公開數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)分布等)。

5.算法訓(xùn)練

依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素,提供訓(xùn)練集、調(diào)優(yōu)集(若有)關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

明確算法訓(xùn)練所用的評估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方式(若有),提供ROC曲線或混淆矩陣等證據(jù)證明訓(xùn)練目標(biāo)滿足醫(yī)療要求,提供訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線等證據(jù)以證實算法訓(xùn)練的充分性和有效性。

6.算法驗證與確認(rèn)

依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素,提供測試集關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

提供假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性、實時性等適用指標(biāo)的算法性能評估結(jié)果,以證明算法性能滿足算法設(shè)計目標(biāo)。

若使用第三方數(shù)據(jù)庫開展算法性能評估,提供第三方數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測試數(shù)據(jù)樣本量、評估指標(biāo)、評估結(jié)果等)。

若適用,提供算法性能影響因素分析報告,明確影響算法性能的主要因素及其影響程度,以及產(chǎn)品使用限制和必要警示提示信息。

若適用,提供壓力測試、對抗測試等測試報告。若未開展相應(yīng)測試或測試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

若基于測評數(shù)據(jù)庫進(jìn)行算法確認(rèn),提供測評數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)、評估情況(如評估方法、評估指標(biāo)、評估結(jié)果等)、使用情況(如評估指標(biāo)、評估結(jié)果等)。若基于臨床評價方式進(jìn)行算法確認(rèn),指向臨床評價資料即可。

提供上述各類測試場景(含臨床評價)下的算法性能評估結(jié)果比較分析報告,明確產(chǎn)品使用限制和必要警示提示信息。

7.算法可追溯性分析

提供算法可追溯性分析報告,即追溯算法需求、算法設(shè)計、源代碼(明確軟件單元名稱即可)、算法測試、算法風(fēng)險管理的關(guān)系表。

若無單獨(dú)文檔可提供軟件可追溯性分析報告,并注明算法可追溯性分析所在位置。

8.結(jié)論

簡述算法性能綜合評價結(jié)果,明確對產(chǎn)品的適用范圍、使用場景、核心功能所做的必要限制,并判定人工智能算法或算法組合的安全有效性是否滿足要求。

(二)算法更新研究報告

算法更新研究報告僅適用于人工智能算法或算法組合的再次發(fā)布,在算法研究報告相應(yīng)內(nèi)容中明確算法更新情況。

其中,算法基本信息描述申報算法情況,若適用詳述與前次注冊相比的變化情況;算法風(fēng)險管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗證與確認(rèn)、算法可追溯性分析描述算法更新的具體情況;結(jié)論簡述算法性能綜合評價結(jié)果,并判定人工智能算法或算法組合更新的安全有效性是否滿足要求。

考慮到算法更新具有累積效應(yīng),算法更新研究報告需涵蓋人工智能醫(yī)療器械自前次注冊(延續(xù)注冊除外)以來算法更新的全部內(nèi)容。

七、注冊申報資料補(bǔ)充說明

注冊申報資料在符合醫(yī)療器械注冊申報資料要求等文件要求基礎(chǔ)上,滿足醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動醫(yī)療器械等相關(guān)指導(dǎo)原則要求,同時重點(diǎn)關(guān)注以下要求。

(一)產(chǎn)品注冊

1.申請表信息

(1)人工智能獨(dú)立軟件

產(chǎn)品名稱應(yīng)符合通用名稱命名規(guī)范要求,通常體現(xiàn)輸入數(shù)據(jù)(如CT圖像、眼底照片)、目標(biāo)疾?。ê∽儭⒓膊〉膶傩裕?、預(yù)期用途(如輔助分診、輔助評估、輔助檢測、輔助診斷)等特征詞。

結(jié)構(gòu)組成所述功能模塊需保證用語的規(guī)范性,若采用人工智能算法需體現(xiàn)核心算法名稱,如深度學(xué)習(xí)等。

適用范圍基于預(yù)期用途、使用場景、核心功能予以規(guī)范,如處理對象、目標(biāo)疾病、醫(yī)療用途、適用人群、目標(biāo)用戶、使用場所、采集設(shè)備要求、使用限制等。

(2)人工智能軟件組件

人工智能軟件組件通常無需在注冊證載明信息中體現(xiàn)。其軟件功能名稱可參照人工智能獨(dú)立軟件要求。若有輔助決策類軟件功能,結(jié)構(gòu)組成(若適用)和適用范圍需予以體現(xiàn)。

2.算法研究資料

對于軟件安全性級別為中等、嚴(yán)重級別的產(chǎn)品,全新類型在軟件研究資料中以算法為單位,提交每個人工智能算法或算法組合的算法研究報告,具體要求詳見第六章;成熟類型在軟件研究資料中明確算法基本信息即可,無需提供算法研究資料。

對于軟件安全性級別為輕微級別的產(chǎn)品,在軟件研究資料中明確算法基本信息即可,無需提供算法研究資料。

3.用戶培訓(xùn)方案

對于軟件安全性級別為嚴(yán)重級別、預(yù)期由患者使用或在基層醫(yī)療機(jī)構(gòu)使用的產(chǎn)品,原則上需單獨(dú)提供一份用戶培訓(xùn)方案,包括用戶培訓(xùn)的計劃、材料、方式、師資等。

4.產(chǎn)品技術(shù)要求

產(chǎn)品技術(shù)要求若含有基于測評數(shù)據(jù)庫測試的性能指標(biāo),需在“附錄”中明確測評數(shù)據(jù)庫的基本信息(如名稱、型號規(guī)格、完整版本、責(zé)任方、主文檔登記編號等)。

基于其他類型第三方數(shù)據(jù)庫測試的性能指標(biāo),原則上無需在產(chǎn)品技術(shù)要求中體現(xiàn)。

5.說明書

根據(jù)算法性能綜合評價結(jié)果,對產(chǎn)品的適用范圍、使用場景、核心功能進(jìn)行必要限制,并在說明書中明確產(chǎn)品使用限制和必要警示提示信息。若適用,明確數(shù)據(jù)采集設(shè)備和數(shù)據(jù)采集過程相關(guān)要求。

對于輔助決策類產(chǎn)品,說明書需明確人工智能算法的算法性能評估總結(jié)(測試集基本信息、評估指標(biāo)與結(jié)果)、臨床評價總結(jié)(臨床數(shù)據(jù)基本信息、評價指標(biāo)與結(jié)果)、決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識等參考文獻(xiàn))等信息。此時若采用基于數(shù)據(jù)的人工智能算法,說明書還需補(bǔ)充算法訓(xùn)練總結(jié)信息(訓(xùn)練集基本信息、訓(xùn)練指標(biāo)與結(jié)果)。

若產(chǎn)品采用人工智能黑盒算法,則需根據(jù)算法影響因素分析報告,在說明書中明確產(chǎn)品使用限制和必要警示提示信息。

(二)變更注冊

1.算法研究資料

對于軟件安全性級別為中等、嚴(yán)重級別的產(chǎn)品,全新類型在軟件研究資料中以算法為單位,根據(jù)人工智能算法的更新情況,提交每個人工智能算法或算法組合的算法更新研究報告(或算法研究報告),具體要求詳見第六章;成熟類型在軟件研究資料中明確算法基本信息即可,無需提供算法研究資料。

對于軟件安全性級別為輕微級別的產(chǎn)品,在軟件研究資料中明確算法基本信息即可,無需提供算法研究資料。

2.用戶培訓(xùn)方案

若適用,提交用戶培訓(xùn)方案變化情況說明。

3.產(chǎn)品技術(shù)要求

若適用,產(chǎn)品技術(shù)要求變更對比表需體現(xiàn)測評數(shù)據(jù)庫的變化情況。

4.說明書

若適用,提交說明書變化情況說明。

(三)延續(xù)注冊

延續(xù)注冊通常無需提交算法相關(guān)研究資料。若適用,根據(jù)注冊證“備注”所載明的要求提交相應(yīng)算法研究資料。

八、參考文獻(xiàn)

[1] 全國人大. 中華人民共和國個人信息保護(hù)法[Z],2021.8

[2] 原國家食品藥品監(jiān)督管理總局.醫(yī)療器械說明書和標(biāo)簽管理規(guī)定(總局令第6號)[Z],2014.7

[3] 國家市場監(jiān)督管理總局.醫(yī)療器械注冊與備案管理辦法(總局令第47號)[Z],2021.8

[4] 原國家食品藥品監(jiān)督管理總局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范(2014年第64號公告)[Z],2014.12

[5] 國家藥品監(jiān)督管理局.醫(yī)療器械主文檔登記事項(2021年第36號公告)[Z],2021.3

[6] 國家市場監(jiān)督管理總局.醫(yī)療器械注冊申報資料要求和批準(zhǔn)證明文件格式(2021年第121號公告)[Z],2021.9

[7] 原國家食品藥品監(jiān)督管理總局.移動醫(yī)療器械注冊技術(shù)審查指導(dǎo)原則(2017年第222號通告)[Z],2017.12

[8] 國家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨(dú)立軟件(2019年第43號通告)[Z],2019.7

[9] 國家藥品監(jiān)督管理局.醫(yī)療器械安全和性能的基本原則(2020年第18號通告)[Z],2020.3

[10] 國家藥品監(jiān)督管理局. 人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則(2021年第47號通告)[Z],2021.7

[11] 國家藥品監(jiān)督管理局. 醫(yī)用軟件通用名稱命名指導(dǎo)原則(2021年第48號通告)[Z],2021.7

[12] 國家藥品監(jiān)督管理局.醫(yī)療器械臨床評價技術(shù)指導(dǎo)原則(2021年第73號通告)[Z],2021.9

[13] 國家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨(dú)立軟件現(xiàn)場檢查指導(dǎo)原則(藥監(jiān)綜械管〔2020〕57號)[Z],2020.5

[14] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心.醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則(第二版)(征求意見稿)[Z],2020.6

[15] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心.醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則(第二版)(征求意見稿)[Z],2020.9

[16] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心.醫(yī)療器械人因設(shè)計技術(shù)審查指導(dǎo)原則(征求意見稿)[Z],2020.5

[17] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心.深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評要點(diǎn)(2019年第7號通告)[Z],2019.7

[18] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 肺炎CT影像輔助分診與評估軟件審評要點(diǎn)(試行)(2020年第8號通告)[Z],2020.3

[19] 國家衛(wèi)生健康委員會. 人工智能輔助診斷技術(shù)管理規(guī)范(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號)[Z],2017.2

[20] 國家衛(wèi)生健康委員會. 人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號)[Z],2017.2

[21] 國家衛(wèi)生健康委員會. 人工智能輔助治療技術(shù)管理規(guī)范(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號)[Z],2017.2

[22] 國家衛(wèi)生健康委員會. 人工智能輔助治療技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號)[Z],2017.2

[23] GB/T 25000.12-2017 系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第12部分:數(shù)據(jù)質(zhì)量模型[S]

[24] YY/T 0287-2017醫(yī)療器械 質(zhì)量管理體系 用于法規(guī)的要求[S]

[25] YY/T 0316-2016 醫(yī)療器械 風(fēng)險管理對醫(yī)療器械的應(yīng)用[S]

[26] YY/T 0664-2020 醫(yī)療器械軟件 軟件生存周期過程[S]

[27] YY/T 1406.1-2016 醫(yī)療器械軟件 第1部分:YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南[S]

[28] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第1部分:術(shù)語(報批稿)[S],2020.12

[29] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第2部分:數(shù)據(jù)集通用要求(報批稿)[S],2020.12

[30] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第3部分:數(shù)據(jù)標(biāo)注通用要求(報批稿)[S],2021.12

[31] YY/T 人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測試方法(報批稿)[S],2021.12

[32] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測試方法[S],2020.7

[33] AIMDICP-WG6-2020-002 基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測試方法[S],2020.7

[34] IMDRF/AIMD WG/N67, Machine Learning-enabled Medical Devices- A subset of Artificial Intelligence-enabled Medical Devices: Key Terms and Definitions[Z], 2021.9

[35] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7

[36] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7

[37] FDA, Developing a Software Precertification Program: A Working Model[Z], 2019.1

[38] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning(AI/ML) - Based Software as a Medical Device(SaMD) (Draft Guidance)[Z], 2019.4

[39] FDA, Clinical Decision Support Software (Draft Guidance)[Z], 2019.9

[40] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan[Z], 2021.1

[41] FDA/Health Canada/MHRA. Good Machine Learning Practice for Medical Device Development: Guiding Principles[Z], 2021.10

[42] FDA. Technical Considerations for Medical Devices with Physiologic Closed-Loop Control Technology(Draft Guidance)[Z], 2021.12

[43] AAMI/BSI. Artificial Intelligence and Machine Learning - the Emergence of Artificial Intelligence and Machine Learning Algorithmsin Healthcare: Recommendations to Support Governance and Regulation[Z], 2019

[44] AAMI/BSI. Machine Learning AI in Medical Devices: Adapting Regulatory Frameworks and Standards to Ensure Safety andPerformance[Z], 2020

[45] BSI. Recent Advancements in AI - Implications for Medical Device Technology and Certification[Z], 2020

[46] ISO/IEC TR 5469(WD) Artificial intelligence-Functional safety and AI systems[S]

[47] ISO/IEC TR 24028:2020Information technology - Artificial intelligence - Overview of trustworthiness in artificial intelligence[S]

[48] ISO/IEC TR 24029-1:2021 Artificial Intelligence(AI) - Assessment of the robustness of neural networks - Part 1: Overview[S]

[49] ISO/IEC TR 24030:2021 Information technology - Artificial intelligence(AI) - Use cases[S]

[50] ISO/IEC TR 29119-11:2020 Software and systems engineering - Software testing - Part 11: Guidelines on the testing of AI-based systems[S]

[51] 人工智能醫(yī)療器械創(chuàng)新合作平臺[Z]. https://www.aimd.org.cn

[52] IMDRF AIMD WG[Z]. https://www.imdrf.org/workitems/ wi-aimd.asp

[53] ITU/WHO FG-AI4H [Z]. https://www.itu.int/go/fgai4h

[54] IEEE AIMD WG[Z]. https://sagroups.ieee.org/aimdwg

思途企業(yè)咨詢

站點(diǎn)聲明

本網(wǎng)站所提供的信息僅供參考之用,并不代表本網(wǎng)贊同其觀點(diǎn),也不代表本網(wǎng)對其真實性負(fù)責(zé)。圖片版權(quán)歸原作者所有,如有侵權(quán)請聯(lián)系我們,我們立刻刪除。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與本站聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做相關(guān)處理。
鄭州思途醫(yī)療科技有限公司專注于醫(yī)療器械產(chǎn)品政策與法規(guī)規(guī)事務(wù)服務(wù),提供產(chǎn)品注冊備案申報代理、臨床試驗、體系建立輔導(dǎo)、分類界定、申請創(chuàng)新辦理服務(wù)。

你可能喜歡看:
山東省醫(yī)療器械工藝用水現(xiàn)場檢查指南(魯藥監(jiān)械〔2021〕35號)

山東省醫(yī)療器械工藝用水現(xiàn)場檢查指南(魯藥監(jiān)械〔2021〕35號)

為規(guī)范醫(yī)療器械現(xiàn)場檢查,提升檢查員現(xiàn)場檢查能力,指導(dǎo)檢查員對醫(yī)療器械生產(chǎn)企業(yè)工藝用水控制情況的檢查,提高企業(yè)工藝用水質(zhì)量安全保證水平,依據(jù)《醫(yī)療器械監(jiān)督管理條例》

海南博鰲樂城國際醫(yī)療旅游先行區(qū)臨床急需進(jìn)口藥品帶離先行區(qū)使用管理暫行辦法(瓊藥監(jiān)綜〔2020〕3號)

海南博鰲樂城國際醫(yī)療旅游先行區(qū)臨床急需進(jìn)口藥品帶離先行區(qū)使用管理暫行辦法(瓊藥監(jiān)綜〔2020〕3號)

《海南博鰲樂城國際醫(yī)療旅游先行區(qū)臨床急需進(jìn)口藥品帶離先行區(qū)使用管理暫行辦法》已經(jīng)3月24日海南博鰲樂城國際醫(yī)療旅游先行區(qū)領(lǐng)導(dǎo)小組會議審議通過,現(xiàn)印發(fā)給你們,請遵照執(zhí)行

長江三角洲區(qū)域醫(yī)療器械注冊人制度試點(diǎn)工作實施方案(試行)(滬藥監(jiān)械管〔2019〕112號)

長江三角洲區(qū)域醫(yī)療器械注冊人制度試點(diǎn)工作實施方案(試行)(滬藥監(jiān)械管〔2019〕112號)

為深入貫徹落實中共中央辦公廳、國務(wù)院辦公廳印發(fā)的《關(guān)于深化審評審批制度改革鼓勵藥品醫(yī)療器械創(chuàng)新的意見》(廳字〔2017〕42號),按照國家藥品監(jiān)督管理局《關(guān)于擴(kuò)大醫(yī)療器械

海南博鰲樂城國際醫(yī)療旅游先行區(qū)醫(yī)療機(jī)構(gòu)制劑調(diào)劑使用管理暫行辦法(瓊藥監(jiān)注〔2020〕16號)

海南博鰲樂城國際醫(yī)療旅游先行區(qū)醫(yī)療機(jī)構(gòu)制劑調(diào)劑使用管理暫行辦法(瓊藥監(jiān)注〔2020〕16號)

《海南博鰲樂城國際醫(yī)療旅游先行區(qū)醫(yī)療機(jī)構(gòu)制劑調(diào)劑使用管理暫行辦法》已經(jīng)3月24日海南博鰲樂城國際醫(yī)療旅游先行區(qū)領(lǐng)導(dǎo)小組會議審議通過,現(xiàn)印發(fā)給你們,請遵照執(zhí)行。

長江三角洲區(qū)域醫(yī)療器械注冊人制度跨區(qū)域監(jiān)管辦法(試行)(滬藥監(jiān)械管〔2020〕67號)

長江三角洲區(qū)域醫(yī)療器械注冊人制度跨區(qū)域監(jiān)管辦法(試行)(滬藥監(jiān)械管〔2020〕67號)

為規(guī)范醫(yī)療器械注冊人跨區(qū)域委托生產(chǎn)的監(jiān)督管理,推進(jìn)長江三角洲區(qū)域醫(yī)療器械跨區(qū)域監(jiān)管,根據(jù)《中共中央辦公廳國務(wù)院辦公廳關(guān)于深化審評審批制度改革鼓勵藥品醫(yī)療器械創(chuàng)新的意見》《

血液透析用水處理設(shè)備注冊審查指導(dǎo)原則(2024年修訂版)(2024年第19號)

血液透析用水處理設(shè)備注冊審查指導(dǎo)原則(2024年修訂版)(2024年第19號)

附件:血液透析用水處理設(shè)備注冊審查指導(dǎo)原則(2024年修訂版)(2024年第19號).doc血液透析用水處理設(shè)備注冊審查指導(dǎo)原則(2024年修訂版)本指導(dǎo)原則旨在指導(dǎo)注冊申請人對血液透析用水處理設(shè)備注冊申報資料的準(zhǔn)備及撰寫,同時也為技術(shù)審評部門提供參考。本指導(dǎo)原則是對血液透析用水處理設(shè)備的一般要求,注冊申請人依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若不適用,要具體闡述理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)產(chǎn)

醫(yī)療器械質(zhì)量管理體系年度自查報告編寫指南(2022年第13號)

醫(yī)療器械質(zhì)量管理體系年度自查報告編寫指南(2022年第13號)

關(guān)于發(fā)布醫(yī)療器械質(zhì)量管理體系年度自查報告編寫指南的通告(2022年第13號)發(fā)布時間:2022-03-24為加強(qiáng)醫(yī)療器械生產(chǎn)監(jiān)管,保障醫(yī)療器械安全有效,根據(jù)《醫(yī)

免于進(jìn)行臨床評價醫(yī)療器械目錄(2025年第19號)

免于進(jìn)行臨床評價醫(yī)療器械目錄(2025年第19號)

國家藥監(jiān)局關(guān)于發(fā)布免于進(jìn)行臨床評價醫(yī)療器械目錄的通告(2025年第19號)發(fā)布時間:2025-05-13為做好醫(yī)療器械注冊管理工作,根據(jù)《醫(yī)療器械注冊與備案管理

醫(yī)療器械監(jiān)督管理條例(2025年修訂版)

醫(yī)療器械監(jiān)督管理條例(2025年修訂版)

附件:醫(yī)療器械監(jiān)督管理條例(2025年修訂版).doc醫(yī)療器械監(jiān)督管理條例(2000年1月4日中華人民共和國國務(wù)院令第276號公布 2014年2月12日國務(wù)院第

一次性使用醫(yī)用沖洗器產(chǎn)品注冊審查指導(dǎo)原則(2022年第41號)

一次性使用醫(yī)用沖洗器產(chǎn)品注冊審查指導(dǎo)原則2022年第41號)

附件:一次性使用醫(yī)用沖洗器產(chǎn)品注冊審查指導(dǎo)原則2022年第41號).doc一次性使用醫(yī)用沖洗器產(chǎn)品注冊審查指導(dǎo)原則指導(dǎo)原則旨在指導(dǎo)注冊申請人對一次性使用醫(yī)用

八年

醫(yī)療器械服務(wù)經(jīng)驗

多一份參考,總有益處

聯(lián)系思途,免費(fèi)獲得專屬《落地解決方案》及報價

咨詢相關(guān)問題或咨詢報價,可以直接與我們聯(lián)系

思途CRO——醫(yī)療器械注冊臨床第三方平臺

在線咨詢
186-0382-3910免費(fèi)獲取醫(yī)療器械注冊落地解決方案
在線客服
服務(wù)熱線

北京公司
186-0382-3911

鄭州公司
186-0382-3910

合肥公司
188-5696-0331

微信咨詢
返回頂部
99热99在线| 99视频| 综合五月天| 操操人人| 成人做爰高潮A片免费视频| 日韩欧美一级大黄网站| 狠狠色丁香婷婷久久综合| 五月天国产| 日韩色久| 狠狠色大香蕉| 在线看的免费网站| 五月花免费视频| 伊人网碰碰| 无码成人AAAAA毛片AI换脸| www.99在线| 97操操| 亚洲电影在线观看| 99久久这里只有精品| 五月天色综合| 91日视频| 色欲AV天天AV亚洲一区| 99色视频| 色欲午夜无码久久久久久张津瑜| 成人丁香| 国产99热| www.狠狠| 亚洲A片成人无码久久精品青桔| 97在线精品| 欧美色色色色色色色色色色| 无码少妇高潮喷水A片免费| www.色婷婷| 国产成人综合网| 久久92| 无码激情AAAAA片-区区| WWW.17C.COM最新官网| www.超碰| 人人摸人人干| 五月婷婷激情综合| 大地9中文在线观看免费高清| 丁香五月激情综合| 大香蕉520| AV在线大香蕉| 久久婷婷五月综合伊人| 2017人人操| 成人美女网| 亚洲精品V天堂中文字幕| 色激情五月| 五月婷婷五月天| 另类 在线| 久久精品一区二区三区四区| 亚洲精品久久久无码| 99在线免费观看| 色五月婷婷五月| 99久久久| 无码人妻少妇色欲AV一区二区| 99re8在这里只有精品| 五月天综合婷婷| 日韩无码专区| 九九热在线视频| 婷婷午夜| 国产精品第一国产精品| 亚洲第一成人无码A片| 国产亚洲精品久久久久久牛牛| 五月香婷婷| 五月综合色| 狠狠干狠狠色| 无码少妇高潮喷水A片免费| 麻豆AV一区二区三区| 四川BBB搡BBB搡多人乱亂| 亚洲综合激情五月久久| 国产FREESEXVIDEOS性中国| 中文字幕日产A片在线看| 天天干天天干天天干| 五月天激情小说| 99色视频| 99九九99九九九视频精彩| 伊人玖玖精品| 婷婷五月色情天| 久久亚洲激情五码| 天天日夜夜爽| 成人精品视频99在线观看免费| 嫩草AV久久伊人妇女超级A| 午夜成人综合| 五月丁香婷婷色色| 国产在这里只有精品| 免费视频99| 五月婷婷六月丁香| 99色在线视频| 色色色图| www.色五月| 超碰网站在线观看| 中文字幕在线日亚洲9| 五月天.com| 婷婷五月天小说| 成人国产欧美大片一区| 久碰婷婷视频| 国产亚洲在线观看| 这里只有精品视频| 欧美三日本三级少妇三99| 中文字幕av久久爽一区| 婷婷丁香人妻天天爽| 天天日天天爽| 91操片| 亚洲热视频| 欧美大片免费播放器| www热久久yy9| 99精品在线观看| 无码少妇高潮喷水A片免费| 五月狠狠| 六月激情婷婷| 中文字幕按摩做爰| 久热9| 婷婷在线视频| 97超碰在线免费观看| 色99在线| 香蕉人在线香蕉人在线 | 丁香五月手机在线| 丁香五月av| 欧美在线视频免费播放| 午夜丁香婷婷| 最近中文字幕大全免费版在线| 日韩精品一品二区三区的使用体验| 狠狠综合网| 激情六月婷婷| 99久久99九九九99九他书对| 国产毛片欧美毛片久久久| 超碰成人av| 色五月成人| 九月av| 天天爽天天干| 超碰日日操| 丁香五月五月婷婷| 久碰婷婷视频| 五月婷婷无码| 人人97碰| 精品国产一区二区三区四区阿崩| 99啪啪视频| 噼里啪啦在线观看免费完整版视频| 色播婷婷大香蕉| 激情五月天网站| 丁香婷婷五月色成人网站| 五月天国产| 99热精品99| 丁香五月天啪啪| 久久久久久9| 色五月婷婷五月天| 99自拍视频在线观看| 日欧一片内射VA在线影院| 亚洲永久免费| 丁香 亚洲 久久| 涩综合婷婷| 九九色播五月丁香| 丁香激情网| 亚洲中文字幕AV| 猛烈顶弄H禁欲老师H春潮| 夜夜干夜夜操| 久热中文字幕| 97色婷婷| 538在线精品| 婷婷五月六月丁香| 色五月婷婷色| 成人av在线网址| 无码人妻精品一区二区蜜桃色欲| 丁香五月婷婷六月| 丁香色五月 97干| av亚洲国产小电影| 丁香五月综合| 五月婷婷色色| 成人 在线 日韩| 专区无日本视频高清8| 五月婷婷综合激情| 婷婷五月天激情小说| 日本超碰在线| 亚洲综合无码| 国产激情综合五月久久| 成人午夜视频精品一区| 激情六月天| 特级西西4444www无码| 91色逼| 97精品人人A片免费看| 五月激情小说| AV性爱在线| 九月丁香婷婷综合| 激情五月丁香五月| 天天爽天天| 河北真实伦对白精彩脏话| 亚洲精品V天堂中文字幕| 色欲丁香| 爆乳熟妇一区二区三区爆乳照片| 丁香婷婷网| 五月激情影院| 亚洲无AV在线中文字幕 | 色域五月婷婷丁香| 碰碰女| 激情六月天| 色五月首页| 婷婷亚洲综合| 婷婷丁香18| 河北真实伦对白精彩脏话| 国产精品18久久久| 亚洲婷婷91丁香| 欧美日韩一区二区三区四区| 五月婷婷色| 成人综合视频在线| 最近中文字幕大全在线电影视频| 色综合久| 九九人人精品| 9久国产| 大香蕉啪啪啪| 无人区码一码二码三码医生系列| 日亚二欧美| 九九Av| 欧美一级色| 99热9| 免费无码又爽又刺激A片涩涩直播 少妇荡乳欲伦交换A片欧美 | 青草激情综合| 婷婷91| 九九干视频| 少妇荡乳欲伦交换A片欧美| WWW,五月| 26uuu在线观看| 婷婷丁香97| 色色五月天丁香| 久热9| 天天撸一撸| 天天爽天天日| 99日本精品视频热| 色婷婷激情| 亚洲日韩乱码一区二区三区四区| 亚洲综合成人网| 五月天停婷基地| 色色色色色色色色网站| 天堂久久精品| 婷婷伊人久久| 91超碰在线观看| 国产精品久久久久久久久久| 99在线精品视频| 色噜噜狠狠色综无码久久合欧美| 五月婷久久| 婷婷成人基地| 中文字幕免费高清电视剧| 婷婷啪啪| 播播五月天| 欧美S码亚洲码精品M码| 97碰久久| 国产午夜成人AV在线播放| 婷婷久久五月天| 色综合五月天| 拍真实国产伦偷精品| 日韩aaa| www.精品99| 五月色婷婷综合| 国产综合婷婷| 超碰在线观看9| 中文字幕按摩做爰| 色五月激情五月天| 亚洲操操| 亚洲欧洲中文日韩久久AV乱码| 婷婷五月六月| 色婷婷中文在线| 国产熟人AV一二三区| 欧美大片免费播放器| 96丁香六月婷婷蜜桃综合久久| 三级黄网站| 婷婷激情社区| 99网| 伊人激情AV一区二区三区| 国产精品久久久爽爽爽麻豆色哟哟| 日韩成人网址| 超碰久热| 丁香网站| 99视频只有精品| 大地9中文在线观看免费高清| 五月天六月色| 国产成人片| 欧美成人精品A片免费一区99| 人妻久久久久久久| 天天日综合| 99热这里| 午夜激情综合| 深爱激情综合| 久青操| 99热这里只有精品16| 少妇搡BBBB搡BBB搡毛茸茸 | 91seav| 天天干一干| 国产精品视频免费看| 婷婷五月丁香五月| 99九九视频高清在线| 成人午夜无码视频| 风流少妇A片一区二区蜜桃| 久久婷婷亚洲| 久久精品国产精品| jiZZdr| 91人操| 91久久婷婷| 欧美日韩123| 五月综合激情| 久久激情视频| 荡乳尤物3pH| 色色色色色色网| 亚洲婷婷久久综合| 日本不卡一区二区三区| 色婷婷狠狠爱| 97干在线| 欧美成人猛片AAAAAAA| 热久久91| 丁香五月色网| 国产欧美性成人精品午夜| 婷婷久久亚洲| 亚洲秘 无码一区二区三区妃光/1| 思思精品视频| 色五月综合激情| 久久久无码A片观看免费| 六月丁香激情网| 超级碰碰91| 熟女人妻视频| 婷婷丁香五月天激情| 狠狠五月激情丁香六月| 中文字幕乱码亚洲精品一区| 婷婷五月激情网| 五月婷婷五月天| 丁香婷婷综合激情五月色| 五月天偷拍| 人人操91| 超碰日日操| 少妇高潮A片无套内谢麻豆传| 婷婷五月丁香五月| 另类小说五月天| 91久久精品无码一区二区三区| 精品一二三区久久AAA片| 激情丁香五月婷婷| 丁香六月欧美| 婷婷视频网| 六月丁香婷婷综合狠狠爱夜夜爱| 国产99久久久国产精品免费看| 天天天天干| 五月丁香狠狠爱| 久久久大香蕉| 九九综合伊人| 九色PORNY自拍成人精彩视频| 六月婷婷视频| 97色97干| 超碰a女人的天堂| 熟女少妇内射日韩亚洲| 成人综合网站| 亚洲无AV在线中文字幕| 久久久国产精品黄毛片| 最近中文字幕2019视频1| 日本精品人妻无码77777| 婷婷五月天网| 色色色热热热| 狠狠干五月天| 人人操五月天| 色无码| 九九视频在线观看| 六月婷婷综合| 成人综合网站| 亚洲精品又粗又大又爽A片| 丁香五月婷婷基地| 五月天激情网图片| 三人荫蒂添的好舒服A片| 99热精品在线观看| 在线看的免费网站| 亚洲经典三级| 人妻丰满精品一区二区A片| av亚洲国产小电影| 亚洲情综合五月天| 婷婷五月激情的图片| 色在线99| 热久久91| 婷婷丁香色五月| 99这里都是精品6| 久热只有精品| 国产毛片欧美毛片久久久| 99精品国产在热久久| 国产XXXX搡XXXXX搡麻豆| 国自产拍偷拍精品啪啪一区二区| 粉嫩AV久久一区二区三区| 51精品国自产在线| 亚洲婷婷91丁香| 91九色精品女同系列| 五月天激情影院| 五月婷婷香| 天天日天天舔| 嫩草AV久久伊人妇女超级A| 97碰碰碰免费公开在线视频| 最近在线更新8中文字幕免费| 97色啪| 久久婷婷网| 在线视频你懂得| 五月天色丁香| 狠狠精品干练久久久无码中文字幕| 男人天堂网2017| 琪琪色五月天| 99热精品无码| 三年中文在线观看免费大全中国| 操日视频| 天天色播| 色综合久| 伊人玖玖网| 色综合久久天天综合网| 激情五月婷| 人与禽A片啪啪| 激情综合网五月丁香| 中文AV网站| 欧美性猛交 XXXX 乱大交| 九九热99免费视频| 日日.c| 久久久99精品免费观看| 瀚〣BB妲BBB妲BBB| 色一情一乱一乱一区91| 五月婷婷激情网| 瀚癇BB妲BBB妲BBB| 91在线日| 狠狠综合| 色在线99| 激情影院丁香五月| 成人短视频在线免费观看| 东京热伊人| 日日夜夜天天| 九九精品热播| 思思热视频在线观看| 国产肥白大熟妇BBBB视频| 99在线热| 婷婷丁香社区| 色色色色色色色色五月先| 五月天婷婷影院| 1区2区视频| 亚洲日日日| 搡BBBB搡BBB搡| 久久免片| 影音先锋91| 人人干av| 成人版视频在线观看| 99热这里只有精品99| 草莓视频免费观看| 99精品在这里| 九九99热| 欧美成人精品三区综合A片| 99九九视频| 97色色色| 伊人婷婷综合| 无码少妇高潮喷水A片免费| 丁香五月综合婷婷| 在线天堂新版最新版在线8| 九九99久久| 猴哥影院免费看电影| 欧美色婷婷| 激情久久丁香| www.色婷婷| 婷婷久久亚洲| 久久婷婷综合国产| 高清无码网址| 九九色精品| 先锋资源91| 丁香六月天| 婷婷久久五月| 夜夜大香蕉婷婷丁香| 五月丁香成人网| 日本综合色色| 国产美女无遮挡裸体毛片A片| 99热精品中文字幕| 婷婷天堂综合| 婷婷九月在线| 内射在线CHINESE| 五月色影院| 色色色婷| 日韩成人免费电影| 国产真实乱了老女人视频| 国产亚洲在线观看| Av九九| 亚洲欧洲中文日韩久久AV乱码| 精品久久人妻| 综合激情五月天| 狠狠爱婷婷爱| 开心四房| 国产精品久久欧美久久一区| 26uuu成人网| 99久久久免费| 91婷婷色| 久99热| 福利视频在线播放| 丁香六月综合激情| 99视频在线精品免费观看2| 伊人久久大香线蕉av一区| 国产精品扒开腿做爽爽爽A片唱戏| 色五月丁香网| 色婷婷香蕉| 棕合影院色色| 天堂久久婷婷| 五夜丁香| 六月伊人| 色五月激情五月| 天天射网站| 狠狠综合| 丁香五月电影| 激情综合网激情五月天| 99爱视频免费| 色欲一区二区三区精品A片| 色狠狠综合| 婷综合| 午夜激情婷婷| 日本色图综合| 婷婷五月丁香六月| 九九热中文| 婷婷久久99| 99在线视频播放| 超碰成人av| 青青草轻轻操| 激情六月婷婷| 97干网站| 99热这里只有精品1025| 网色99| 成人短视频在线| 五月婷婷AV| 操一区| 亚洲激情网| 色婷婷狠狠| 亚洲a色| 亚洲中文乱字字幕在线永久| 天天干天天色综合| 涩五月婷婷| 狠狠爱综合网| 国产av天堂| 精品无码久久久久久久久 | 丁香花网站| 日本人も中国人も汉字を| 嗯灬啊灬把腿张开灬A片视频| 亚洲精品一区无码A片| 国产亚洲在线| 香蕉国产2013| 成人看片网站| 婷婷在线视频| 国产亚洲精品久久久久久久久动漫| 香蕉久久国产AV一区二区| 桃子网站| 婷婷五月电影| 九月婷婷综合| 欧美激情五月天| 色狠狠色噜噜AV天堂五区| 中文人妻AV久久人妻18| 欧美视频五区| 九九色综合| 99热9| 射狠狠| 日本久久婷婷| 九九热99热| 黑人糟蹋人妻HD中文字幕| 99精品偷自拍| 综合色五月天| 丁香六月婷婷综合| 成全看免费观看完整版| 婷婷五月丁香六月| 狠狠干五月天| 嫩BBB搡BBBB榛BBBB| 九九99九九99九九99视频网| 五月婷婷香| 国产精品久久久久久久久久| 99热热这里只精品996小说| 丁香五月天网站| 久久久久人妻| 午夜丁香综合婷婷| 婷婷伊人| 色婷婷小说| 日本不卡中文字幕| 久久婷五月天| 色99色| 婷婷五月天精品| 免费无码毛片一区二区A片| 丁香五月先锋| 999热这里只有精品| 男人天堂网2017| 黄网在线免费观看| 香蕉久久国产AV一区二区| 五月丁香久人妻中文| 婷婷五月激情图片| 超碰v| 97人妻碰碰中文无码久热丝袜| 热久久这里只有精品| 免费国产视频| 婷婷久久久| 美女精品一级不卡视频| 色婷五月天| 秋霞AV淫| 91日韩在线| 丁香婷婷91在线观看视频| 夜夜操天天干| 欧美MACBOOKPRO高清| 五月丁香| 色欲久久久久久综合网综合网| 99在线小视频| 午夜成人综合| 亚洲婷婷五月天| 青青草原亚洲天堂| 少妇搡BBBB搡BBB搡毛茸茸 | 综合色播| 99色在线视频| 欧美色色色| 97精品自拍| 色狠狠色噜噜AV天堂五区| 综合AV在线| 双性美人被调教到喷水A片| 久久伊人大香蕉| 秋葵视频网站| 亚洲成人网站在线观看| 综合色色婷婷| 五月网| 日日干夜夜干| 色999五月色| 丰满少妇乱A片无码| 日本丁香五月| 五夜婷婷| 亚洲综合另类| 在线理论片| 亚洲色网络| 久久六月天| 欧美乱大交XXXXX潮喷l头像 | 三人荫蒂添的好舒服A片| 久久9视频| 欧美色色色色色色| 极品人妻VIDEOSSS人妻| 99热这| 五月婷婷激情| 99色在线视频| 少妇被下春药玩弄A片| 五月激情六月宗合| 99热老司机| www.9797国产| 成人美女网| 激情综合五月| 色色色色综合| 中文字幕在线免费观看视频| 麻豆雪千夏| 中国女人做爰A片| 婷婷在线视频| 久久国产色| 婷婷五月综合在线| av在线观看网站| 毛多色婷婷| 亚洲精品久久久无码| 桃色五月天| 婷婷中文字幕| 91九色精品熟女内射| 婷婷五月综合社区| 天天肏高清在线| 少妇被躁爽到高潮无码文 | 九九热九九| 91九色丨国产丨爆乳| 色婷婷超碰| 久色网| 国产肥白大熟妇BBBB视频| 野战J办公桌椅H| 五月婷婷综合网| 天天爽天天爽| 99热精品在线在线| 日韩啊啊啊| 涩涩涩五月天| 色丁香五月| 操91| 另类天堂| 婷婷丁香五月亚洲| 99热国产这里只有精品| 久操操| 九九热只有精品| 婷婷精品| 日日操日日撸| 狠狠色狠狠操| 九九在线精品| 丁香五月天视频| 日本人妻伦在线中文字幕| 五月天激情婷婷| 北京熟妇搡BBBB搡BBBB| 色色亚洲| 国产人妻人伦精品一区二区| 国产精品18久久久| 少妇高潮A片无套内谢麻豆传| 超碰v| 最近2018中文字幕免费看2019| 少妇人妻人伦A片| 中文成人在线| 无码髙清| 丁香五月婷婷亚洲综合精品| 操操人人| 开心激情网在线| 五月婷婷激情五月| 久久性爱视频| 色五月激情五月| 99热在线看片| 国产白丝在线一区| 亚洲AV成人精品日韩在线播放| 五月丁香综合啪啪| 五月天综合色| 被强行糟蹋的女人A片| 国产毛多水多女人A片| 国产黄大片在线观看画质优化| 欧美槡BBBB槡BBB少妇| 日本激情91| 91啪啪视频| 婷婷五月婷婷| 99国产精品久久久久久久久久久| A片试看120分钟做受视频红杏| 天天搞天天色综合| 91婷婷丁香| 操骚货在线| 亚洲精品白浆高清久久久久久| 98国产精品综合一区二区三区 | 亚洲色婷婷久久精品AV蜜桃| 亚洲黄色精品| 色玖玖| 五月丁香六月| 蜜桃视频网站APP| 国产9色在线/日韩| 97热这里只有精品| 成人做爰A片免费看视频| 激情久久丁香| 婷婷五月激情综合| 五月婷婷色色| 中文人妻AV久久人妻18| 四虎成人精品永久免费AV九九| 亚州色色色| 色欲午夜无码久久久久久张津瑜| 日韩精品一区二区亚洲AV观看| 97AV在线视频| 色色色综合网| 五月婷婷九| 激情丁香婷婷| 国产熟妇乱子伦hd| 久久久久亚洲AV无码网影音先锋| 色婷婷丁香五月| 婷婷成人基地| 婷婷五月丁香六月| 91精品综合久久久久久五月丁香| 瀚癇BB妲BBB妲BBB| 五月丁香婷婷啪啪| 欧美电影在线观看| 成人短视频在线| 农村熟妇高潮精品A片| 人妻久热| 婷婷香蕉| 五月婷婷色综图片| 思思热在线视频精品| 99ER热精品视频| 另类视频在线| 婷婷四房播播| 99热这里只有精品3| 国产99久久久国产精品免费看| 草一草avb| 嫩草AV久久伊人妇女超级A| 情色婷婷五月天| 五月婷婷丁香六月| 午夜激情婷婷| WWW.国产| 婷婷色五月激情| 久久久亚洲精品一区二区三区浴池| 久99久视频| 国产偷人爽久久久久久老妇APP| 色色五月丁香婷婷| 国产精品人人做人人爽人人添| www狠狠| 国产无遮挡又黄又爽免费网站| 99热18| 搡BBBB搡BBB搡| www五月| 色五月超碰| 免费看欧美成人A片无码| 二色AV| 色五月情| 在线只有精品| 91九色丨国产丨爆乳| 噼里啪啦在线观看免费完整版视频| 久九色| 五月丁香综合| 成人综合网站| 欧美婷婷| 婷婷操久久| 秋霞免费视频| 另类激情中文| 四虎成人精品永久免费AV九九| 国自产拍偷拍精品啪啪一区二区| 亚洲天天| 色色激情网| 岳和我厨房做爽死我了A片视频| 亚洲激情网| 亚洲无码播放| 天天综合久久| 午夜无码熟熟妇丰满人妻| 丁香婷婷色五月| 黄色五月婷婷| 九九人人操| 亚洲乱码日产精品BD| 五月激情六月宗合| 碰超99| 大香蕉欧美在线| 欧美交换配乱吟粗大25P| 亚洲色在线观看| 91视频一起草| 五月婷婷六月丁香玖玖玫瑰91| 蜜桃人妻无码AV天堂三区| www.婷婷.com| 久操大香蕉| 婷婷丁香宗合888| 荡乳尤物3pH| 国产乱子轮XXX农村 | 免费无码毛片一区二区A片| 五月婷婷丁香| 色婷婷久久综合中文久久一本| 日本色天堂| 99视频网址| 激情又色又爽又黄的A片| 欧美在线| 超碰国产在线| 天天干电影| 久久久久人妻网址| 99视频内射三四| 超碰人人干| 婷婷精品在线| 狠狠色噜噜狠狠狠狠综合| 另类视在线| 激情五月丁香六月综合AVXXXX| 欧亚成人A片一区二区| 狠狠操狠狠| 日本天天操| 天天操天天干天天日| 99综合视频一体| 久久丁香五月婷婷| 伊人久久艹| 天天色播| 五月丁香婷婷综合| 激情五月综合| 九九碰九九爱97超碰| a在线观看| 99热18| 大香蕉久久| 色五月婷婷综合| AV性爱在线| 中文AV网| 婷婷成人视频| 97人人草| 国产高潮A片羞羞视频涩涩| 青青草免费公开视频| 日产精品一线二线三线芒果| 人人摸人人干| 爱久久小说下载网| 丰满少妇乱A片无码| 大地资源中文在线观看免费| 久久在线视频免费观看| WWW.水蜜桃| 五月天激情四射网站| 久超超碰| 久久99久久99精品免视看婷| 天天色播| 日日干天天| 亚洲欧洲中文日韩久久AV乱码| 国产精品色情AAAAA片软件| 久久久天堂国产精品女人| 双性美人被调教到喷水A片| 大地资源中文在线观看免费版高清| a在线观看| 99免费热视频在线| 91啪啪视频| 狠狠色狠狠操| 婷婷五月天小说| 国产真实乱对白精彩| 色色综合网站| 成人一级片| 丁香六月婷婷| 天天综合色| 午夜少妇在线观看视频| 丁香网站| 91九色精品女同系列| 天天综合在线网| 日日日日日| 青青草视频免费观看| 日本天堂免费99| 婷婷精品在线| www.夜夜操.com| 狠狠精品干练久久久无码中文字幕| 久久AAAA片一区二区 | 婷婷五月天色色| 天天操综合网| 中文字幕精品无码一区二区| 九月激情综合| 综合激情站| 中文字幕乱码亚洲精品一区| 亚洲人人操| 99爱爱| 狠狠操狠狠| 91九色中文| 五月激情视频| 色婷婷成人做爰A片免费看网站 | 色欲天天综合| 99热都是精品| 国产SUV精品一区二区883| 人妻AV在线观看| 丁香五月偷拍| 天堂资源中文| 婷婷五月天AV| 亚洲第一成人无码A片| 大香蕉99| 欧美性爱五月天| 亚洲色无码A片中文字幕| 国产激情AV| 五月色综合| 五月 成人 婷婷| 色色色色色色色色综合网| 98国产精品综合一区二区三区| 久久九九@| 五月丁香五月婷婷| 伊人玖玖婷婷| 玖玖资源在线视频| 丰满少妇乱A片无码| 99九色视频在线观看| 色色色综合| 日韩久久色| 欧美成人精品A片免费一区99| 色色色五月婷| 99热这里全都是精品| 亚洲精品V天堂中文字幕| 婷色五月| 色就干| 成人丁香五月| 狠狠色大香蕉| 丁香五月天电影| 色婷婷综合亚洲| 成人看片网站| PORNY九色9l自拍视频成人| 九九热最新| 五月婷啪啪| 日日干日日| 天堂久久精品| 99久久人妻精品无码二区| 色五月激情网| 三年大片观看免费大全国| 天天综合在线网| 日本大胆欧美人术艺术| 日本丁香五月| 婷婷久久久久| 日本猛少妇色XXXXX猛叫| 9l视频自拍9l九色成人| 天堂资源中文| 亚洲精品99| 久9久9久9久9久9久9| 国产精品一区在线观看你懂的| 激情综合无码| 开心四房播播| 日本色婷婷| 无码人妻激情| 最近中文字幕2019视频1| 五月天婷婷激情小说电影| 97色啪| 欧美在线| 婷婷99狠狠躁天天躁| 五月丁香六月婷婷久久肏| 国产古装妇女野外A片| 久久女婷| 国产激情在线| 久久AV无码精品人妻系列试探| 欧美熟女99| 色香久久| 性色做爰片在线观看WW| 丁香五月六月综合激情| 9|无码久久久久久| 亚洲色无码A片中文字幕| 综合五月天| 97人妻碰碰中文无码久热丝袜| 色欲一区二区三区精品A片| 婷婷在线视频| 天天操人人干| 色综合九九| 欧美天堂久久| 猴哥影院免费看电影| 狠狠干综合| 中文av网| 九九黄色网| 9色在线视频| 色五月欧美| EEUSS鲁片一区二区三区| 色色热| 色五月 五月婷婷| 婷婷综合网| 色婷婷婷婷| 性天堂久久| 少女大人尖叫免费观看动漫| 任你躁XXXXX麻豆精品| 综合网激情| 91成人性爱视频| 婷婷五月av| 天天久久狠狠色综合| 久久99大全| 亚洲色无码A片中文字幕| 国产做A爰片毛片A片美国| 天天操夜夜操| 99热国产免费| 79精品视频在线观看,| 亚洲九区| 男女99免费视频| 伊人久久婷| 26UUU欧美激情一区二区| 激情九九六月激情免费视频| 少妇2做爰HD韩国电影| 国产暴力强伦轩1区二区小说| 婷婷丁香六月| 人妻久久久| a久久| 五月婷婷激情| 婷婷在线播放| 大香蕉九九| www.久久| 艳妇野外情欲放荡HD | 大陆极品少妇内射AAAAAA| AV中文在线| 久久综合99| 啪啪啪综合网| 久久九九国产精品怡红院| 99九九玖玖| 久久3p| 国产看真人毛片爱做A片| 99综合网| 性色做爰片在线观看WW| 五月激情啪啪| 久久性刺激| 五月丁香六月在线| 熟妇内谢69XXXXXA片| 99热亚洲精品| 91啪啪| 国产乱妇乱子在线播视频播放网站| 人人操97| 色色99| 日本啪啪网| 天天操天天插| GOGOGO免费高清日本TV| 五月丁香激情啪啪| 在线天堂官网| 激情婷婷丁香| 六月丁香啪啪啪| 欧美成人精品三区综合A片| 色情五月丁香| www,超碰| 99热91| 亚洲乱码日产精品BD| 成人av中文字幕| 97干免费视频| 六月丁香婷| 一起草av| 色婷婷成人做爰A片免费看网站| 九九热在线观看视频| 99九九玖玖| 八戒青柠影视剧在线观看| 日本天天色| 久九色| 国产精品日日躁夜夜躁| 国产AV国片偷人妻麻豆| 99久在线精品99re8| 99热播放| 五月丁香婷草| 人体裸体BBBBB欣赏| 中文字幕 中文字幕明步| 玖玖热视频| 四虎成人精品永久免费AV九九| 日本在线99| 亚洲熟妇无码乱子AV电影| 国产成人精品一区二区三区视频| 九九热在线视频观看| 超碰精品在线| 欧美 日韩 成人 在线| 六月婷婷色色色| 色五月超碰| 天天综合五月天| 偷偷与邻居做爰完整视频| 婷婷丁香18| 五月婷婷五月天| 婷婷激情图片| 久久五月丁香| 婷婷的99视频网站| 这里有精品| 97人人操人人爽| 丰满少妇熟乱XXXXX视频| 99超级碰碰| 无码日本精品XXXXXXXXX| 久久婷婷五月综合| 99热综合在线| 国产一区二区三区影院| 强辱丰满人妻HD中文字幕| 91精品久久久久久77777| 99.N在线视频| 少女大人尖叫免费观看动漫| 五月丁香久久| 伊人在线视频| 国产亚洲精品久久久久久牛牛 | 亚洲激情婷婷| 最近中文字幕2019视频1| 玖玖热视频| 色综合天天综合成人网| 狠狠插狠狠插| 婷香五月激情视频| 九月丁香婷婷| 色欲午夜无码久久久久久张津瑜| 免费观看欧美成人AA片爱我多深| 97在线观看| 狼友超碰| 我爱大香蕉| 涩五月婷婷| 国产熟人AV一二三区| 激情四射婷婷| 在线日韩视频| 激情丁香五月天| 欧美性猛交 XXXX 乱大交| 五月丁香色婷婷色| 亚洲av成人在线| 亚洲精品99| 夜夜撸夜夜骑| 精品一二三区久久AAA片| 香焦网五月天| 亚洲人妻AV| 色婷婷五月天| 色婷婷五月综合在线| 五月婷婷六月丁香综合在线| 久久大香蕉| 久久婷婷五月综合啪| 精品成人久久久久久久_一二三四视| 五月婷激情| 久久久国产精品黄毛片| 久久久久久97| 丁香五月成人网| 免费无码毛片一区二区A片| 秋葵视频网站| 色综合丁香| 99re6在线视频精品免费| 99热在线播放| 亚洲亚洲人成综合网络| 婷婷五月丁香久久| 成人国产欧美大片一区| 人人操AV| 中字幕视频在线永久在线观看免费| 综合AV在线| 国产真人做爰视频免费| 色色婷| 99九九在线视频| 丁香五月婷婷基地| 日本91在线| 成人国产欧美大片一区| 这里只有精品在线观看视频| 欧美日韩成人高清在线| 五月天婷婷色色| 九九色图| 日本在线99| 天天爽天天干| 亚洲中文字幕av| 久久92| 区二区欧美性插B在线视频网站| 九九色热| 超碰在线看| 丁香五月手机在线| 桃色成人网| 亚洲激情AV| 激情婷婷五月| 玖玖婷婷五月天| 激情综合九月|