An Intelligent Security Architecture Based on Deep Q-Learning (DQN) for the Detection and Prevention of Botnet Attacks in IoT Healthcare Devices within an Edge Computing Environment.

Abstract

Abstract Securing connected medical infrastructures (IoMT) is a critical challenge given the sensitivity of health data and the direct risks to care continuity. This thesis proposes an intelligent and distributed security architecture, structured according to a three-tier hierarchical topology Edge, Fog, and Cloud for botnet attack detection and prevention in IoMT networks, within an Edge Computing context. The approach is based on Deep Q-Learning (DQN) and systematically compares four algorithmic variants: the standard DQN, Double DQN, Dueling DQN, and DQN with Prioritized Experience Replay (PER). An adaptive medical rules engine, comprising eight expert rules hierarchized by clinical severity, is integrated into the reinforcement learning process to ensure institutional compliance of the agent's decisions.Experimental validation is conducted on the CIC-IoMT-2024 dataset through 28 systematic configurations per variant. Results demonstrate that the Dueling DQN offers the best trade-off with an F1-score of 0.9981, a false positive rate of 1.49%, and a latency of 0.28 ms, fully meeting the Edge layer real-time constraint (≤ 5 ms). All variants exhibit a margin factor exceeding ten relative to this constraint, validating the operational feasibility of deploying lightweight DRL systems on resource-limited nodes.

يُعدّتأمينالبنىالتحتيةالطبيةالمتصلة (IoMT) تحدياًبالغالأهمية،نظراًلحساسيةبياناتالصحةوالمخاطرالمباشرةعلىاستمراريةالرعاية. يقترحهذاالمذكرةمعماريةًأمنيةًذكيةًوموزعة،مُهيكَلةوفقطوبولوجياهرميةثلاثيةالمستوياتالحافة (Edge)،والضباب (Fog)،والسحابة (Cloud) لاكتشافهجماتالبوتنتوالحدّمنهافيشبكات IoMT،فيسياقالحوسبةعلىالحافة .يرتكزالنهجالمقترحعلىالتعلمالعميق Q (DQN)،ويُجريمقارنةًمنهجيةًبينأربعنسخخوارزمية: DQN القياسي،وDouble DQN،وDueling DQN،وDQN معإعادةالتشغيلذاتالأولوية (PER). ويُدمجمحركُقواعدطبيةتكيُّفي،مؤلَّفمنثمانيقواعدخبيرةمُرتَّبةوفقالخطورةالسريرية،فيعمليةالتعلمالمعزَّزلضمانامتثالقراراتالوكيلللمعاييرالمؤسسية.جرىالتحققالتجريبيعلىمجموعةالبيانات CIC-IoMT-2024 منخلال 28 تكويناًمنهجياًلكلنسخة. تُظهرالنتائجأن Dueling DQN يُقدّمأفضلتوازنبمعيار F1 يبلغ 0.9981،ومعدلإيجابياتكاذبةيبلغ 1.49%،وزمناستجابةيبلغ 0.28 ملليثانية،معاحترامتاملقيدالوقتالحقيقيلطبقةالحافة (≤ 5 ملليثانية). وتُحققجميعالنسخهامشأمانيتجاوزعشرةأضعافهذاالقيد،ممايُثبتالجدوىالتشغيليةلنشرأنظمة DRL خفيفةعلىعُقدمحدودةالموارد.