التعلم الانتقالي

التعلم الانتقالي ( TL ) هو تقنية في تعلم الآلة (ML) يتم فيها إعادة استخدام المعرفة المكتسبة من مهمة سابقة من أجل تعزيز الأداء في مهمة حالية ذات صلة . ^[1] على سبيل المثال، في تصنيف الصور يمكن ان نطبق المعرفة المكتسبة أثناء تعلم كيفية التعرف على السيارات عند محاولة التعرف على الشاحنات. يرتبط هذا الموضوع بالامور العقلية حول نقل العلم ، على الرغم من أن الروابط العملية بين المجالين محدودة بشكل عام.

إن إعادة استخدام المعلومات من المهام التي تم تعلمها مسبقًا إلى مهام جديدة يتم تعلمها الان يمكن أن يؤدي إلى تحسين كبير في كفاءة التعلم. ^[2]

نظرًا لأن التعلم الانتقالي يستخدم التدريب ذو أهداف متعددة، فهو متعلق بالتعلم الآلي قليل التكلفة والتحسين متعدد الأهداف . ^[3]

التاريخ

نشر بوزينوفسكي وفولجوسي في عام 1976م ورقة بحثية تناولت التعلم الانتقالي في تدريب الشبكات العصبية. ^[4] ^[5] تقدم الورقة نموذجًا رياضيًا وهندسيًا للامر. وفي عام 1981م، تحدث تقريرعن تطبيق التعلم الانتقالي على مجموعة من الصور تمثل أحرف محطات الكمبيوتر، مما يدل بشكل بدائي على التعلم الانقالي بكلا الاتجاهين. ^[6]

وضع لورين برات في عام 1992م خوارزمية النقل القائم على تمييز البيانات (DBT). ^[7]

تقدم هذا المجال العلمي بحلول عام 1998م ليشمل التعلم متعدد المهام، ^[8] إلى جانب أسس نظرية مثبتة. ^[9] تشمل المنشورات العلامة في مجال التعلم الانتقالي كتاب تعلم كيفية التعلم في عام 1998م، ^[10] واستطلاع عام 2009م ^[11] واستطلاع عام 2019م. ^[12]

قال نج في برنامجه التعليمي NIPS 2016 ^[13] ^[14] أن التعلم الانتقالي سيصبح المحرك التالي لنجاح تعلم الآلة تجاريًا بعد انجاز التعلم الخاضع للإشراف .

قدّم الباحثون في ورقة بحثية عام 2020م بعنوان "إعادة التفكير في التدريب المسبق والتدريب الذاتي"، ^[15] رأى زوف وآخرون أن التدريب المسبق يمكن أن يضر بدقة التعلم، وأيّدو التدريب الذاتي بديلا منه.

تعريف

يُعرَّف التعلم الانتقالي على حسب المجالات والمهام المتعلق به. ففي مجال رمزه ${\mathcal {D}}$ يتكون من: ميزة ${\mathcal {X}}$ وتوزيع احتمالات هامشي $P(X)$ ، حيث $X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}$ . نظرا لمجال محدد، ${\mathcal {D}}=\{{\mathcal {X}},P(X)\}$ تتكون المهمة من عنصرين: مساحة التسميةالتي ندعوها ${\mathcal {Y}}$ ووظيفة تنبؤية موضوعية $f:{\mathcal {X}}\rightarrow {\mathcal {Y}}$ . التابع المرمز له ب $f$ يتم استخدامه للتنبؤ بالصورة المقابلة $f(x)$ من حالة جديدة نرمز لها ب $x$ . هذه الوظيفة، التي يرمز لها بـ ${\mathcal {T}}=\{{\mathcal {Y}},f(x)\}$ ، يتم تعلمها من بيانات التي يتم التدريب عليها, المكونة من مجموعة أزواج $\{x_{i},y_{i}\}$ ، بحيث كلا من الشرطين محققين $x_{i}\in X$ و $y_{i}\in {\mathcal {Y}}$ .

لمجال المصدر ${\mathcal {D}}_{S}$ ووظيفة التعلم ${\mathcal {T}}_{S}$ ، ومجال الهدف ${\mathcal {D}}_{T}$ ومهمة التعلم ${\mathcal {T}}_{T}$ ، بحيث كلا من ${\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}$ ، أو ${\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}$ محققان:

يكون هدف التعلم الانتقالي إلى المساعدة في تحسين كفاءة تعلم وظيفة التنبؤ المرادة $f_{T}(\cdot )$ في ${\mathcal {D}}_{T}$ باستخدام المعرفة الموجودة مسبقاً في كلا من المصادر ${\mathcal {D}}_{S}$ و ${\mathcal {T}}_{S}$ .

التطبيقات

يوجد خوارزميات للتعلم الانتقالي في شبكات منطق ماركوف ^[16] والشبكات البايزية . ^[17] تم تطبيق التعلم الانتقالي على اكتشاف انواع فرعية للسرطان، ^[18] واستخدام المباني ، ^[19] ^[20] ولعب الألعاب العام ، ^[21] وتصنيف النصوص ، ^[22] ^[23] والتعرف على الأرقام، ^[24] والتصوير الطبي وحجب البريد الاعلاني . ^[25]

اكتُشف في عام 2020م إن التعلم الانتقالي ممكن ان يتم بين إشارات تخطيط كهربية العضلات (EMG) من العضلات وتصنيف سلوكيات موجات الدماغ الكهربية (EEG) وذلك بسبب طبيعتهما الفيزيائية المتشابهة، من مجال التعرف على الإيماءات إلى مجال التعرف على الحالة النفسية. وقد لوحظ أن هذه العلاقة تعمل في كلا الاتجاهين ذهابا وايابا، مما يدل على أنه من الممكن استخدام تخطيط كهربية الدماغ لتصنيف تخطيط كهربية العضلات. ^[26] ودلّت التجارب إلى أن دقة الشبكات العصبية والشبكات العصبية التلافيفية قد تحسنت ^[27] من خلال التعلم الانتقالي قبل أي نوع اخر من التعلم (مقارنة بالتوزيع العشوائي القياسي) عند نهاية عملية التعلم (المقارب). وهذا يعني أن النتائج تتحسن كلما تم التعرض لمجال آخر. اضافةً لذلك، يمكن للمستخدم النهائي للنموذج المدرب مسبقًا تغيير بنية الطبقات المتصلة بالكامل لتحسين الأداء ايضاً. ^[28]

لقد تم تطبيق العديد من لخوارزميات للتعلم الانتقالي والتكيف المجالي:

ADAPT ^[29] (بايثون)
مكتبة TLib ^[30] (بايثون)
مجموعة أدوات التكيف مع المجال ^[31] (Matlab)

المراجع

^ West، Jeremy؛ Ventura، Dan؛ Warnick، Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer". Brigham Young University, College of Physical and Mathematical Sciences. مؤرشف من الأصل في 2007-08-01. اطلع عليه بتاريخ 2007-08-05.
^ George Karimpanal، Thommen؛ Bouffanais، Roland (2019). "Self-organizing maps for storage and transfer of knowledge in reinforcement learning". Adaptive Behavior. ج. 27 ع. 2: 111–126. arXiv:1811.08318. DOI:10.1177/1059712318818568. ISSN:1059-7123. S2CID:53774629.
^ Cost-Sensitive Machine Learning. (2011). USA: CRC Press, Page 63, https://books.google.com/books?id=8TrNBQAAQBAJ&pg=PA63 نسخة محفوظة 2024-09-23 على موقع واي باك مشين.
^ Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.
^ Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302. نسخة محفوظة 2024-08-08 على موقع واي باك مشين.
^ S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]
^ Pratt، L. Y. (1992). "Discriminability-based transfer between neural networks" (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. ص. 204–211.
^ Caruana, R., "Multitask Learning", pp. 95-134 in Thrun & Pratt 2012
^ Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95 Thrun & Pratt 2012
^ Thrun & Pratt 2012.
^ Pan، Sinno Jialin؛ Yang، Qiang (2009). "A Survey on Transfer Learning" (PDF). IEEE. مؤرشف من الأصل (PDF) في 2024-08-29.
^ Zhuang، Fuzhen؛ Qi، Zhiyuan؛ Duan، Keyu؛ Xi، Dongbo؛ Zhu، Yongchun؛ Zhu، Hengshu؛ Xiong، Hui؛ He، Qing (2019). "A Comprehensive Survey on Transfer Learning". IEEE. arXiv:1911.02685.
^ NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (بالإنجليزية), 6 May 2018, Archived from the original on 2021-12-19, Retrieved 2019-12-28
^ "Nuts and bolts of building AI applications using Deep Learning, slides" (PDF). مؤرشف من الأصل (PDF) في 2024-09-14.
^ Zoph، Barret (2020). "Rethinking pre-training and self-training" (PDF). Advances in Neural Information Processing Systems. ج. 33: 3833–3845. arXiv:2006.06882. مؤرشف من الأصل (PDF) في 2024-09-06. اطلع عليه بتاريخ 2022-12-20.
^ Mihalkova، Lilyana؛ Huynh، Tuyen؛ Mooney، Raymond J. (يوليو 2007)، "Mapping and Revising Markov Logic Networks for Transfer" (PDF)، Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007)، Vancouver, BC، ص. 608–614، اطلع عليه بتاريخ 2007-08-05{{استشهاد}}: صيانة الاستشهاد: مكان بدون ناشر (link)
^ Niculescu-Mizil، Alexandru؛ Caruana، Rich (21–24 مارس 2007)، "Inductive Transfer for Bayesian Network Structure Learning" (PDF)، Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007)، اطلع عليه بتاريخ 2007-08-05
^ Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. أرشيف خي:1810.09433
^ Arief-Ang، I.B.؛ Salim، F.D.؛ Hamilton، M. (8 نوفمبر 2017). "DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data". 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. ص. 1–10. DOI:10.1145/3137133.3137146. ISBN:978-1-4503-5544-5. مؤرشف من الأصل في 2023-01-29.
^ Arief-Ang، I.B.؛ Hamilton، M.؛ Salim، F.D. (1 ديسمبر 2018). "A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data". ACM Transactions on Sensor Networks. ج. 14 ع. 3–4: 21:1–21:28. DOI:10.1145/3217214. S2CID:54066723.
^ Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer." IJCAI. 2007. نسخة محفوظة 2024-05-08 على موقع واي باك مشين.
^ Do، Chuong B.؛ Ng، Andrew Y. (2005). "Transfer learning for text classification". Neural Information Processing Systems Foundation, NIPS*2005 (PDF). مؤرشف من الأصل (PDF) في 2023-04-21. اطلع عليه بتاريخ 2007-08-05.
^ Rajat، Raina؛ Ng، Andrew Y.؛ Koller، Daphne (2006). "Constructing Informative Priors using Transfer Learning". Twenty-third International Conference on Machine Learning (PDF). مؤرشف من الأصل (PDF) في 2024-04-14. اطلع عليه بتاريخ 2007-08-05.
^ Maitra، D. S.؛ Bhattacharya، U.؛ Parui، S. K. (أغسطس 2015). "CNN based common approach to handwritten character recognition of multiple scripts". 2015 13th International Conference on Document Analysis and Recognition (ICDAR). ص. 1021–1025. DOI:10.1109/ICDAR.2015.7333916. ISBN:978-1-4799-1805-8. S2CID:25739012.
^ Bickel، Steffen (2006). "ECML-PKDD Discovery Challenge 2006 Overview". ECML-PKDD Discovery Challenge Workshop (PDF). مؤرشف من الأصل (PDF) في 2024-04-09. اطلع عليه بتاريخ 2007-08-05.
^ Bird، Jordan J.؛ Kobylarz، Jhonatan؛ Faria، Diego R.؛ Ekart، Aniko؛ Ribeiro، Eduardo P. (2020). "Cross-Domain MLP and CNN Transfer Learning for Biological Signal Processing: EEG and EMG". IEEE Access. Institute of Electrical and Electronics Engineers (IEEE). ج. 8: 54789–54801. Bibcode:2020IEEEA...854789B. DOI:10.1109/access.2020.2979074. ISSN:2169-3536.
^ Maitra، Durjoy Sen؛ Bhattacharya، Ujjwal؛ Parui، Swapan K. (أغسطس 2015). "CNN based common approach to handwritten character recognition of multiple scripts". 2015 13th International Conference on Document Analysis and Recognition (ICDAR). ص. 1021–1025. DOI:10.1109/ICDAR.2015.7333916. ISBN:978-1-4799-1805-8. S2CID:25739012.
^ Kabir، H. M. Dipu؛ Abdar، Moloud؛ Jalali، Seyed Mohammad Jafar؛ Khosravi، Abbas؛ Atiya، Amir F.؛ Nahavandi، Saeid؛ Srinivasan، Dipti (7 يناير 2022). "SpinalNet: Deep Neural Network with Gradual Input". IEEE Transactions on Artificial Intelligence. ج. 4 ع. 5: 1165–1177. arXiv:2007.03347. DOI:10.1109/TAI.2022.3185179. S2CID:220381239. مؤرشف من الأصل في 2024-07-12.
^ de Mathelin, Antoine and Deheeger, François and Richard, Guillaume and Mougeot, Mathilde and Vayatis, Nicolas (2020) "ADAPT: Awesome Domain Adaptation Python Toolbox" نسخة محفوظة 2024-01-28 على موقع واي باك مشين.
^ Mingsheng Long Junguang Jiang, Bo Fu. (2020) "Transfer-learning-library" نسخة محفوظة 2024-04-18 على موقع واي باك مشين.
^ Ke Yan. (2016) "Domain adaptation toolbox" نسخة محفوظة 2022-11-01 على موقع واي باك مشين.

Thrun، Sebastian؛ Pratt، Lorien (6 ديسمبر 2012). Learning to Learn. Springer Science & Business Media. ISBN:978-1-4615-5529-2.

[1] West، Jeremy؛ Ventura، Dan؛ Warnick، Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer". Brigham Young University, College of Physical and Mathematical Sciences. مؤرشف من الأصل في 2007-08-01. اطلع عليه بتاريخ 2007-08-05.

[2] George Karimpanal، Thommen؛ Bouffanais، Roland (2019). "Self-organizing maps for storage and transfer of knowledge in reinforcement learning". Adaptive Behavior. ج. 27 ع. 2: 111–126. arXiv:1811.08318. DOI:10.1177/1059712318818568. ISSN:1059-7123. S2CID:53774629.

[3] Cost-Sensitive Machine Learning. (2011). USA: CRC Press, Page 63, https://books.google.com/books?id=8TrNBQAAQBAJ&pg=PA63 نسخة محفوظة 2024-09-23 على موقع واي باك مشين.

[4] Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.

[5] Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302. نسخة محفوظة 2024-08-08 على موقع واي باك مشين.

[6] S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]

[7] Pratt، L. Y. (1992). "Discriminability-based transfer between neural networks" (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. ص. 204–211.

[8] Caruana, R., "Multitask Learning", pp. 95-134 in Thrun & Pratt 2012

[9] Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95 Thrun & Pratt 2012

[FOOTNOTEThrunPratt2012-10] Thrun & Pratt 2012.

[11] Pan، Sinno Jialin؛ Yang، Qiang (2009). "A Survey on Transfer Learning" (PDF). IEEE. مؤرشف من الأصل (PDF) في 2024-08-29.

[12] Zhuang، Fuzhen؛ Qi، Zhiyuan؛ Duan، Keyu؛ Xi، Dongbo؛ Zhu، Yongchun؛ Zhu، Hengshu؛ Xiong، Hui؛ He، Qing (2019). "A Comprehensive Survey on Transfer Learning". IEEE. arXiv:1911.02685.

[13] NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (بالإنجليزية), 6 May 2018, Archived from the original on 2021-12-19, Retrieved 2019-12-28

[14] "Nuts and bolts of building AI applications using Deep Learning, slides" (PDF). مؤرشف من الأصل (PDF) في 2024-09-14.

[15] Zoph، Barret (2020). "Rethinking pre-training and self-training" (PDF). Advances in Neural Information Processing Systems. ج. 33: 3833–3845. arXiv:2006.06882. مؤرشف من الأصل (PDF) في 2024-09-06. اطلع عليه بتاريخ 2022-12-20.

[16] Mihalkova، Lilyana؛ Huynh، Tuyen؛ Mooney، Raymond J. (يوليو 2007)، "Mapping and Revising Markov Logic Networks for Transfer" (PDF)، Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007)، Vancouver, BC، ص. 608–614، اطلع عليه بتاريخ 2007-08-05{{استشهاد}}: صيانة الاستشهاد: مكان بدون ناشر (link)

[17] Niculescu-Mizil، Alexandru؛ Caruana، Rich (21–24 مارس 2007)، "Inductive Transfer for Bayesian Network Structure Learning" (PDF)، Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007)، اطلع عليه بتاريخ 2007-08-05

[:bmdl-18] Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. أرشيف خي:1810.09433

[19] Arief-Ang، I.B.؛ Salim، F.D.؛ Hamilton، M. (8 نوفمبر 2017). "DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data". 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. ص. 1–10. DOI:10.1145/3137133.3137146. ISBN:978-1-4503-5544-5. مؤرشف من الأصل في 2023-01-29.

[20] Arief-Ang، I.B.؛ Hamilton، M.؛ Salim، F.D. (1 ديسمبر 2018). "A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data". ACM Transactions on Sensor Networks. ج. 14 ع. 3–4: 21:1–21:28. DOI:10.1145/3217214. S2CID:54066723.

[21] Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer." IJCAI. 2007. نسخة محفوظة 2024-05-08 على موقع واي باك مشين.

[22] Do، Chuong B.؛ Ng، Andrew Y. (2005). "Transfer learning for text classification". Neural Information Processing Systems Foundation, NIPS*2005 (PDF). مؤرشف من الأصل (PDF) في 2023-04-21. اطلع عليه بتاريخ 2007-08-05.

[23] Rajat، Raina؛ Ng، Andrew Y.؛ Koller، Daphne (2006). "Constructing Informative Priors using Transfer Learning". Twenty-third International Conference on Machine Learning (PDF). مؤرشف من الأصل (PDF) في 2024-04-14. اطلع عليه بتاريخ 2007-08-05.

[24] Maitra، D. S.؛ Bhattacharya، U.؛ Parui، S. K. (أغسطس 2015). "CNN based common approach to handwritten character recognition of multiple scripts". 2015 13th International Conference on Document Analysis and Recognition (ICDAR). ص. 1021–1025. DOI:10.1109/ICDAR.2015.7333916. ISBN:978-1-4799-1805-8. S2CID:25739012.

[25] Bickel، Steffen (2006). "ECML-PKDD Discovery Challenge 2006 Overview". ECML-PKDD Discovery Challenge Workshop (PDF). مؤرشف من الأصل (PDF) في 2024-04-09. اطلع عليه بتاريخ 2007-08-05.

[26] Bird، Jordan J.؛ Kobylarz، Jhonatan؛ Faria، Diego R.؛ Ekart، Aniko؛ Ribeiro، Eduardo P. (2020). "Cross-Domain MLP and CNN Transfer Learning for Biological Signal Processing: EEG and EMG". IEEE Access. Institute of Electrical and Electronics Engineers (IEEE). ج. 8: 54789–54801. Bibcode:2020IEEEA...854789B. DOI:10.1109/access.2020.2979074. ISSN:2169-3536.

[27] Maitra، Durjoy Sen؛ Bhattacharya، Ujjwal؛ Parui، Swapan K. (أغسطس 2015). "CNN based common approach to handwritten character recognition of multiple scripts". 2015 13th International Conference on Document Analysis and Recognition (ICDAR). ص. 1021–1025. DOI:10.1109/ICDAR.2015.7333916. ISBN:978-1-4799-1805-8. S2CID:25739012.

[28] Kabir، H. M. Dipu؛ Abdar، Moloud؛ Jalali، Seyed Mohammad Jafar؛ Khosravi، Abbas؛ Atiya، Amir F.؛ Nahavandi، Saeid؛ Srinivasan، Dipti (7 يناير 2022). "SpinalNet: Deep Neural Network with Gradual Input". IEEE Transactions on Artificial Intelligence. ج. 4 ع. 5: 1165–1177. arXiv:2007.03347. DOI:10.1109/TAI.2022.3185179. S2CID:220381239. مؤرشف من الأصل في 2024-07-12.

[29] Mathelin, Antoine and Deheeger, François and Richard, Guillaume and Mougeot, Mathilde and Vayatis, Nicolas (2020) "ADAPT: Awesome Domain Adaptation Python Toolbox" نسخة محفوظة 2024-01-28 على موقع واي باك مشين.

[30] Mingsheng Long Junguang Jiang, Bo Fu. (2020) "Transfer-learning-library" نسخة محفوظة 2024-04-18 على موقع واي باك مشين.

[31] Ke Yan. (2016) "Domain adaptation toolbox" نسخة محفوظة 2022-11-01 على موقع واي باك مشين.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

التاريخ

تعريف

التطبيقات

مقالات ذات صلة

المراجع