Optimasi multitugas

Optimasi multi-tugas (bahasa Inggris: multi-task optimization) adalah suatu paradigma dalam literatur optimasi yang berfokus pada penyelesaian beberapa tugas mandiri secara bersamaan.^[1][2] Paradigma ini terinspirasi oleh konsep pembelajaran transfer ^[3] dan pembelajaran multi-tugas ^[4] yang telah lama dikenal dalam analitik prediktif.

Motivasi utama di balik optimasi multitugas adalah jika tugas-tugas optimasi saling terkait satu sama lain dari segi solusi optimalnya atau karakteristik umum dari lanskap fungsinya,^[5] kemajuan pencarian pada suatu tugas dapat dialihkan untuk mempercepat pencarian pada tugas lainnya secara signifikan.

Keberhasilan paradigma ini tidak mesti terbatas pada transfer pengetahuan satu arah dari tugas yang lebih sederhana ke tugas yang lebih kompleks. Dalam praktiknya,upaya untuk menyelesaikan tugas yang lebih sulit justru dapat secara tidak langsung memecahkan beberapa permasalahan yang lebih kecil.^[6]

Terdapat hubungan langsung antara optimasi multitugas dan optimasi multiobjektif . ^[7]

Ada beberapa pendekatan umum untuk optimasi multi-tugas: optimasi Bayesian, komputasi evolusioner, dan pendekatan berdasarkan teori permainan.^[1]

Optimasi Bayesian multitugas (atau multi-task Bayesian optimization) adalah pendekatan modern berbasis model yang memanfaatkan konsep transfer pengetahuan untuk mempercepat proses optimasi hiperparameter secara otomatis pada algoritma pemelajaran mesin. Metode ini membangun model proses Gaussian multitugas menggunakan data yang berasal dari pencarian berbeda yang berlangsung secara bersamaan. Ketergantungan antar-tugas yang teridentifikasi selanjutnya dimanfaatkan untuk memberikan informasi yang lebih baik dalam pengambilan sampel solusi kandidat berikutnya pada masing-masing ruang pencarian.

Multitasking evolusioner (atau evolutionary multi-tasking) telah diteliti sebagai cara untuk memanfaatkan paralelisme implisit dari algoritma pencarian berbasis populasi untuk menyelesaikan beberapa tugas optimasi yang berbeda secara bersamaan. Dengan memetakan semua tugas ke dalam satu ruang pencarian yang terpadu, populasi kandidat solusi yang berkembang dapat memanfaatkan hubungan tersembunyi di antara tugas-tugas tersebut melalui transfer genetik yang berkesinambungan. Proses ini terjadi ketika solusi yang terkait dengan tugas yang berbeda melakukan crossover (persilangan).^[2] Baru-baru ini, beberapa metode transfer pengetahuan selain perpindahan langsung juga telah dieksplorasi.^[8][9]

Pendekatan teori permainan dalam optimasi multitugas memandang permasalahan optimasi sebagai sebuah permainan yang setiap tugasnya dianggap sebagai pemain. Semua pemain bersaing melalui matriks imbalan (reward matrix) dan berusaha mencapai solusi yang dapat memuaskan semua pemain (semua tugas). Perspektif ini memberikan wawasan tentang bagaimana membangun algoritma yang efisien berdasarkan optimasi penurunan gradien (Gradient descent atau GD), yang sangat penting untuk melatih jaringan saraf dalam atau deep neural networks.^[10]

Dalam GD untuk MTL (Multi-task learning), setiap tugas menghasilkan nilai kerugiannya (loss) sendiri, sehingga menjadi tidak jelas bagaimana menggabungkan semua kerugian tersebut untuk membentuk satu gradien terpadu. Masalah agregasi ini memunculkan berbagai strategi penggabungan.^{[11] [12] [13]} Permasalahan ini dapat diatasi dengan mendefinisikan matriks permainan, di mana imbalan setiap pemain ditentukan oleh seberapa besar kesesuaian gradiennya dengan gradien bersama. Gradien bersama ini kemudian ditetapkan menggunakan konsep Nash Cooperative Bargaining, sehingga menghasilkan solusi yang adil bagi seluruh tugas dalam sistem tersebut.

Algoritma untuk optimasi multitugas mencakup berbagai macam penerapan di dunia nyata. Penelitian terkini menyoroti potensi percepatan optimasi parameter desain rekayasa dengan melakukan perancangan terkait secara bersamaan melalui pendekatan multitugas. Dalam pemelajaran mesin, transfer fitur yang telah dioptimalkan antar dataset yang saling terkait dapat meningkatkan efisiensi proses pelatihan serta memperkuat kemampuan generalisasi model yang dipelajari. Selain itu, konsep multitugas juga telah menghasilkan kemajuan dalam optimasi hiperparameter otomatis untuk model pemelajaran mesin dan pemelajaran ensemble.^[14][15]

Penerapan lainnya juga telah dilaporkan dalam bidang komputasi awan,^[16] dengan pengembangan ke depan yang diarahkan pada layanan optimasi berbasis cloud berdasarkan permintaan yang dapat melayani banyak pelanggan secara bersamaan.^[2] Penelitian terbaru juga menunjukkan adanya penerapan dalam bidang kimia.^[17] Selain itu, beberapa studi terbaru juga telah menerapkan algoritma optimasi multitugas dalam proses manufaktur industri.^[18][19]

• Optimasi multi-objektif
• Pembelajaran multi-tugas
• Klasifikasi multikriteria
• Analisis keputusan multi-kriteria

1. ^ ^{a b} Gupta, Abhishek; Ong, Yew-Soon; Feng, Liang (2018). "Insights on Transfer Optimization: Because Experience is the Best Teacher". IEEE Transactions on Emerging Topics in Computational Intelligence. 2: 51–64. doi:10.1109/TETCI.2017.2769104. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "TO" didefinisikan berulang dengan isi berbeda
2. ^ ^{a b c} Gupta, Abhishek; Ong, Yew-Soon; Feng, Liang (2016). "Multifactorial Evolution: Toward Evolutionary Multitasking". IEEE Transactions on Evolutionary Computation. 20 (3): 343–357. doi:10.1109/TEVC.2015.2458037. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "mfo" didefinisikan berulang dengan isi berbeda
3. ^ Pan, Sinno Jialin; Yang, Qiang (2010). "A Survey on Transfer Learning". IEEE Transactions on Knowledge and Data Engineering. 22 (10): 1345–1359. doi:10.1109/TKDE.2009.191.
4. ^ Caruana, R., "Multitask Learning", pp. 95-134 in Sebastian Thrun, Lorien Pratt (eds.) Learning to Learn, (1998) Springer ISBN 9780792380474
5. ^ Cheng, Mei-Ying; Gupta, Abhishek; Ong, Yew-Soon; Ni, Zhi-Wei (2017). "Coevolutionary multitasking for concurrent global optimization: With case studies in complex engineering design". Engineering Applications of Artificial Intelligence. 64: 13–24. doi:10.1016/j.engappai.2017.05.008.
6. ^ A bot will complete this citation soon. Click here to jump the queue"The Intentional Unintentional Agent: Learning to Solve Many Continuous Control Tasks Simultaneously". MISSING LINK. . 
7. ^ J. -Y. Li, Z. -H. Zhan, Y. Li and J. Zhang, "Multiple Tasks for Multiple Objectives: A New Multiobjective Optimization Method via Multitask Optimization," in IEEE Transactions on Evolutionary Computation, DOI:10.1109/TEVC.2023.3294307
8. ^ Feng, Liang; Zhou, Lei; Zhong, Jinghui; Gupta, Abhishek; Ong, Yew-Soon; Tan, Kay-Chen; Qin, A. K. (2019). "Evolutionary Multitasking via Explicit Autoencoding". IEEE Transactions on Cybernetics. 49 (9): 3457–3470. doi:10.1109/TCYB.2018.2845361. PMID 29994415.
9. ^ Jiang, Yi; Zhan, Zhi-Hui; Tan, Kay Chen; Zhang, Jun (January 2024). "Block-Level Knowledge Transfer for Evolutionary Multitask Optimization". IEEE Transactions on Cybernetics. 54 (1): 558–571. doi:10.1109/TCYB.2023.3273625. ISSN 2168-2267.
10. ^ Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0-262-03561-3.
11. ^ Liu, L.; Li, Y.; Kuang, Z.; Xue, J.; Chen, Y.; Yang, W.; Liao, Q.; Zhang, W. (2021-05-04). "Towards Impartial Multi-task Learning". In: Proceedings of the International Conference on Learning Representations (ICLR 2021). ICLR: Virtual event. (2021). Diakses tanggal 2022-11-20.
12. ^ Tianhe, Yu; Saurabh, Kumar; Abhishek, Gupta; Sergey, Levine; Karol, Hausman; Chelsea, Finn (2020). "Gradient Surgery for Multi-Task Learning". Advances in Neural Information Processing Systems (dalam bahasa Inggris). 33. arXiv:2001.06782.
13. ^ Liu, Bo; Liu, Xingchao; Jin, Xiaojie; Stone, Peter; Liu, Qiang (2021-10-26). "Conflict-Averse Gradient Descent for Multi-task Learning". MISSING LINK. . 
14. ^ Wen, Yu-Wei; Ting, Chuan-Kang (2016). "Learning ensemble of decision trees through multifactorial genetic programming". 2016 IEEE Congress on Evolutionary Computation (CEC). hlm. 5293–5300. doi:10.1109/CEC.2016.7748363. ISBN 978-1-5090-0623-6.
15. ^ Zhang, Boyu; Qin, A. K.; Sellis, Timos (2018). "Evolutionary feature subspaces generation for ensemble classification". Proceedings of the Genetic and Evolutionary Computation Conference. hlm. 577–584. doi:10.1145/3205455.3205638. ISBN 978-1-4503-5618-3.
16. ^ Bao, Liang; Qi, Yutao; Shen, Mengqing; Bu, Xiaoxuan; Yu, Jusheng; Li, Qian; Chen, Ping (2018). "An Evolutionary Multitasking Algorithm for Cloud Computing Service Composition". Services – SERVICES 2018. Lecture Notes in Computer Science. Vol. 10975. hlm. 130–144. doi:10.1007/978-3-319-94472-2_10. ISBN 978-3-319-94471-5.
17. ^ Felton, Kobi; Wigh, Daniel; Lapkin, Alexei (2021), "Multi-task Bayesian Optimization of Chemical Reactions", chemRxiv, doi:10.26434/chemrxiv.13250216.v2
18. ^ Jiang, Yi; Zhan, Zhi-Hui; Tan, Kay Chen; Zhang, Jun (October 2023). "A Bi-Objective Knowledge Transfer Framework for Evolutionary Many-Task Optimization". IEEE Transactions on Evolutionary Computation. 27 (5): 1514–1528. doi:10.1109/TEVC.2022.3210783. ISSN 1089-778X.
19. ^ Jiang, Yi; Zhan, Zhi-Hui; Tan, Kay Chen; Kwong, Sam; Zhang, Jun (2024). "Knowledge Structure Preserving-Based Evolutionary Many-Task Optimization". IEEE Transactions on Evolutionary Computation: 1–1. doi:10.1109/TEVC.2024.3355781. ISSN 1089-778X.

Templat:Optimization algorithms