Differences

This shows you the differences between two versions of the page.

--- dlcp2025:restricted:programme [04/06/2025 18:06] – [Section 3. Machine Learning in Natural Sciences] admin
+++ dlcp2025:restricted:programme [06/06/2025 18:19] (current) – [39. ML-Based Optimum Sub-system Size Heuristic for the GPU Implementation of the Tridiagonal Partition Method] admin
@@ Line 1: / Line 1: @@
-====== Программа ======
+====== Program ======
 //01.05.2025//
-**Внимание!** В данный список включены заявленные доклады, включенные в программу конференции.
+**Attention!** This list includes the announced papers included in the conference program.
-//Если кто-то не нашел себя в списке, просьба сообщить по почте [[dlcp@sinp.msu.ru]]//
+//If someone did not find themselves in the list, please inform us by email [[dlcp@sinp.msu.ru]]//
 ===== Section 1. Machine Learning in Fundamental Physics =====
@@ Line 30: / Line 30: @@
 ===== Section 3. Machine Learning in Natural Sciences =====
-==== Восстановление приповерхностной влажности атмосферы над океаном с применением методов машинного обучения ====
-////
-Влажность воздуха в приповерхностном слое атмосферы над океаном является ключевым климатическим параметром, влияющим на процессы переноса влаги и тепла между океаном и атмосферой, а также на динамику атмосферных процессов в целом. Анализ метеорологических данных, собранных в течение XX века, показывает разреженность рядов измерений влажности в пространстве и времени. Международный массив данных о характеристиках океана и атмосферы (ICOADS) указывает на недостаточную плотность измерений в начале XX века по сравнению с более поздними периодами, что создает сложности для адекватного анализа климатических тенденций относительной влажности. Представленные в литературе методы восстановления временных рядов влажности зачастую демонстрируют ограниченную точность, основываясь преимущественно на статистических и эвристических подходах. Наша работа направлена на повышение качества решения этой задачи за счёт применения методов машинного обучения. В настоящей работе решена задача в формулировке аппроксимации моментальных значений относительной влажности по данным сопутствующих измерений атмосферного давления, температуры воздуха, скорости и направления ветра, температуры поверхности океана, а также наблюдений количества и типов облачности на трёх ярусах. Кроме этого, в составе сопутствующих переменных используется код погоды по стандарту ВМО и расчетная высота солнца. В исследовании использованы модели машинного обучения следующих типов: линейная регрессия, случайный лес, градиентный бустинг (CatBoost) и полносвязная искусственная нейронная сеть. Для повышения территориальной и временной специфичности разрабатываемых моделей мы провели исследование для каждой ячейки размером 5 градусов по широте и долготе и каждого сезона по отдельности. На основе полученных результатов были построены карты пространственного распределения ошибок моделей, которые позволили выявить регионы с высокой и низкой точностью аппроксимации влажности. Исследование подтвердило эффективность методов машинного обучения для восстановления климатических рядов, определило наиболее подходящие модели для этой задачи и обозначило перспективные направления для дальнейшей работы.
 ==== 37. Neutron spectrum unfolding with deep learning models for tabular data ====
@@ Line 44: / Line 39: @@
 The research was carried out within the framework of the state assignment of the Ministry of Science and Higher Education of the Russian Federation (topic No. 124112200072-2).
+==== 39. ML-Based Optimum Sub-system Size Heuristic for the GPU Implementation of the Tridiagonal Partition Method ====
+//Milena Veneva (1) \\ (1) RIKEN Center for Computational Science, R-CCS, 7-1-26 Minatojima-minami-machi, Chuo-ku, Kobe, Hyogo 650-0047, Japan//
+The parallel partition algorithm for solving systems of linear algebraic equations (SLAEs) suggested in [1] is an efficient numerical technique for solving SLAEs with tridiagonal coefficient matrices which consists of three stages. It works by splitting the original matrix into smaller sub-matrices and solving these smaller SLAEs in parallel. Originally designed for use with a large number of processors, this algorithm was implemented using MPI (Message Passing Interface) technology in [1]. The development of HPC applications typically consists of two key phases: writing code that functions correctly and then optimizing that code to enhance performance. The nature of the parallel partition method is such that the initial SLAE with N unknowns is partitioned into a number of sub-systems with m unknowns each. The size of the SLAE N that the user solves is usually determined by the size of the problem they need to solve, while the size of the sub-system within the parallel partition method m is a parameter that needs to be tuned. We present one of the optimizations made to our CUDA [2] implementation, namely building a heuristic for finding the optimum sub-system size by using tools frequently used in modern AI-focused approaches. Computational experiments for different SLAE sizes are conducted, and the optimum sub-system size for each of them is found empirically. To estimate a model for the sub-system size, we perform the k-nearest neighbors (kNN) classification method [3]. Statistical analysis of the results is done. By comparing the predicted values with the actual data, the algorithm is deemed to be acceptably good. Next, the heuristic is expanded to work for the recursive parallel partition algorithm as well. An algorithm for determining the optimum sub-system size for each recursive step is formulated. A kNN model for predicting the optimum number of recursive steps for any SLAE size is built.
+[1] Austin, T.~M., and Berndt, M., and Moulton, J.~D., A Memory Efficient Parallel Tridiagonal Solver, Preprint LA-VR-03-4149, 13 p. (2004). \\
+[2] NVIDIA, NVIDIA CUDA C++ Programming Guide. https://docs.nvidia.com/cuda/cuda-c-programming-guide/ (2025). \\
+[3] Fix, H., and Joseph, L., Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties, International Statistical Review/Revue Internationale de Statistique, 57 (3) pp. 238--47, doi: 10.2307/1403797 (1989).
+==== 44. Natural Image Classification via Quasi-Cyclic Graph Ensembles and Random-Bond Ising Models with Enhanced Nishimori Temperature Estimation ====
+//V.S.Usatyuk (1,2), D.A.Sapoznikov (1), S.I.Egorov(2) \\ (1) T8 LLC, Moscow, Russia, (2) SWSU University, Kursk, Russia//
+Recent advances have demonstrated the effectiveness of spectral clustering on the beta-Hessian of Graham matrices constructed from quasi-cyclic graphs in the context of Random-Bond Ising Models (RBIMs). Notably, at paper [1] showed that combining LDPC-inspired graph with VGG16-extracted features from GAN-generated two-class images (e.g., dog vs. cat) significantly outperformed Erdős–Rényi baselines in clustering accuracy, improving overlap from 73.21% to 90.60%—and up to 93.23% when using cosine similarity [2]. In this paper, we extend these insights to natural multi-class datasets, specifically ImageNet-10 and ImageNet-100. We introduce a refined approach to estimating the Nishimori temperature and propose a mixture-of-graphs model built from an ensemble of optimized RBIMs. These models leverage diverse quasi-cyclic graph families—including Spherical graphs and Multi-Edge Type LDPC graphs—to create sparse, expressive interaction structures. Feature embeddings are extracted from a lightweight MobileNetV2-based CNN, compressing 1280-dimensional activations to 32–64 feature maps per image. Using ensembles of 3 to 9 graph models, our approach achieves classification accuracies of up to 98.7% on ImageNet-10 and 82.5% on ImageNet-100 under optimal conditions with 32-dimensional embeddings. We demonstrate that significant parameter reduction in the MLP classification head (from 1280 to 32) improves both computational efficiency and robustness to feature puncturing. Furthermore, this graph-based framework shows promise for enhancing the representation power of knowledge graphs and feed-forward layers in transformer architectures. These results highlight the scalability of quasi-cyclic RBIM spectral embeddings from binary-class GAN-generated images to complex, real-world, multi-class image datasets. Our findings suggest that structural graph design—particularly girth, spectral gap, and ensemble diversity—plays a crucial role in optimizing spectral separability for high-dimensional natural image classification tasks.
+[1] Usatyuk, V.S., Sapozhnikov, D.A., & Egorov, S.I. (2024). Enhanced Image Clustering with Random-Bond Ising Models Using LDPC Graph Representations and Nishimori Temperature. Moscow Univ. Phys., 79(Suppl 2), S647–S665. \\
+[2] Dall'Amico, L. et al. (2021). Nishimori meets Bethe: A Spectral Method for Node Classification in Sparse Weighted Graphs. J. Stat. Mech., 093405.