Apple e NVIDIA uniscono le forze per migliorare la velocità dei LLM

In una mossa che sottolinea l’importanza della collaborazione nel campo dell’intelligenza artificiale, Apple e NVIDIA hanno lavorato insieme per migliorare le prestazioni dei modelli di linguaggio avanzati (LLM). Gli ingegneri di Apple hanno condiviso i dettagli di questa collaborazione in un post sul blog, in cui si illustra l’obiettivo di migliorare la generazione di testo grazie all’integrazione di tecnologie innovative.

Il punto focale è la tecnica ReDrafter, sviluppata da Apple e resa open source all’inizio di quest’anno. Questo metodo combina due elementi chiave: il beam search, che esplora diverse possibilità per migliorare la qualità delle previsioni, e il dynamic tree attention, che consente di gestire le opzioni in tempo reale in modo ottimale. Questa combinazione consente di ottenere risultati più rapidi e prestazioni all’avanguardia.

Nonostante i risultati promettenti, Apple ha deciso di collaborare con NVIDIA per rendere ReDrafter operativo. La tecnica è stata integrata nel framework TensorRT-LLM di NVIDIA, uno strumento progettato per velocizzare l’esecuzione di modelli di linguaggio avanzati su GPU NVIDIA.

Gli ingegneri di NVIDIA hanno adattato il loro framework per accoglierla. Come spiegato nel blog di Apple, l’integrazione di ReDrafter ha richiesto la creazione di nuovi operatori e l’ottimizzazione di quelli esistenti, migliorando la capacità del framework di supportare modelli complessi e tecniche avanzate di decodifica.

I risultati sono sorprendenti. In un benchmark che utilizza un modello di produzione con decine di miliardi di parametri, l’implementazione di TensorRT-LLM con ReDrafter ha permesso di accelerare la generazione di token al secondo per la decodifica greedy di 2,7 volte. Ciò non solo riduce significativamente la latenza percepita dagli utenti, ma consente anche di utilizzare meno GPU, riducendo i costi operativi e il consumo energetico.

Gli ingegneri Apple hanno sottolineato l’importanza di queste innovazioni per le applicazioni di produzione basate su LLM, che richiedono un’efficienza computazionale sempre maggiore. Grazie a ReDrafter e alla sua integrazione nel framework di NVIDIA, gli sviluppatori possono ora beneficiare di una generazione di testo più rapida, migliorando l’esperienza degli utenti finali e ottimizzando l’uso delle risorse disponibili.

// Logica completa dello shortcode 'app' function appstore_shortcode_logic($atts, $content = null) { // Attributi di default $atts = shortcode_atts(array( 'id' => '', 'img' => '', 'nome' => '', 'sottotitolo' => '', 'prezzo' => '', 'link' => '', 'store' => 'App Store', 'template' => '', 'inapp' => '', 'background' => '', 'link_icon' => '', ), $atts, 'card'); // Verifica del valore dell'attributo 'stile' $template_class = !empty($atts['template']) ? sanitize_html_class($atts['template']) : ''; // Verifica se il file JSON della cache esiste $cache_dir = '/srv/www/ispazio.net/www/wp-content/plugins/appstore_ispazio/app_cache/'; $cache_file = $cache_dir . "app_" . sanitize_key($atts['id']) . ".json"; // Determina se la cache è valida: JSON esiste, non scaduto E icona principale esiste sul disco $_app_id_check = sanitize_key($atts['id']); $_img_main_path = $cache_dir . "icon250_" . $_app_id_check . ".jpg"; $_cache_valid = file_exists($cache_file) && filesize($cache_file) > 0 && time() - filemtime($cache_file) < 31557600 && file_exists($_img_main_path); if ($_cache_valid) { $json = file_get_contents($cache_file); } else { // Interroga l'API di App Store e scarica il JSON utilizzando cURL $itunes_api_base = "https://itunes.apple.com/lookup?id=" . sanitize_key($atts['id']); $country_list = ['IT', 'US']; // puoi aggiungere altri paesi se vuoi $json = ''; $data = []; foreach ($country_list as $country) { $itunes_api_url = $itunes_api_base . "&country=" . $country; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $itunes_api_url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0"); curl_setopt($ch, CURLOPT_HTTPHEADER, array('Accept: application/json')); $json = curl_exec($ch); curl_close($ch); $data = json_decode($json, true); if (!empty($data['results'])) { break; // abbiamo trovato un risultato valido, fermiamo il ciclo } } if (isset($data['results'][0]['artworkUrl100'])) { $original_image_url = $data['results'][0]['artworkUrl100']; $new_image_url = str_replace('100x100bb.jpg', '250x250bb.jpg', $original_image_url); // Scarica e salva l'immagine dell'artwork sul tuo server $image_id = sanitize_key($atts['id']); $image_path = $cache_dir . "icon250_" . $image_id . ".jpg"; file_put_contents($image_path, file_get_contents($new_image_url)); if (function_exists('ispazio_convert_to_modern')) ispazio_convert_to_modern($image_path); // Modifica il JSON con l'URL dell'immagine dell'artwork sul tuo server $data['results'][0]['artworkUrl100'] = "https://www.ispazio.net/wp-content/plugins/appstore_ispazio/app_cache/icon250_" . $image_id . ".jpg"; // Crea anche versione 140px per template mini (retina 2x per 70x70) $icon140_path = $cache_dir . "icon140_" . $image_id . ".jpg"; if ( ! file_exists( $icon140_path ) && function_exists( 'imagecreatefromjpeg' ) ) { $src_img = @imagecreatefromjpeg( $image_path ); if ( $src_img ) { $dst_img = imagecreatetruecolor( 140, 140 ); imagecopyresampled( $dst_img, $src_img, 0, 0, 0, 0, 140, 140, imagesx( $src_img ), imagesy( $src_img ) ); imagejpeg( $dst_img, $icon140_path, 85 ); imagedestroy( $src_img ); imagedestroy( $dst_img ); if (function_exists('ispazio_convert_to_modern')) ispazio_convert_to_modern($icon140_path); } } // Sostituisci anche gli URL delle prime 4 immagini degli screenshot if (isset($data['results'][0]['screenshotUrls'])) { $screenshotUrls = $data['results'][0]['screenshotUrls']; $screenshotUrlsOnServer = array(); for ($i = 0; $i < min(count($screenshotUrls), 4); $i++) { $screenshotUrl = $screenshotUrls[$i]; $screenshotFilename = basename($screenshotUrl); $screenshotSavePath = $cache_dir . "screenshot_" . $image_id . "_" . $i . ".jpg"; // Scarica e salva l'immagine dello screenshot sul tuo server file_put_contents($screenshotSavePath, file_get_contents($screenshotUrl)); if (function_exists('ispazio_convert_to_modern')) ispazio_convert_to_modern($screenshotSavePath); // Modifica il JSON con l'URL dell'immagine dello screenshot sul tuo server $screenshotUrlsOnServer[] = "https://www.ispazio.net/wp-content/plugins/appstore_ispazio/app_cache/screenshot_" . $image_id . "_" . $i . ".jpg"; } // Aggiorna il JSON con gli URL delle immagini degli screenshot sul tuo server $data['results'][0]['screenshotUrls'] = $screenshotUrlsOnServer; } } // Salva il JSON nella cache solo se non è vuoto if (!empty($json)) { file_put_contents($cache_file, json_encode($data)); } } // Decodifica il JSON $data = json_decode($json, true); // Se il "nome" non è specificato nell'attributo, usa il trackName dal JSON $nome = isset($atts['nome']) && !empty($atts['nome']) ? $atts['nome'] : ($data['results'][0]['trackName'] ?? 'Scarica da App Store'); // Se il "sottotitolo" non è specificato nell'attributo, usa artistName dal JSON $sottotitolo = isset($atts['sottotitolo']) && !empty($atts['sottotitolo']) ? $atts['sottotitolo'] : ($data['results'][0]['artistName'] ?? ''); // Se il "prezzo" non è specificato nell'attributo, usa il formattedPrice dal JSON $formattedPrice = !empty($data['results'][0]['formattedPrice']) ? $data['results'][0]['formattedPrice'] : null; $prezzo = !empty($atts['prezzo']) ? $atts['prezzo'] : (!empty($formattedPrice) ? $formattedPrice : (!empty(trim($content)) ? trim($content) : 'OTTIENI')); // Se l'URL dell'immagine non è specificato nell'attributo, usa quello dal JSON $hide_image_class = ''; $card_body_style = ''; $container_style = ''; $container_extra_class = ''; if (isset($atts['img']) && trim($atts['img']) === 'scontiamolo') { $img = 'https://www.ispazio.net/wp-content/plugins/appstore_ispazio/app_cache/icon250_1506946624.jpg'; $container_extra_class = 'scontiamolo-mode'; } elseif (!empty($atts['img'])) { $img = $atts['img']; } else { $img = $data['results'][0]['artworkUrl100'] ?? "https://www.ispazio.net/wp-content/uploads/2022/10/appstore_icon.png"; } // Per template mini usa icon140 (70x70 retina) invece di icon250 if ( $template_class === 'mini' ) { $img = str_replace( 'icon250_', 'icon140_', $img ); } // Genera il link dell'app su App Store $link = !empty($atts['link']) ? $atts['link'] : "https://apps.apple.com/it/app/id" . $atts['id'] . "?platform=iphone"; $link_icon = !empty($atts['link_icon']) ? $atts['link_icon'] : $link; // HTML immagine con o senza effetto rotazione (in base a template) $img_html = ''; if (!empty($img)) { if ($template_class === 'striscia') { $img_html = '

'; } elseif ($template_class === 'blackfriday') { $img_html = '

'; } elseif ($template_class === 'cybermonday') { $img_html = '

'; } elseif ($template_class === 'offertediprimavera') { $img_html = '

'; } else { $img_html = ' '; } } // Costruisci l'HTML finale // Determina il contenuto del titolo in base al template $title_content = ''; if ($template_class === 'blackfriday') { $title_content = ' '; } elseif ($template_class === 'cybermonday') { $title_content = ' '; } elseif ($template_class === 'offertediprimavera') { $title_content = ' '; } else { $title_content = esc_html($nome); } // offertediprimavera usa lo stesso layout CSS di blackfriday $css_class = $template_class; if ($template_class === 'offertediprimavera') { $css_class = 'blackfriday offertediprimavera'; } $output = ' '; return $output; }