Apple Intelligence teraz jeszcze potężniejsze dzięki nowym możliwościom zintegrowanym w całym ekosystemie urządzeń Apple

CUPERTINO, KALIFORNIA Firma Apple ogłosiła dziś wprowadzenie nowych funkcji Apple Intelligence polepszających wrażenia użytkownika podczas korzystania z iPhone’a, iPada, Maca, Apple Watch i Apple Vision Pro. Apple Intelligence stwarza użytkownikom nowe możliwości w zakresie komunikacji m.in. z wykorzystaniem nowej funkcji Live Translation. Użytkownicy mogą także zdziałać więcej na wyświetlaczu za sprawą aktualizacji analizy wizualnej i zyskują nowe możliwości wyrażania siebie dzięki udoskonaleniom Image Playground i Genmoji1. Ponadto funkcja Skróty może teraz korzystać bezpośrednio z modeli Apple Intelligence. Natomiast deweloperzy zyskują dostęp do działającego na urządzeniu dużego modelu językowego, na którym bazuje system Apple Intelligence, co daje im możliwość bezpośredniego używania algorytmów, które są wydajne, szybkie, zaprojektowane z myślą o ochronie prywatności i dostępne dla użytkowników nawet w trybie offline. Wspomniane funkcje Apple Intelligence można testować od dziś, a użytkownikom obsługujących je urządzeń zostaną udostępnione w obsługiwanych językach jesienią tego roku.

„W ubiegłym roku podjęliśmy wyzwanie zapewnienia użytkownikom sztucznej inteligencji, która jest pomocna, łatwa w obsłudze i dostarcza istotnych informacji dokładnie tak, jak tego potrzebują, jednocześnie chroniąc ich prywatność. Teraz modele, na których opiera się Apple Intelligence, są bardziej funkcjonalne i wydajne. Pozwala nam to wprowadzać nowe funkcje w coraz większej liczbie obszarów każdego z naszych systemów operacyjnych”, stwierdził Craig Federighi, starszy wiceprezes Apple w pionie Software Engineering. „Dajemy też deweloperom dostęp do działającego na urządzeniu modelu bazowego, na którym opiera się system Apple Intelligence, co daje im możliwość bezpośredniego używania algorytmów, które są wydajne, szybkie, zaprojektowane z myślą o ochronie prywatności i dostępne dla użytkowników nawet w trybie offline. Jesteśmy przekonani, że pozwoli im to wprowadzić wiele nowych inteligentnych rozwiązań w aplikacjach, na których użytkownicy polegają każdego dnia. Z niecierpliwością wyczekujemy na rezultaty prac deweloperów”.

Do końca tego roku funkcje Apple Intelligence będą dostępne w większej liczbie języków. Nowe języki to: chiński (tradycyjny), duński, niderlandzki, norweski, portugalski (Portugalia), szwedzki, turecki i wietnamski.

Funkcja Live Translation przełamuje bariery językowe

Funkcja Live Translation przychodzi użytkownikom z odsieczą podczas komunikacji w obcym języku przy wysyłaniu wiadomości lub rozmowie, gdy bariera językowa mogłaby przysporzyć im trudności komunikacyjnych. Opcja ta jest zintegrowana z aplikacjami Wiadomości, FaceTime i Telefon. Obsługują ją opracowane przez Apple modele, które działają wyłącznie na urządzeniu, dzięki czemu prywatne rozmowy użytkowników pozostają prywatne.

W aplikacji Wiadomości funkcja Live Translation może automatycznie tłumaczyć tekst. Jeśli użytkownik umawia się z nowo poznaną osobą podczas zagranicznej podróży, jego wiadomość może być tłumaczona na etapie jej wpisywania i wysłana do odbiorcy w preferowanym przez niego języku. A gdy użytkownik otrzyma odpowiedź, każdą wiadomość można natychmiast przetłumaczyć. W trakcie rozmów w aplikacji FaceTime użytkownik może na bieżąco śledzić przetłumaczone już napisy na żywo, jednocześnie słuchając głosu osoby mówiącej. Z kolei podczas połączenia telefonicznego cała rozmowa jest tłumaczona na głos.

Nowe możliwości kreatywne dzięki aktualizacjom Genmoji i Image Playground

Genmoji i Image Playground stwarzają użytkownikom jeszcze więcej możliwości w zakresie wyrażania siebie. Poza tworzeniem Genmoji na podstawie tekstowego opisu użytkownicy mogą teraz mieszać emoji i łączyć je z opisami, by uzyskać nowe efekty. Podczas tworzenia obrazów inspirowanych wizerunkami rodziny i przyjaciół przy pomocy Genmoji i Image Playground użytkownicy mają możliwość modyfikowania mimiki lub dostosowania indywidualnych atrybutów, jak fryzura, aby były one możliwie jak najbardziej aktualne.

Dzięki obsłudze ChatGPT przez aplikację Image Playground użytkownicy zyskują dostęp do zupełnie nowych stylów, takich jak obraz olejny czy grafika wektorowa. A jeśli użytkownik ma już konkretny pomysł, może stuknąć opcję Any Style i opisać to, co chce uzyskać. Aplikacja Image Playground przesyła opis lub zdjęcie użytkownika do systemu ChatGPT i tworzy niepowtarzalny obraz. Użytkownicy zawsze mają pełną kontrolę nad procesem twórczym i bez ich zgody nic nie zostaje udostępnione systemowi ChatGPT. Analiza wizualna pomaga użytkownikom w wyszukiwaniu i podejmowaniu działań

Za sprawą wykorzystania Apple Intelligence działanie funkcji analizy wizualnej obejmuje również ekran iPhone’a, dzięki czemu użytkownik może wyszukiwać elementy i podejmować działania dotyczące wszelkich przeglądanych treści w różnych aplikacjach.

Obecnie analiza wizualna pomaga już użytkownikom poznawać obiekty i miejsca w ich otoczeniu przy pomocy aparatu iPhone’a, a teraz pozwoli im zdziałać jeszcze więcej i szybciej na ekranach ich iPhone’ów. Użytkownicy mogą zapytać ChatGPT o to, co widzą na ekranie, aby uzyskać więcej informacji, a także przeszukać Google, Etsy lub inne obsługiwane aplikacje, by znaleźć podobne obrazy i produkty. Jeśli jakiś obiekt, na przykład lampa, jest dla użytkownika szczególnie interesujący, może on na to wskazać, by wyszukać online ten konkretny przedmiot lub przedmioty do niego podobne.

Inteligencja wizualna rozpoznaje również, kiedy użytkownik przegląda wydarzenie i sugeruje dodanie go do kalendarza.4 Następnie Apple Intelligence wyodrębnia datę, godzinę i lokalizację, aby wstępnie wypełnić te kluczowe szczegóły zdarzeniem.

Użytkownicy mają dostęp do analiz wizualnych obejmujących wszystko, co widzą na ekranie. Wystarczy, że nacisną te same przyciski, których używają do zrobienia zrzutu ekranu. Użytkownicy zdecydują, czy zapisać lub udostępnić taki zrzut ekranu, czy uzyskać więcej informacji poprzez analizę wizualną.

Apple Intelligence wspiera aktywność fizyczną na Apple Watch

Workout Buddy to wyjątkowa, bazująca na Apple Intelligence funkcja dostępna na Apple Watch. Wspiera aktywność fizyczną, gdyż na podstawie danych dotyczących treningów oraz historii aktywności użytkownika generuje spersonalizowane analizy, które mają motywować go podczas ćwiczeń.

Workout Buddy analizuje dane z bieżącego treningu użytkownika wraz z historią jego aktywności, aby w czasie rzeczywistym dopingować go i przekazywać mu informacje na podstawie m.in. tętna, tempa, dystansu, stanu pierścieni aktywności czy osobistych przełomów w treningu. Następnie nowe modele konwersji pisma na mowę przekładają analizy na dynamiczny głos generatywny utworzony na podstawie danych głosowych trenerów Fitness+, dzięki czemu użytkownik słyszy energiczne i dopasowane do treningu wypowiedzi. Dzięki Apple Intelligence Workout Buddy analizuje te dane w sposób bezpieczny i z zachowaniem prywatności.

Funkcja Workout Buddy będzie dostępna na urządzeniach Apple Watch ze słuchawkami Bluetooth i będzie wymagać, aby w pobliżu znajdował się iPhone obsługujący Apple Intelligence. Rozwiązanie będzie początkowo dostępne w języku angielskim m.in. w następujących rodzajach popularnych treningów: Bieg (plener) i Bieg na sali, Marsz (plener) i Marsz na sali, Rower (plener), Trening HIIT, Funkcjonalny trening siłowy i Tradycyjny trening siłowy.

Działający na urządzeniu model Apple Intelligence teraz dostępny dla deweloperów

Apple udostępni każdej aplikacji możliwość bezpośredniego korzystania z działającego na urządzeniu modelu bazowego, na którym opiera się system Apple Intelligence.

Dzięki dostępowi do architektury Foundation Models deweloperzy aplikacji będą mogli z pomocą Apple Intelligence dostarczać użytkownikom rozwiązania, które są inteligentne, dostępne dla nich offline i które chronią ich prywatność, z użyciem inferencji AI bez dodatkowych opłat. Mowa tu na przykład o aplikacji edukacyjnej, która potrafi wykorzystać model operujący na urządzeniu, aby wygenerować spersonalizowany test na podstawie notatek użytkownika (bez kosztów interfejsów API operujących w chmurze). Albo o aplikacji outdoorowej z wyszukiwarką w języku naturalnym, która działa, nawet gdy użytkownik jest offlline.

Wspomniana architektura obsługuje natywnie język Swift, dlatego deweloperom wystarczą zaledwie trzy linijki kodu, by z łatwością uzyskać dostęp do modelu Apple Intelligence. Prowadzone generowanie zawartości, wywoływanie narzędzi i inne rozwiązania zostały wbudowane w tę architekturę, przez co wdrażanie funkcji umożliwiających generowanie treści wprost do istniejącej już aplikacji jest prostsze niż kiedykolwiek.

Skróty teraz bardziej inteligentne

Funkcja Skróty jest jeszcze bardziej pomocna i inteligentna. Użytkownicy mają do dyspozycji działania inteligentne, czyli zestaw nowych skrótów obsługiwanych przez Apple Intelligence. Z myślą o użytkownikach przygotowano specjalne działania dla takich funkcji jak podsumowanie tekstu z Narzędziami pisania lub tworzenie obrazów z Image Playground.

Teraz użytkownicy będą mogli bezpośrednio wykorzystać potencjał modeli Apple Intelligence, tych działających na urządzeniu, albo tych w prywatnej chmurze obliczeniowej, aby generować odpowiedzi zgodne z przeznaczeniem skrótu, zachowując jednocześnie poufność wykorzystywanych informacji. Na przykład, osoba studiująca może utworzyć skrót korzystający z modeli Apple Intelligence, żeby porównać zapis dźwiękowy wykładu z własnymi notatkami, a następnie dodać ważne informacje, które pominęła. Użytkownicy mogą także skorzystać z ChatGPT, aby uzyskać odpowiedzi zgodne z przeznaczeniem ich skrótu.

Dodatkowe nowe funkcje

Apple Intelligence jest jeszcze silniej zintegrowane w aplikacjach i rozwiązaniach wykorzystywanych przez użytkowników na co dzień.

• Najważniejsze działania w e-mailach, na stronach internetowych, w notatkach lub innej treści można teraz identyfikować i automatycznie kategoryzować w aplikacji Przypomnienia.
• Aplikacja Portfel potrafi teraz identyfikować i podsumowywać informacje dotyczące monitorowania zamówienia na podstawie e-maili wysyłanych przez sprzedawców lub przewoźników. Obejmuje to wszystkie zamówienia użytkownika, co daje mu w jednym miejscu wgląd m.in. w pełne informacje o zamówieniu czy powiadomienia o postępach w jego realizacji.
• Użytkownicy mogą utworzyć ankietę na dowolny temat w aplikacji Wiadomości. Z pomocą Apple Intelligence aplikacja ta może wykryć sytuację, w której utworzenie ankiety byłoby przydatne, a następnie ją zasugerować. Ponadto Tła w aplikacji Wiadomości pozwalają użytkownikom personalizować czaty przy pomocy olśniewających wzorów. Natomiast za pomocą Image Playground mogą oni tworzyć unikalne tła dopasowane do bieżącej konwersacji.

Funkcje te rozbudowują szeroki wachlarz możliwości Apple Intelligence dostępnych już dla użytkowników:

• Narzędzia pisania pomagają przeredagować, poprawić i podsumować tekst. Natomiast funkcja Describe Your Change pozwala opisać konkretną zmianę, którą użytkownik chce wprowadzić do swojego tekstu, np. przemienić zaproszenie na kolację w wiersz.
• Narzędzie Oczyść w aplikacji Zdjęcia pozwala użytkownikom usunąć rozpraszające elementy, zachowując jednocześnie klimat uchwyconego ujęcia.
• Analiza wizualna dzięki wykorzystaniu Apple Intelligence pomaga użytkownikom niezwłocznie poznawać obiekty i miejsca w ich otoczeniu.
• Genmoji umożliwia tworzenie własnych emoji według wpisanego opisu. Podobnie jak zwykłe emoji, Genmoji można wstawić w tekście wiadomości lub udostępnić za pomocą funkcji Tapback jako naklejkę bądź reakcję.
• Image Playground umożliwia użytkownikom tworzenie zabawnych obrazów w zaledwie kilka chwil, dając im do dyspozycji różne koncepcje, takie jak tematy, stroje, akcesoria czy miejsca. Użytkownicy mogą też dodawać własne opisy, a nawet tworzyć obrazy przypominające członków rodziny lub przyjaciół wzorowane na zdjęciach z ich biblioteki.Różdżka graficzna potrafi odmienić proste szkice w dopracowane obrazy uzupełniające notatki użytkownika.
• Streszczenia e-maili pozwalają użytkownikom przeglądać kluczowe informacje z wiadomości e-mail lub długiego wątku przez kliknięcie opcji Podsumuj.
• Funkcja Odpowiedź inteligentna przedstawia sugestie szybkiej odpowiedzi w aplikacjach Poczta i Wiadomości.Funkcja Siri zyskuje na naturalności i jest bardziej pomocna. Opcja napisania do Siri pozwala skorzystać z szerokiej wiedzy tego asystenta o produktach, funkcjach i ustawieniach urządzeń Apple. Siri potrafi także śledzić przebieg konwersacji i rozumie sens wypowiedzi nawet mimo drobnych przejęzyczeń, a także pamięta informacje pozyskane przy realizacji wcześniejszego zadania.
• Narzędzia pisania i Siri mają zintegrowany dostęp do systemu ChatGPT, co pozwala użytkownikom korzystać z zasobów wiedzy tego czatbota oraz jego możliwości w zakresie analizowania obrazów i dokumentów bez konieczności przełączania się między narzędziami.
• Wyszukiwanie w języku naturalnym w aplikacji Zdjęcia ułatwia odnalezienie zdjęcia lub filmu przez opisanie go.
• Wpisując opis, w aplikacji zdjęcia można także tworzyć filmy ze wspomnieniami.
• Podsumowania transkrypcji nagrań audio w aplikacji Notatki tworzone są automatycznie, aby najważniejsze informacje były widoczne na pierwszy rzut oka.
• Użytkownicy mogą generować podsumowania zapisów transkrypcji rozmów, aby wyróżnić ważne szczegóły.
• Wiadomości priorytetowe to sekcja u góry skrzynki odbiorczej wyświetlająca najpilniejsze e-maile, takie jak zaproszenia na lunch z datą tego samego dnia czy karty pokładowe.
• Powiadomienia priorytetowe pojawiają się u góry listy powiadomień użytkownika, wyróżniając ważne powiadomienia, które mogą wymagać natychmiastowej uwagi.
• Funkcja Streszczenia powiadomień daje użytkownikom opcję przejrzenia długich lub ułożonych w stosy powiadomień i podsumowuje kluczowe informacje na ekranie blokady.
• Funkcja Podglądy w aplikacjach Poczta i Wiadomości pokazuje użytkownikom krótkie streszczenie bez konieczności otwierania wiadomości.
• Tryb skupienia Nie rozpraszaj pokazuje jedynie powiadomienia wymagające natychmiastowej uwagi.

Przełom w ochronie prywatności w systemach sztucznej inteligencji

System Apple Intelligence powstał z myślą o nieustannej ochronie prywatności użytkowników, dlatego korzysta z przetwarzania na urządzeniu, co oznacza, że wiele z modeli, na których opiera się ten system, działa wyłącznie lokalnie. W przypadku zapytań wymagających dostępu do większych modeli prywatna chmura obliczeniowa rozszerza rozwiązania zapewniające bezpieczeństwo i prywatność z iPhone’a na rozwiązanie chmurowe, aby możliwe było korzystanie z bardziej złożonych algorytmów. Dlatego dane użytkowników nigdy nie są przechowywane przez firmę Apple ani jej udostępniane. Wykorzystywane są wyłącznie do obsługi zapytania użytkownika. To, czy taka prywatność jest zapewniana, kontrolują już niezależni eksperci, którzy mogą weryfikować kod rozwiązań działających na serwerach z układami scalonymi Apple. To niezwykły postęp dla ochrony prywatności w systemach sztucznej inteligencji.

Źródło: Apple