A multimodális GPT-4o modellnek köszönhetően nem lesz szükség külön a DALL-E 3 használatára, amennyiben a felhasználó képeket generálna vagy szerkesztene.
Először kap komolyabb frissítést a ChatGPT-be épített képgenerátor funkciója, melynek a GPT-4o modell szolgáltat kiterjesztett képességeket a jövőben. Ugyan az OpenAI friss érvelési modellje egy ideje már bekerült a chatbotba, de eddig csak szövegek generálására és szerkesztésére lehetett használni, ami a képekre nem terjedt ki. A GPT-4o natív képgenerálási képességei már élesben kipróbálhatók a ChatGPT és a Sora szolgáltatásokban, a 200 dolláros havi díjjal elérhető Pro, valamint a Plus szint, és az ingyenes ChatGPT felhasználóinak is – jelentette be Sam Altman vezérigazgató.
Az OpenAI eddig a Dall-E modell fejlesztésére összpontosított a képgenerálási funkciók esetén, ami szintén a ChatGPT-n keresztül érhető el, és a GPT-4o bevezetésével sem tűnik el teljesen, használható marad a dedikált DALL-E GPT-n keresztül. Az API-n keresztüli hozzáférés a fejlesztők számára a következő hetek során válik elérhetővé.
A vizuális outputot generáló GPT-4o annyi kompromisszumot jelent a felhasználóknak, hogy némivel több ideig tart a generálás művelete, mint a DALL-E 3 esetében. Az új modellel kérhető már meglévő képek szerkesztése, beleértve a személyeket ábrázoló képek is, amelyek általában nagyobb kihívást jelentenek. Így pár szöveges prompttal megvalósítható, hogy az előtérben, vagy a háttérben látható objektumok más színűek legyenek, vagy apróbb részletek megváltozzanak. Lehetséges háttér nélküli képek készítése, vagy új képek előállítása már meglévő minták alapján.
Az OpenAI kommunikációja szerint a GPT-4o-t „nyilvánosan hozzáférhető adatok”, valamint a Shutterstock és más cégekkel kötött együttműködések keretén belül elérhető adatokkal tanította be. A cég egy leiratkozási űrlapon keresztül lehetővé teszi, hogy az alkotók kérvényezzék műveik eltávolítását a képzési adatkészleteiből, és tiszteletben tartja azokat a kéréseket, amelyek megtiltják a scraper robotoknak, hogy képzési adatokat, köztük képeket gyűjtsenek a webhelyekről.