Оновлення: Apple згадала про другу перевірку сервера, і професійна компанія з комп’ютерного зору окреслила можливість того, що це може бути описано в розділі «Як може працювати друга перевірка» нижче.
Після того, як розробники змінили його частини, ранню версію системи Apple CSAM було ефективно обманом, щоб позначити невинне зображення.Однак Apple заявила, що має додаткові гарантії, щоб цього не сталося в реальному житті.
Остання подія сталася після того, як алгоритм NeuralHash був опублікований на веб-сайті розробників з відкритим кодом GitHub, кожен може експериментувати з ним…
Усі системи CSAM працюють, імпортуючи базу даних відомих матеріалів про сексуальне насильство над дітьми з таких організацій, як Національний центр для зниклих безвісти та дітей, які піддаються експлуатації (NCMEC).База даних надається у вигляді хешів або цифрових відбитків із зображень.
Хоча більшість технологічних гігантів сканують фотографії, завантажені в хмару, Apple використовує алгоритм NeuralHash на iPhone клієнта, щоб створити хеш-значення збереженої фотографії, а потім порівнює його із завантаженою копією хеш-значення CSAM.
Вчора розробник стверджував, що змінив алгоритм Apple і опублікував код на GitHub. Ця заява була фактично підтверджена Apple.
Протягом кількох годин після випуску GitHib дослідники успішно використали алгоритм для створення навмисного хибного спрацьовування — двох абсолютно різних зображень, які генерували однакове хеш-значення.Це називається зіткненням.
Для таких систем завжди існує ризик зіткнень, оскільки хеш, звичайно, є дуже спрощеним представленням зображення, але дивно, що хтось може згенерувати зображення так швидко.
Навмисне зіткнення тут є лише доказом концепції.Розробники не мають доступу до хеш-бази CSAM, яка вимагала б створення хибних спрацьовувань у системі реального часу, але це доводить, що атаки зіткнень у принципі відносно прості.
Apple фактично підтвердила, що алгоритм є основою її власної системи, але повідомила материнській платі, що це не остаточна версія.Компанія також заявила, що ніколи не збиралася зберігати конфіденційність.
Apple повідомила Motherboard в електронному листі, що версія, проаналізована користувачем на GitHub, є загальною версією, а не остаточною версією, яка використовується для виявлення CSAM в iCloud Photo.Apple заявила, що також розкрила алгоритм.
«Алгоритм NeuralHash [...] є частиною підписаного коду операційної системи [і] дослідники безпеки можуть перевірити, чи його поведінка відповідає опису», — йдеться в документі Apple.
Далі компанія повідомила, що є ще два кроки: запуск вторинної (секретної) системи відповідності на власному сервері та перевірка вручну.
Apple також заявила, що після того, як користувачі перевищать поріг у 30 збігів, другий непублічний алгоритм, який працює на серверах Apple, перевірить результати.
«Цей незалежний хеш був вибраний, щоб відкинути можливість того, що помилковий NeuralHash збігається із зашифрованою базою даних CSAM на пристрої через суперечливе втручання зображень, які не є CSAM, і перевищує поріг відповідності».
Бред Дваєр з Roboflow знайшов спосіб легко розрізнити два зображення, опубліковані як доказ концепції атаки зіткнення.
Мені цікаво, як ці зображення виглядають у CLIP схожого, але іншого екстрактора нейронних функцій OpenAI.CLIP працює подібно до NeuralHash;він бере зображення та використовує нейронну мережу для створення набору векторів ознак, які відображаються на вміст зображення.
Але мережа OpenAI інша.Це загальна модель, яка може відображати зображення та текст.Це означає, що ми можемо використовувати його для отримання зрозумілої людині інформації про зображення.
Я пропустив два вищезазначені зображення зіткнення через CLIP, щоб перевірити, чи його також обдурили.Коротка відповідь: ні.Це означає, що Apple повинна мати можливість застосувати другу мережу екстрактора функцій (наприклад, CLIP) до виявлених зображень CSAM, щоб визначити, справжні вони чи підроблені.Набагато складніше генерувати зображення, які обманюють дві мережі одночасно.
Нарешті, як згадувалося раніше, зображення перевіряються вручну, щоб підтвердити, що вони є образами сексуального насильства.
Дослідник безпеки сказав, що єдиний реальний ризик полягає в тому, що будь-хто, хто хоче дратувати Apple, може надати помилкові спрацьовування рецензентам.
«Apple насправді розробила цю систему, тому хеш-функцію не потрібно тримати в таємниці, тому що єдине, що ви можете зробити з «не-CSAM як CSAM», це дратувати команду реагування Apple кількома непотрібними зображеннями, доки вони не запровадять фільтри для усунення «Це сміття в трубопроводі є помилковим спрацьовуванням», — сказав Ніколас Вівер, старший науковий співробітник Інституту міжнародної комп’ютерної науки Каліфорнійського університету в Берклі, в онлайн-чаті Motherboard.
Конфіденційність викликає все більше занепокоєння в сучасному світі.Дотримуйтеся всіх звітів, пов’язаних із конфіденційністю, безпекою тощо в наших інструкціях.
Бен Лавджой — британський технічний письменник і редактор ЄС для 9to5Mac.Він відомий своїми колонками та щоденниковими статтями, в яких досліджував свій досвід роботи з продуктами Apple з часом, щоб отримати більш вичерпні огляди.Він також пише романи, є два технічні трилери, кілька короткометражних науково-фантастичних фільмів і rom-com!
Час публікації: 20 серпня 2021 р