Back to articles
DevPickView feed
Ars Technicaby Dan Goodin
Original published:

LLMs respond differently to harmful prompts when AI watermarking is used

AI summary
Editorial policy

GoogleのSynthIDなどのAIウォーターマーク技術を使用すると、本来拒否すべき有害な指示に対してLLMが従ってしまう現象が確認された。

Key points

  • •生成AIの出力に埋め込まれるウォーターマーク信号が、モデルの推論プロセスや安全フィルターに意図しない影響を与える可能性がある
  • •研究では、SynthIDのような技術が存在する場合、モデルが有害コンテンツの生成を許可してしまうケースが報告されている
  • •AIの安全性評価において、ウォーターマーク技術と安全対策（Safety Alignment）の相互作用を考慮する必要性が浮き彫りになった
#Security & Misuse#Research & Papers#Regulation, Ethics & Society
Read the original(opens in a new tab)

Related articles(Security & Misuse)

See more
The Verge

The first vibe-coded gun is here

Cody Wilson announced the WASP, claiming it is the first AI-made gun, continuing his history of untraceable firearm innovation.

CodeZine

AIスタートアップを狙う不正決済が最大4.3倍に、Stripeが明かすサブスク型企業の被害実態

Stripe revealed the reality of fraudulent payments targeting AI startups and subscription-based companies, noting an increase of up to 4.3 times.

Cloud Watch

NRIセキュア、AI駆動開発の安全とスピードを両立するセキュリティ支援サービスを発表

NRI Secure announced the launch of a security support service aimed at organizations using generative AI and AI agents for software development, focusing on balancing safety and speed.

ITmedia AI+

不正アクセス多発、Gartnerが日本企業に「7つのアクション」を緊急提言

Gartner introduced seven recommended actions for Japanese companies in response to the risk that AI and agent misuse could shorten attack times from days to minutes.

ITmedia AI+

AIエージェントに「何を指示するか」より「何をさせないか」――NVIDIAが示す設計の原則

NVIDIA emphasized the importance of access control and permission management in execution environments when designing AI agents, not just relying on instructions.