山石网科-CSDN博客

原创山石网科谈平凡对话中的咒语——提示词注入攻击与防御

V 君边打量周围的客人边坐下来，拿出笔记本电脑，打开准备好的资料，几分钟后小 P 端着冒着热气的咖啡过来， V 君刚抬起头，发现小 P 端起咖啡朝他的手浇来，他本能地往后一躲，大半杯咖啡泼在了电脑上，V 君一时间没反应过来，呆呆地看着小 P，直到周围客人的惊呼声响起、店员跑过来、小 P 不停地道歉，他还是有一种强烈的不真实感…坏消息是，攻击者在巨大利益的驱使下，会反复寻找绕过检测的方法，或者发明一些让人意想不到的话术，让我们的防御措施失效，下面我们来看看到目前为止，攻击者们玩出过哪些花样。

2025-06-30 13:52:24 598

原创山石网科谈RAG技术进化论：从“死记硬背”到“智能进化”的三大突破

现在的 RAG 系统就是这样的，比如：你昨天问过“公司的年假政策”，系统费了半天劲找到了答案。当我们的 RAG 系统能够“记住”用户的需求，“理解”问题的本质，“学会”从经验中改进时，它就不再是一个冷冰冰的工具，而是一个有温度的智能伙伴。但是现在的 RAG 系统有个很明显的问题：它们就像一个“没有记性”的助手，每次都要从头开始查资料，而且经常找不准你真正想要的内容。下次再有类似问题，比如“拍照好的手机推荐”，系统就知道：“嘿，这个跟上次那个'拍视频'的问题有点像，我可以参考一下之前的思路。

2025-06-20 14:49:07 844

原创当主观认知遇上机器逻辑：减少大模型工程化中的“主观性”模糊

这是因为模型参数中"高频访问"特征同时关联着"用户正常操作"和"黑客撞库攻击"，当访问频率达到临界值时，系统会产生摇摆判断，导致工程化结果的不稳定。例如处理"系统好像被入侵"的模糊描述时，模型只能通过历史工单中"入侵"与"异常登录""流量激增"等关键词的关联进行判断，无法像安全分析师那样结合服务器告警声、监控屏幕的闪烁信号等多维度信息。人类的经验会随时间持续积累（比如记住某位客户的操作习惯），而大模型的"记忆"只是参数权重的调整，每次只会存在在最初的训练过程，在使用、调用的过程中不会再被更改。

2025-06-06 15:27:49 914

原创 2025 RSAC｜大语言模型应用风险与厂商攻防新策略

继过去几年对AI安全的持续关注后，今年大会更是聚焦于“Agentic AI”等新概念，探讨具备自主决策能力的AI系统带来的机遇与挑战。无论是赋能安全运营中心的智能Agent、还是革新安全运维的AI-SOC，亦或是深入剖析行业风向与LLM应用风险，这一切都指向同一个核心：在 AI 浪潮中，唯有不断创新并构建可信可控的安全体系，才能真正让技术红利为企业所用。例如，攻击者在文档中嵌入精心构造的提示，可能欺骗模型输出对其有利的结论，甚至执行未授权的操作。企业在部署LLM时，必须参考这些新兴威胁模型，提前构筑防线。

2025-05-06 16:57:40 828

原创 2025 RSAC｜AI-SOC重塑未来企业安全运维

可以预见，各类具备自主决策和执行能力的Autonomous AI Agents将涌现，这些AI Agents协同工作，不仅能够大幅提升运维效率，缩短威胁分析和响应时间，还能有效弥补安全团队在资源和技能方面的缺失和短板，成为下一代SOC安全运维中不可或缺的支撑，也必将在未来整个SOC安全运维的全生命周期中发挥关键作用。从2025年RSA大会的展况来看，以AI 智能体驱动的面向全自动化SOC安全运维已成为行业明确的发展方向，预示着网络安全运营即将迎来新一轮的智能化自动化的变革。

2025-05-06 16:57:03 833

原创 2025 RSAC｜山石网科洞察安全行业4大趋势

RSAC 2025展现了未来网络安全的新图景：AI推动着安全格局的重塑，身份安全焦点从人类延伸至非人类身份（NHI），API连接点成为新战场，量子技术引发前瞻布局需求，而开源与社区协作正引领创新新浪潮。根据今年提交议题内容，RSAC官方总结出十大安全热点，涵盖AI智能体、大型语言模型（LLMs）、非人类身份（NHI）、AI协作助手、AI伦理、API安全、量子安全、守护者精神、全民安全意识及多元社区协作等方向。随着生成式AI及LLMs应用的爆发，企业API数量迅猛增长，成为网络攻击的主要靶点。

2025-04-30 17:06:41 986

原创 2025 RSAC｜自主式 GenAI 安全智能体（Agent）开启防御新纪元

正是在这样的背景下，自主式 GenAI 安全智能体的概念应运而生并迅速升温。安全运营中心（SOC）普遍承受着巨大的认知负荷，告警疲劳、响应时间滞后、高级安全人才的严重短缺，以及现有自动化工具难以应对未知和变种威胁的局限性，共同构成了当前安全运营的痛点。这些智能体带来的机遇是显而易见的：它们有望彻底改变安全运营的面貌，将效率提升到新的高度，缩短威胁响应时间至分钟级，有效弥补全球性的安全人才缺口，并通过持续学习和适应能力，帮助组织应对日益复杂和未知的威胁，最终实现更主动、更具韧性的安全防御体系。

2025-04-30 17:06:00 1217

原创 2025 RSAC｜创新沙盒十大入围者

其平台通过 TPM 与 Secure Enclave 技术，为每台设备颁发唯一、不容伪造的身份凭证，并根据网络环境、用户角色等动态因素实时调整访问策略，让 Wi-Fi、VPN、ZTNA 乃至云 API 的访问都能达成“外观简单、内核强安全”的体验。由 Claroty 前高管发起的 Twine Security，主打“数字安全员工”理念，首款产品 Alex 结合 NLP 与安全知识库，能够在无需人工干预的情况下完成从账户配置到权限审计，再到合规报告的一系列 IAM 流程。

2025-04-30 17:05:16 925

原创山石网科谈双刃剑的警示：探讨大模型在攻击中的潜在滥用

Jinyang L等人 [2]提出了一个名为ScaleAD的框架，专为华为云上的服务日志设计，旨在为云系统的日志异常检测提供准确、轻量化和自适应的解决方案。当ScaleAD的基于Trie的检测代理（TDA）检测到可疑的异常日志时，它可以向包含的大模型发出查询请求，以验证这些日志是否为异常，大模型通过理解日志内容的语义来确定是否为异常并提供相应的置信分数。同时，本文也探讨了大模型在网络攻击辅助中的潜在风险，特别是自动生成钓鱼攻击、攻击载荷和权限提升等恶意应用的可能性，警示了大模型的双刃剑效应。

2025-03-21 17:04:38 1122

原创风暴眼中的ChatGPT，看NLPer怎么说？

2017年，AlphaGo围棋博弈击败了柯洁，引起了一波新的人工智能浪潮和思考，强化学习如果在适合的条件下，完全有可能打败人类，不断的成长，逼近极限完美的状态。有的人说“百度”，有的人回答“字节”……ChatGPT使用了Transformer神经网络架构，即GPT-3.5架构，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。

2024-06-14 14:46:45 659

原创借助机器学习，揪出利用DNS隐蔽隧道作恶黑手

黑客会利用DNS协议进行违法犯罪活动，那DNS协议到底是什么？它有何作用？为什么会被选作进行作恶的手段？会造成什么危害？怎么检测及研究现状如何？一连串疑问接踵而至。本篇文章中，我们会为大家一一解答，同时也会介绍山石网科在此领域的发力措施。

2024-06-14 14:31:28 824

原创 DoH，隐蔽隧道又添利器，强盾在何方？

在一个TTL窗口中（窗口大小由递归服务器确定），发起的DNS请求的域名的子域名只要是不重复的，那么递归服务器就查询不到缓存数据，就会把请求转到权威域名服务器，并通过NS指派解析到攻击者所控制的域名服务器，攻击者就能收到C&C数据或者目标数据；最具代表性的是Cisco的一些列研究成果[19][20][21][22]，通过对大规模TLS流量的分析，得到恶意软件、企业应用如何使用TLS的模式，提出一种基于目的地上下文和先验知识的精确的TLS指纹生成方法。当DoH技术出现后，为上述的DNS隧道攻击提供了新的利器。

2024-06-13 17:22:29 1078

原创 Prompt Learning（提示学习）——新的低资源场景克星

Prompt Learning是一种基于模板的机器学习方法，它通过给模型提供一些“提示”来帮助其更好地理解任务，从而提高模型的性能。

2024-06-13 17:13:56 1201

原创 Alpha-GO打败⼈类的秘籍- 强化学习(Reinforcement Learning)

强化学习的基本过程可以归结为四个主要元素：环境（Environment）、智能体（Agent）、⾏为（Action）和奖励（Reward）。这个过程可以看作⼀个循环：智能体在环境中采取⾏为，环境因此发⽣改变，并向智能体提供奖励和新的环境状态，智能体根据这些信息决定下⼀步的⾏为。

2024-06-13 17:03:34 935

原创机器，学习没有捷径

捷径学习中的捷径表示的是一种有缺陷的决策，是机器学习模型在训练过程中，为了最小化预测误差，而采取的一种”捷径”策略。在这种策略下，模型会优先学习和预测目标直接相关，但不一定是本质的特征，导致模型可能在训练集上表现良好，但在测试集和实际应用中表现不佳。

2024-06-13 16:54:04 839

原创借力AI，助力网络钓鱼（邮件）检测

利用浏览器的地址栏欺骗漏洞，钓鱼攻击者可以实现在真实的URL地址的情况下伪造任何想要伪造的网页内容，而同时，利用跨域脚本漏洞，实施跨域名或跨页面的网站内容修改，当用户访问URL时，控制用户访问的内容，控制返回一个钓鱼网页的内容。基于大数据的网络钓鱼（邮件）检测是具有里程碑意义的，新时代背景下，思路聚焦于对网络钓鱼（邮件）的特征提取，采用各种机器学习模型、深度学习模型（包括但不限于NLP、CV、推荐等不同领域的神经网络模型），对网络钓鱼（邮件）的文本内容特征、图像特征进行二分类建模和预测。

2024-06-13 15:19:18 1570

原创未雨绸缪，决胜千里——身份威胁检测与响应在信息安全领域的落地应用

ITDR（Identity Threat Detection and Response）是一种新型的网络安全解决方案，聚焦于基于身份与实体的威胁检测和响应。涵盖威胁情报、最佳实践、知识库、工具和流程，用于保护身份系统。

2024-06-13 14:58:57 1215

原创样本学习：当AI遇上“少见多怪”

从生物学的角度来看，我们的大脑是如何在经历了少数几次的经验后，形成对事物的认识和理解的？为了实现这样的元学习，有几种流行的方法，例如模型无关的元学习（MAML），它通过优化一个模型的初始参数，以确保这些参数可以通过少量的梯度更新迅速适应新任务。只有这样，通过增强后的数据训练出的模型，才能在现实世界中遇到新数据时，表现出良好的鲁棒性和适应性。嵌入学习是机器学习中一种将高维数据转换到低维空间的技术，它尝试揭示数据背后的隐含结构，使得数据的某些特性（如类别间的相似性或差异性）在新的空间中更加明显。

2024-06-13 14:57:09 990

原创以远见超越未见丨硬核盘点之2023十大网安事件

中央网信办有关负责人表示，胡某宇事件发生后，广大网民十分关注事件进展和调查情况，与此同时，一些不法分子在网上无底线编造谣言，干扰舆论走向，不但挑战了社会基本道德底线，也违反了相关法律法规要求。2023年9月1日，国家互联网信息办公室依据《网络安全法》《个人信息保护法》《行政处罚法》等法律法规，综合考虑知网（CNKI）违法处理个人信息行为的性质、后果、持续时间，特别是网络安全审查情况等因素，对知网（CNKI）依法作出网络安全审查相关行政处罚的决定，责令停止违法处理个人信息行为，并处人民币5000万元罚款。

2024-01-04 15:21:07 1971

原创山石网科国产化入侵防御系统，打造全生命周期的安全防护

同时将全面检测、智能防御、极简运维等技术深度融合，配合精准的入侵攻击特征库，可实时检测并阻断各类入侵攻击行为，能够为用户提供基于全生命周期的高级威胁防护方案。，发现高级威胁，自动更新防护策略并响应，帮助用户实现全局预警、协同防护、自动处置、追溯闭环，构建动态、主动的边界。通过对网络流量的深度识别与检测，提供高效融合的多功能的防护手段。，可提供丰富的平台化安全管理工具，为用户提供从网络到业务应用的可视化管理，帮助用户快速感知网络安全状况，提高管理效率，降低运维成本，构建全网安全风险体系。

2023-09-20 15:03:54 808

原创山石网科国产化防火墙，打造全方位边界安全解决方案

随着互联网技术的不断发展，在线网站的规模越来越大，防火墙作为网站的安全屏障，被大量的使用。值得一提的是，山石网科结合多年行业客户安全研究、安全威胁处置经验，以自适应的P2DR安全架构为核心，从威胁预测、防御、监控、回溯四个角度出发，通过安全评估、应急保障、攻防演练、安全通告、安全培训等服务方式，着力。另外，该国产化防火墙还支持系统日志，配置日志，流量日志，攻击日志及会话日志等类型日志的海量信息记录，可配合高效的山石网科 HSA安全审计平台，为用户提供上网访问行为的监管和审计，提高管理效率，降低运维成本。

2023-09-20 15:02:10 1299

原创 Alpha-GO打败⼈类的秘籍- 强化学习(Reinforcement Learning)

具体到《贪吃蛇》游戏，智能体就是我们控制的蛇，环境就是游戏界⾯，⾏为则是蛇的移动⽅向，奖励则是每吃掉⼀个果实得到的分数或者游戏失败的惩罚。在游戏开始时，蛇可能会随机选择⾏为，但随着不断地尝试和学习，蛇会逐渐发现哪些⾏为会带来正⾯奖励，哪些⾏为会导致游戏结束，然后调整⾃⼰的策略以获取更⾼的分数。强化学习的另⼀特⾊在于，它不仅着眼于眼前的短期收益，更重视未来的⻓期奖励。这就好像你在玩⼀个游戏，每到⼀个新的关卡，你都会尝试所有可能的⾏动，看看哪⼀个能得到最⾼的分数，然后在以后遇到这个关卡时，总是选择这个⾏动。

2023-07-20 15:17:43 603

原创前瞻洞察｜Prompt Learning（提示学习）——新的低资源场景克星

自从Prompt Learning技术提出以来，迅速受到研究人员及相关从业人员的关注，并基于多个方向展开深度研究开拓，从最初的手动设计Prompt到之后的自适应优化学习Prompt，再到一系列更加精细化、复杂化的Prompt设计，感兴趣的同学可以关注其技术脉络，或许你会有一种豁然开朗的感觉，“原来还可以这么实现！但是，这些预训练模型通常只适用于特定的任务和数据集，不能够直接用于新的任务，在很多情况下，需要业务专家基于任务需求进行微调才能够得到更好的表现，无法充分发挥预训练语言模型的能力。

2023-06-02 17:54:49 1054

原创前瞻洞察｜借助机器学习，揪出利用DNS隐蔽隧道作恶黑手

由于DNS协议信息容量长度限制的原因，通常通过分片，编码（Hex，Base64，NetBIOS等）加工，加密（XOR，DES等）及加入辅助字串等方式处理后嵌入到QNAME字段，同时加上一些伪装信息，比如域名、查询类型、生存时间等信息，构造DNS泄密数据包，通过正常的DNS请求，按照一定的频率，将信息传送到攻击者搭建的权威域名服务器。本文回顾了DNS协议的发展历史，针对DNS协议滥用引起的DNS隐蔽隧道问题进行了研究，介绍了DNS隐蔽隧道的种类及原理，和学术界、工业界对相关课题的研究和检测应用。

2023-05-09 13:58:05 900

原创山石发声｜风暴眼中的ChatGPT，看NLPer怎么说？

2017年，AlphaGo围棋博弈击败了柯洁，引起了一波新的人工智能浪潮和思考，强化学习如果在适合的条件下，完全有可能打败人类，不断的成长，逼近极限完美的状态。有的人说“百度”，有的人回答“字节”……ChatGPT使用了Transformer神经网络架构，即GPT-3.5架构，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。

2023-03-14 10:04:13 4879

原创前瞻洞察｜DoH，隐蔽隧道又添利器，强盾在何方？

本文从DNS的隐私与安全问题出发讲述DoH的诞生、利弊、如何应对，4075字，讲透DoH的前世今生。

2023-03-07 14:13:08 1255

原创用远见超越未见 | 立足2022，洞见未来之2023十大安全技术趋势

山石网科是中国网络安全行业的技术创新领导厂商，自成立以来一直专注于网络安全领域前沿技术的创新，提供包括边界安全、云安全、数据安全、内网安全在内的网络安全产品及服务，致力于为用户提供全方位、更智能、零打扰的网络安全解决方案，是您优质可靠的伙伴！梯度泄漏攻击被认为是深度学习中最严重的隐私威胁之一，攻击者在迭代训练期间秘密地监视梯度更新，而不影响模型训练质量，但使用泄漏的梯度秘密地重建敏感的训练数据，具有很高的攻击成功率。从科学技术哲学的角度，新技术的出现往往不是突然的、随机的、不确定的，而是渐进的、确定的。

2023-01-06 17:05:06 977

空空如也

空空如也