网站开发的前端后端,网站建设的发展前景,枫树seo,许昌正规网站优化公司本文是LLM系列文章#xff0c;针对《When Urban Region Profiling Meets Large Language Models》的翻译。 当城市区域轮廓遇到大型语言模型时 摘要1 引言2 前言3 方法4 实验5 结论与未来工作 摘要
基于网络数据的城市区域概况对城市规划和可持续发展至关重要。我们见证了LL…本文是LLM系列文章针对《When Urban Region Profiling Meets Large Language Models》的翻译。 当城市区域轮廓遇到大型语言模型时 摘要1 引言2 前言3 方法4 实验5 结论与未来工作 摘要
基于网络数据的城市区域概况对城市规划和可持续发展至关重要。我们见证了LLM在各个领域的上升趋势特别是在处理多模态数据研究方面如视觉语言学习其中文本模态作为图像的补充信息。由于文本模态从未被引入城市区域分析中的模态组合我们在本文中试图回答两个基本问题1文本模态能增强城市区域分析吗ii如果是以什么方式以及在哪些方面为了回答这些问题我们利用大型语言模型LLM的力量引入了第一个LLM增强框架该框架将文本模态的知识集成到城市图像分析中名为LLM增强的城市区域分析与对比语言图像预训练UrbanCLIP。具体来说它首先通过开源的图像到文本LLM为每个卫星图像生成详细的文本描述。然后在图像-文本对上训练模型无缝地统一了城市视觉表征学习的自然语言监督以及对比损失和语言建模损失。对中国四大城市三个城市指标的预测结果表明该方法具有优越的性能与最先进的方法相比 R 2 R^2 R2平均提高了6.1%。我们的代码和图像语言数据集将在书面通知后发布。
1 引言
2 前言
3 方法
4 实验
5 结论与未来工作
从社会、经济和环境指标的角度分析城市地区对城市规划和可持续发展至关重要。本文研究了文本形态是否以及如何有利于城市区域分析。为了回答这个问题我们提出了UrbanCLIP这是第一个将文本模态集成到城市图像分析中的框架。在LLM的支持下UrbanCLIP首先为城市图像生成高质量的文本描述。然后将文本-图像对输入到所提出的模型中该模型无缝地统一了城市视觉表征学习的自然语言监督。大量的实验证明了整合语篇情态的有效性。 我们希望这项工作能推动未来在以下领域对城市区域特征进行研究1研究整合城市多模态数据和促进快速增强学习的高效方法2 探索使用最新LLM自动生成和细化高质量文本3 识别更多潜在的有益下游任务鼓励其他研究人员探索不同的用例。
