博海软件
bo_hai · 共 219 篇文章
分享 scala maven 工程pom配置
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.bohai</…
2016-08-10 17:06 · spark · 评论(0)
spark基于Streaming的累加器(updateStateByKey)
使用spark streaming 需要搭建Kafka、zookeeper,搭建的方法网上有很多,再此不再多讲: 文章中的代码参考: https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/ 代码如下: import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.streaming.kafk…
2016-07-28 11:05 · spark · 评论(0)
基于spark的DataFrame实战
Spark 中的另一核心功能是DataFrame,方便处理结构化数据。实例中还是以上一篇博客中的数据为基础。 我们要求以下数据: 1、查看338用户的评分记录; 2、将结果保存成csv格式; 3、评论电影最多的用户id; 4、被用户评论最多的电影id、title; 5、评论电影年龄最小者、最大者; 6、25至30岁的用户最喜欢的电影; 7、最受用户喜爱的电影; 代码如下: import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.spark.{SparkConf, SparkContext} /** * 更多内…
2016-07-27 21:24 · spark · 评论(0)
spark基于ALS的协同过虑实例
最近在学习spark,网上有很多关于ALS的实例,大多数千篇一例,决定自己动手写一个实例,力求做到可以运行,有结果。 1、数据集准备: 到 http://grouplens.org/datasets/movielens/ 下载电影评分数据,查看一下README里面有对数据集的介绍。 对数据进行预处理: cat u1.base | awk -F "\t" '{print $1"::"$2"::"$3"::"$4}' > ratings.dat cat u.item | awk -F "|" '{print $1"\t"$2"\t"$3}' > movies.dat 结果如下: [root@ho…
2016-07-26 13:59 · spark · 评论(2)
SpringMVC interceptor 中获取 requestbody
在拦截器中获取请求体(requestbody)的内容,代码如下: import java.io.BufferedReader; import java.io.ByteArrayInputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import javax.servlet.ServletInputStream; import javax.servlet.http.HttpServletRequest; import javax.servlet.…
2015-08-10 15:35 · 评论(0)
maven delpoy 第三方jar的命令
命令行如下: mvn deploy:deploy-file -DgroupId=com.baidu -DartifactId=ueditor -Dversion=1.1.1 -Dpackaging=jar -Dfile=ueditor-1.1.1.jar -Durl=http://ip:port/content/repositories/releases -DrepositoryId=releases 命令中两处的releases要一致。setting 文件中可以找到他的正确名字。
2015-06-23 20:33 · 评论(0)
Git for windows 下vim解决中文乱码的问题
1、右键打开Git bash; 2、cd ~ 3、 vim .vimrc 4、内容如下: "这个档案的双引号 (") 是批注 set nu "可以在每一行的最前面显示行号啦! set fencs=utf-8,gbk,utf-16,utf-32,ucs-bom
2015-05-30 19:23 · 评论(0)
nginx 配置 CORS 支持跨域访问
CSS代码设置了一些字体,如果跨域访问这些字体,就会加载失败。错误信息如下: 已阻止交叉源请求:同源策略不允许读取 http://XXXXXX.com/aimall/spm_modules/fontawesome/fonts/fontawesome-webfont.woff?v=4.2.0 上的远程资源。可以将资源移动到相同的域名上或者启用 CORS 来解决这个问题。 解决方案是:在nginx的配置中进行配置,配置如下: location ~* \.(eot|ttf|woff)$ { add_header Access-Control-Allow-Origin *; }
2014-11-11 20:26 · Strut2+Spring+Hibernate+ibatis · 评论(0)
eclipse for ftl 插件安装
打开下面的链接地址,找到对应的Eclipse版本号:选择安装及可: http://download.jboss.org/jbosstools/updates/development/
2014-10-09 10:21 · 评论(0)
lockInterruptibly 和lock的区别
这是个被无数人写过并还会被其他人继续写下去的blog。 代码如下: import java.util.concurrent.TimeUnit; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; public class TestLock { public static void main(String[] args) { Thread t1 = new Thread(new RunTt3()); Thread t2 = new Thread(new RunTt3()…
2014-09-03 11:04 · java 综合 · 评论(1)
Spring MVC 的单元测试实例
一、先定义实例: public class BaseTest { private static HandlerMapping handlerMapping; private static HandlerAdapter handlerAdapter; @BeforeClass public static void setUp() { String[] configs = { "classpath:spring/spring-mvc-servlet.xml" }; XmlWebApplicationContext context = new XmlWebApplicationContext();…
2014-08-15 16:48 · java 综合 · 评论(0)
HTTPClient 简单使用
HttpClient 的用模拟http请求的工具,一般用在测试Http的请求,下面是一个简单的例子: public void testHttpClient() throws Exception { String localUrl = "http://127.0.0.1/XXX.html"; //创建HttpClientBuilder HttpClientBuilder httpClientBuilder = HttpClientBuilder.create(); //HttpClient CloseableHttpClient closeableHttpClient = httpClient…
2014-08-15 13:47 · java 综合 · 评论(0)
Spring 资源文件下载
下载地址: http://repo.spring.io/release/org/springframework/spring/
2014-08-06 21:16 · 评论(0)
生成6位不重复的验证码
public static void main(String[] args) { int[] array = {0,1,2,3,4,5,6,7,8,9}; Random rand = new Random(); for (int i = 10; i > 1; i--) { int index = rand.nextInt(i); int tmp = array[index]; array[index] = array[i - 1]; array[i - 1] = tmp; } int result = 0; for(int i = 0; i < 6; i++) result = result…
2014-08-01 10:29 · 评论(0)
Git 常用命令整理
git clone URL git status git add <file> git commit -m <注释> git commit -am <注释> #路过暂存区 git diff #比较未存暂的文件与已存暂的文本修改了哪些地方 git diff --cache #比较已存暂与上次提示快照之间的差异 git rm <file> # 从git仓库和本地移除文件 git rm --cached <file> #移除跟踪但不删除文件(本地保留) git log -p -2 # 查看历史,按q推出 git remote -v #查看远程仓库 git remote add <URL> #添加远…
2014-07-29 22:03 · 软件配置管理 · 评论(2)