1981年3月27日，林俊杰出生于新加坡的一个音乐世家。在父母的引导下，4岁就开始学习古典钢琴，不善言辞的他由此发现了另一种与人沟通的语言。小时候的林俊杰把哥哥当作偶像，跟随哥哥的步伐做任何事，直到接触流行音乐后，便爱上创作这一条路。
1996年，林俊杰开始参加各种歌唱比赛，前后获得多个词曲创作和演唱大奖。
1999年，海蝶音乐在“非常歌手训练班”发现了他。这个腼腆害羞、并不起眼的高中生，却在自弹自唱的时候，展现了对音乐的纯真热忱。当时在学校成绩优秀的林俊杰，在已收到新加坡国立大学入学通知的情况下，放弃升学，与海蝶签下一纸合约，从此开启了他的音乐道路。
新加坡男性均须服兵役，林俊杰亦不例外。由于专长，他加入的是新加坡武装部队文工团。服兵役期间，他积累了大量的舞台表演经验，同时也尝试了无数创作。尽管早期屡遭“打枪”，但在老师的正确引导鼓励下，极具天赋又非常努力的他，终于谱出了令老师首肯的曲子，这便是2001年收录在张惠妹专辑里的《记得》。此后，林俊杰为庾澄庆、阿杜、王心凌等人创作多首主打歌曲，他的创作才华终于得以展示。
2003年，发行首张全创作专辑《乐行者》。虽然时逢SARS，但他和团队不轻言放弃，在3个月内走遍26个城市，进行了上百场演出，奠定了之后在中国大陆的稳固基础。
2004年，游走大陆，让从小接受英语教育的林俊杰首次体验中华文化所带来的冲击，结合西方R&B现代曲风以及中国风的《江南》（台版为《第二天堂》）专辑由此诞生；同年，更凭借《乐行者》专辑拿下第15届台湾金曲奖最佳新人奖。
2005年，赴美国向音乐大师Seth Riggs学习唱歌技巧，同时林俊杰也成为Seth Riggs的第一位亚洲学生；3月25日，发行第三张创作专辑《编号89757》，穿梭在未来世界与古文明之间，不仅在销量上取得成功，也获得了各大颁奖典礼的肯定。
2006年1月20日，发行首部音乐视觉写真书《进化论》；1月28日，登上中国中央电视台春节联欢晚会（央视春晚）舞台献唱《一千年以后》，并以33.3%的支持率成为当晚最受观众喜爱的明星[13]；推出个人第四张专辑《曹操》，首次尝试摇滚曲风，将R&B与多种音乐元素结合，确立个人风格概念“J-Fusion”；3月27日，受新加坡旅游局邀请，担任新加坡旅游形象大使；2006就是俊杰世界巡回演唱会开跑，这也是林俊杰首次举办个人巡演。
2007年3月27日
，成立个人音乐制作公司JFJ Productions；6月29日，以人性的善恶纠结为基础，大胆推出更具突破性的专辑《西界》；7月22日，在《西界》天津签售会上，以两小时二十八分零九秒签完3052张个人专辑的成绩刷新吉尼斯世界纪录，并由英国吉尼斯总部派出的验证官授予证书；首度参演电视剧，客串出演台湾偶像剧《花样少年少女》。
2008年，首次主演网络小说改编的偶像剧《原来我不帅》；10月18日，发行专辑《JJ陆》，与蔡卓妍合唱的《小酒窝》广为传唱，也让他成功在香港市场占有一席之地。
2009年3月28日，第二轮世界巡回演唱会“杰伴2009”于新加坡开启；随后，林俊杰遭受出道以来最严重的生理打击，胃酸倒流侵蚀声带，几近失声，演艺活动被迫中止；12月15日，携专辑《100天》回归歌坛，这本纪录了低潮期的心情日记，也体现了他心境的转变。
2010年，凭借《100天》入围第21届台湾金曲奖最佳男歌手，在颁奖典礼上的“金曲！金曲！”表演，让百万观众见证林俊杰“诉说女人故事”的实力与魅力，使其在台湾的事业攀上了新的高峰；8月21日，于北京开启第三轮世界巡回演唱会“I AM”；12月8日，发行概念自选辑《她说》，从曾经写给众多女歌手的近百首歌曲里精选出10首，重新改编，赋予全新生命，与孙燕姿合作的《她说》大受好评。
2011年4月底，与老东家海蝶音乐合约到期；8月8日，加盟华纳唱片，开启新乐章；9月30日，由林俊杰担任音乐总监的电影《夏日乐悠悠》上映，除了创作主题曲《Love U U》，同时还负责全片的配乐工作；12月31日，推出第九张创作专辑《学不会》。
2012年3月1日，推出首本个人故事影像集《记得》，跻身畅销作家行列；凭借专辑《学不会》斩获各大奖项，深拓台湾市场。
2013年3月13日，发行出道十年纪念专辑《因你而在》，以单周销售占比83.35%的成绩打破此前台湾五大金榜华语榜单纪录，并拿下该榜单年度销售冠军；专辑中的《修炼爱情》获得Hit Fm年度百首单曲票选冠军，这首歌的微电影《时之繁花》亦入选台湾年度十大微电影；7月13日，第四轮个人巡演“时线Timeline世界巡回演唱会”从台北小巨蛋起跑。
2014年2月16日，“时线Timeline世界巡回演唱会”登陆伦敦，林俊杰成为首位在伦敦开个唱的新加坡歌手；5月15日，以制作人身份为陈奕迅制作的国语专辑《米·闪》（《闪》的部分）发行，大获好评；6月28日，荣获第25届台湾金曲奖最佳国语男歌手奖，成为新加坡首位获得该奖项的男歌手；7月18日，推出首张英文Live翻唱EP《iTunes Session》；11月18日，荣获第5届通商中国青年奖；12月22日，林俊杰蜡像进驻新加坡杜莎夫人蜡像馆；12月27日，发行第11张创作专辑《新地球》，蝉联台湾五大金榜华语榜年度销售冠军。
2015年2月14、15日，安可场“时线：新地球世界巡回演唱会”开启，继《新地球》专辑中与Jason Mraz、郑容和跨国合作后，台北演唱会邀来滨崎步担任嘉宾并合作歌曲《The Gift》，音乐交流版图横跨美、韩、日；2月27、28日，连续两天担任新加坡妆艺大游行压轴表演嘉宾，演唱其原创活动主题曲《Dreams》；8月9日，出席新加坡50周年国庆庆典并献唱国庆主题曲《Our Singapore》；12月19日，“时线世界巡回演唱会”横跨4大洲、31个城市，创下累积42场、超过50万人次的佳绩后，在高雄正式落幕；12月25日，发行首张实验专辑《和自己对话》，创流行乐坛先例使用“人头录音”技术，将声音拟真创造空间感，打造“3D超立体环绕听觉”，凭借该专辑三度蝉联台湾五大金榜华语榜年度销售冠军，专辑《新地球》亦同时占据榜单亚军位置。
2016年1月15日，首次参演的电影《消失爱人》在中国大陆上映；2月26日，为Dota2创作的游戏音乐包《时光守护者》（The Timekeeper）上线；6月25日，凭借专辑《和自己对话》和歌曲《不为谁而作的歌》分别获得第27届台湾金曲奖最佳国语男歌手奖和最佳作曲人奖；7月7日，个人首部音乐纪录片《听·见林俊杰》登陆视频平台；8月19日、26日，发行纪录片DVD和蓝光BD；8月21日，凭借歌曲《不为谁而作的歌》获得美国第三届Pensado Awards最佳外语歌曲奖；11月4日，以常驻导师身份加盟的浙江卫视音乐真人秀《梦想的声音第一季》开播。
2017年1月27日，二度受邀登上央视春晚，与李玟合唱歌曲《梦想之城》；3月，受邀担任2017年国家地理世界地球日中国大陆地区形象大使，并为主题活动宣传片打造了两版主题音乐；4月20日，携手腾讯推出的虚拟偶像乐团“消除联萌”宣布出道；6月3日，以音乐总监身份加盟的浙江卫视综艺节目《天生是优我》播出，JFJ Productions为该节目制作片头配乐并提供三首歌曲资源；7月，作为亚洲区首位受邀明星前往温布尔顿网球锦标赛观赛；7月30日，携手“中国数码文化”成立“SMG”电竞战队；8月23日，携虚拟乐团“消除联萌”推出的全新单曲《丹宁执着》上线；9月13日，受Tim Cook邀请参与Apple Special Event产品发表会，成为官方在亚洲唯一邀请的明星嘉宾；10月27日，二度担任常驻导师的浙江卫视音乐真人秀《梦想的声音第二季》开播；11月25日，受邀担任第54届金马奖颁奖典礼表演嘉宾；12月29日，第13张创作专辑《伟大的渺小》发行。
2021年12月11日，林俊杰获第三届TMEA腾讯音乐娱乐盛典年度最具影响力港台男歌手奖。